Resumen Técnico: SelectStream

Declaración del Problema

La comprensión de video en streaming requiere que los Modelos de Lenguaje-Visión (VLM) respondan consultas en cualquier momento durante una transmisión de video continua utilizando solo el prefijo observado, sujeto a presupuestos fijos de memoria, contexto y computación. Si bien trabajos recientes han intentado resolver esto añadiendo bancos de memoria externos, módulos de recuperación o compresión de tokens visuales, estos métodos suelen basarse en la suposición de que una "memoria más rica" conduce automáticamente a una mejor comprensión.

Los autores argumentan que la inyección indiscriminada de historial puede diluir la percepción de la escena actual, un fenómeno donde la evidencia relevante se mezcla con contenido irrelevante, debilitando la capacidad de razonamiento del modelo. Por el contrario, las líneas base simples de ventana reciente (que descartan la evidencia antigua) fallan cuando la información crítica se encuentra fuera del contexto inmediato. El desafío central no es si usar memoria, sino cómo asignarla selectivamente: decidir cuándo escribir nueva evidencia, qué preservar cuando la capacidad está llena, cómo recuperar evidencia para una consulta específica y cuánto contexto histórico exponer durante la generación sin aumentar la ventana de contexto con la longitud del flujo.

Metodología: SelectStream

SelectStream es un marco de memoria latente selectiva que formula la memoria en streaming como una asignación de evidencia latente en línea con presupuesto. Opera sobre un esqueleto (backbone) de VLM congelado y gestiona el historial a través de un grafo de evidencia latente dinámico ($G_t = (M_t, E_t)$) en lugar de reproducir fotogramas brutos o convertir el historial en resúmenes de texto. El sistema está gobernado por tres mecanismos coordinados:

1. Ventaneado Adaptativo impulsado por Sorpresa (SAW) – Cuándo Escribir

SAW determina cuándo cerrar un segmento de video y escribirlo en la memoria. En lugar de intervalos fijos, asigna entradas de memoria gruesas a intervalos estables y una resolución más fina cerca de transiciones sorprendentes.

• Mecanismo: Calcula una puntuación de sorpresa ($s_t$) basada en cambios de atención (divergencia JS de los mapas de atención) y cambios de características (distancia de coseno de las incrustaciones proyectadas).
• Disparadores: Un segmento se cierra cuando alcanza una longitud mínima ($L_{min}$) y se cumple una de tres condiciones: un pico de sorpresa ($\bar{s}_t > \theta_{high}$), la energía de sorpresa acumulada excede un presupuesto ($B_s$), o se alcanza la longitud máxima del segmento ($L_{max}$).

2. Memoria Visual Latente (LVM) – Qué Preservar

LVM gestiona un grafo de memoria de capacidad fija donde las incrustaciones visuales proyectadas se almacenan como nodos latentes.

• Escritura: Cuando se cierra un segmento, su incrustación se compara con los nodos activos. Si es semánticamente similar y de baja sorpresa, actualiza un nodo existente mediante un mecanismo de actualización con compuerta (evitando el reemplazo directo de la historia útil). De lo contrario, se crea un nuevo nodo.
• Consolidación: Cuando se excede el presupuesto de memoria ($N$), el sistema realiza una consolidación de preservación de prioridad. Fusiona el par de nodos con la menor penalización, lo que equilibra la redundancia semántica (similitud) frente a los factores de prioridad (sorpresa, frecuencia de acceso y recencia). Esto asegura que la evidencia sorprendente o frecuentemente accedida se preserve.

3. Razonamiento de Atención de Grafo Condicionado por Consulta (GAR) – Cómo Leer

Cuando llega una consulta, el modelo recupera un subgrafo compacto en lugar de razonar sobre todo el historial.

• Enrutamiento: La consulta se codifica y se utiliza para puntuar los nodos activos. Un subgrafo se enruta desde semillas de top-$k$ a través de aristas temporales y semánticas, restringido por un presupuesto de subgrafo ($B$).
• Razonamiento: Una Red de Atención de Grafos (GAR) refina los estados de los nodos agregando contexto temporal y semántico de los vecinos.
• Inyección: Los top-$M$ nodos refinados se calibran y se inyectan como tokens de evidencia latente en el decodificador del VLM congelado. Esto permite al VLM acceder a la evidencia histórica sin aumentar la longitud del contexto proporcionalmente a la duración del flujo.

Contribuciones Clave

1. Formulación: El artículo formula el recuerdo selectivo en video en streaming como un problema de asignación de evidencia latente en línea con presupuesto, abordando explícitamente el compromiso entre retener la percepción de la escena actual y acceder a la historia de largo alcance.
2. Arquitectura (SelectStream): Una arquitectura de memoria latente dinámica que escribe incrustaciones visuales proyectadas en un grafo de capacidad fija. Utiliza un ventaneado impulsado por la sorpresa para la escritura adaptativa, consolidación consciente de la prioridad para la preservación y razonamiento de grafo condicionado por consulta para la recuperación.
3. Interfaz: Un diseño que inyecta tokens de evidencia latente calibrados en un VLM congelado, evitando la reproducción de fotogramas brutos o la sumarización de texto, manteniendo así un costo de inferencia acotado independientemente de la longitud del flujo.

Resultados Experimentales

SelectStream fue evaluado en benchmarks de streaming y offline utilizando los esqueletos Qwen2.5-VL-7B y Qwen3-VL-8B.

• Benchmarks de Streaming:
  • StreamingBench: Logró una precisión del 82.67% (Qwen3-VL-8B), superando a fuertes líneas base de ventana reciente (p. ej., Qwen3-VL-8B + 4f con 80.59%) y métodos previos de memoria en streaming.
  • OVO-Bench: Logró una precisión general del 67.03%. Notablemente, mejoró significativamente las puntuaciones de Rastreo Hacia Atrás (Backward Tracing - BT) (de 54.00% a 62.20% en Qwen3-VL-8B), demostrando una capacidad superior para utilizar el contexto visual previo mientras mantiene una alta Percepción Visual en Tiempo Real (82.76%).
• Benchmarks Offline:
  • En VideoMME, MLVU y MVBench, SelectStream alcanzó una precisión promedio del 74.4% (Qwen3-VL-8B), mostrando que el método preserva las capacidades generales de comprensión de video y no sacrifica el rendimiento offline por la eficiencia en streaming.
• Eficiencia:
  • El modelo mantiene una latencia de consulta (TTFT) y un uso de memoria GPU pico casi constantes a medida que aumenta el número de fotogramas procesados, ya que el estado de memoria activa está limitado por $N$ y la recuperación está limitada por $B$ y $M$.

Significado y Reivindicaciones

El artículo afirma que SelectStream aborda el problema de la "dilución de la evidencia" inherente a la inyección indiscriminada de memoria. Al mantener la observación actual directamente visible para el VLM congelado y exponer la información histórica solo a través de un presupuesto de evidencia compacto y condicionado por la consulta, el modelo logra un equilibrio superior entre la memoria de largo alcance y la percepción de la escena actual.

Los autores posicionan a SelectStream como una dirección escalable para la comprensión de video en streaming bajo restricciones de recursos fijos. Los resultados sugieren que la memoria latente selectiva proporciona beneficios que van más allá de simplemente retener los últimos fotogramas, permitiendo un razonamiento robusto dependiente de la historia sin la carga computacional de ventanas de contexto crecientes. El marco está diseñado para ser una capa de memoria general para esqueletos de lenguaje-video congelados, separando la gestión de la memoria en línea de la generación en el tiempo de consulta.