LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams

Resumen Técnico: LiveStarPro

Declaración del Problema

Los modelos de lenguaje de gran tamaño para video (Video-LLMs) actuales han logrado un éxito significativo en entornos offline, pero tienen dificultades en escenarios de transmisión en vivo (streaming) y online. Las arquitecturas online existentes enfrentan tres desafíos principales:

1. Temporización de Respuesta Proactiva: Los modelos deben procesar entradas continuas de fotograma a fotograma y decidir autónomamente cuándo responder. Los métodos actuales suelen depender de tokens de "silencio" explícitos (End-of-Sequence o EOS) para marcar intervalos de no respuesta. Este enfoque sufre de un severo desequilibrio de datos (los fotogramas de silencio superan ampliamente a los de respuesta), inconsistencia temporal (objetivos contradictorios para fotogramas adyacentes) y degradación del vocabulario (el token EOS contamina el espacio semántico).
2. Memoria de Largo Alcance (Long-Horizon Memory): Los flujos continuos eventualmente exceden la ventana de contexto fija de los LLMs. Las estrategias estándar como las ventanas deslizantes o la expulsión FIFO (First-In-First-Out) provocan un olvido catastrófico, donde los eventos históricos se descartan permanentemente, haciendo imposible responder consultas sobre eventos del pasado distante (por ejemplo, "¿Qué pasó hace una hora?").
3. Limitaciones de Evaluación: Los benchmarks existentes suelen estar restringidos a la respuesta a preguntas de video de corto alcance o dependen de perspectivas de primera persona (Ego4D), fallando al capturar la diversidad de las aplicaciones de streaming del mundo real o la necesidad de recuperación de memoria a largo plazo.

Metodología

Los autores proponen LiveStarPro, un asistente de streaming en vivo proactivo diseñado para la comprensión de video de largo alcance. El marco integra tres componentes complementarios:

1. Inferencia: Decodificación de Verificación de Streaming (SVeD)

SVeD reemplaza el paradigma tradicional de "generar-luego-comparar" o de predicción de EOS con un enfoque de verificar-luego-generar.

• Mecanismo: En lugar de generar un token de silencio, el modelo trata el silencio como un estado de verificación. Calcula la perplejidad (PPL) del caption actual dado el nuevo fotograma visual recién llegado.
• Lógica de Decisión: Si la PPL del caption existente permanece estable (por debajo de un umbral escalado $\alpha$), el modelo suprime la generación (silencio) y lógicamente intercambia el caption al final del búfer de contexto para reflejar el paso del tiempo. Si la PPL aumenta bruscamente (indicando una divergencia semántica entre la entrada visual y la descripción actual), el modelo se activa para generar un nuevo caption.
• Eficiencia: Esto requiere solo una pasada hacia adelante (forward pass) para la verificación, eliminando la necesidad de una generación autorregresiva completa para cada fotograma. Se emplea un Caché de Clave-Valor (KV) de Streaming para manejar actualizaciones dinámicas de contexto (intercambios y anexiones) sin recomputar las representaciones históricas.

2. Entrenamiento: Máscaras de Atención Causal de Streaming (SCAM)

Para soportar la lógica de verificación dinámica de SVeD, el objetivo de entrenamiento se reformula para alinearse con el procesamiento incremental de video y lenguaje.

• Secuencias Intercaladas: Los datos se organizan como secuencias intercaladas de fotogramas-caption.
• Enmascaramiento Causal: SCAM impone una política de visibilidad selectiva. Dentro de un clip semántico (una secuencia de fotogramas que comparten la misma descripción de evento), el modelo tiene prohibido atender a los captions generados previamente para el mismo clip. Esto obliga al modelo a depender de las características visuales actuales y del historial acumulado en lugar de copiar el texto anterior.
• Objetivo: Esto asegura que el modelo aprenda a generar captions fundamentados en evidencia visual, proporcionando una distribución de probabilidad robusta para la etapa de verificación de SVeD.

3. Memoria: Memoria Jerárquica Estructurada en Árbol (TSHM)

Para abordar la naturaleza ilimitada de los streams en vivo, TSHM organiza la memoria en dos niveles:

• Memoria de Trabajo de Corto Plazo (Compresión Peak-End): El contexto activo se comprime utilizando la regla Peak-End. Se retienen los fotogramas con alta divergencia semántica (Peaks/Picos) y los captions de resumen de los clips semánticos (Ends/Finales), mientras que los fotogramas redundantes se podan basándose en un umbral dinámico.
• Memoria de Recuperación de Largo Plazo (Árbol de Eventos Recursivo): El historial expulsado no se descarta, sino que se almacena en un árbol de eventos recursivo. Los nuevos eventos se adjuntan como hijos de nodos existentes semánticamente similares (si la similitud supera un umbral $\sigma$) o forman nuevas ramas. Los embeddings de los nodos padres se actualizan mediante agregación de momentum para representar el centroide semántico de sus subárboles.
• Recuperación: Durante la generación, un descenso de haz (beam descent) jerárquico recupera las cadenas de eventos relevantes. Esto permite una complejidad de recuperación sublineal ($O(k \cdot b \cdot \log_b n)$) en comparación con el escaneo lineal de bancos de memoria planos, permitiendo el acceso eficiente al contexto de largo plazo sin saturar la ventana activa.

4. Benchmark: OmniStarPro

Para facilitar una evaluación rigurosa, los autores introducen OmniStarPro, un dataset a gran escala que cubre 15 escenarios diversos del mundo real. Incluye:

• OmniStarPro-Live: Tareas de corto alcance (Narración en tiempo real, Localización temporal, QA denso, etc.) centradas en la temporización de respuesta instantánea.
• OmniStarPro-Long: Una partición de formato largo (de 10 minutos a >1 hora) con tres tareas centradas en la memoria (Recuperación de memoria de largo alcance, Consulta de diferencia entre eventos, Retroceso temporal) diseñadas específicamente para probar la recuperación de contenido histórico expulsado.

Resultados Clave

Experimentos extensos demuestran que LiveStarPro supera a los Video-LLMs online y a los baselines offline existentes:

• Ganancias de Rendimiento: LiveStarPro logra una mejora del 28.9% en la corrección semántica y una reducción del 18.2% en el error de temporización en comparación con métodos online previos.
• Eficiencia: El caché KV de streaming produce una aceleración de inferencia de 1.58× sobre el mismo modelo sin caché, manteniendo un throughput de aproximadamente 3 FPS en streams de una hora.
• Recuperación de Largo Plazo: En la partición OmniStarPro-Long, LiveStarPro supera significativamente a los baselines de ventana deslizante y a los bancos de memoria planos en lapsos de memoria de buckets largos (>30 minutos), reteniendo una precisión de recuperación del 37.2% frente al 21.3% de la recuperación k-NN plana.
• Capacidad Offline: El modelo mantiene un fuerte rendimiento en benchmarks offline convencionales (MVBench, LongVideoBench, VideoMME), lo que indica que el entrenamiento específico de streaming no degrada severamente las capacidades generales de comprensión de video.

Significado y Reivindicaciones

El artículo afirma que LiveStarPro establece un nuevo paradigma para la comprensión de video proactiva en línea. Al cambiar el enfoque de predecir tokens de silencio a verificar la relevancia mediante la perplejidad, y al organizar la memoria de largo plazo en un árbol estructurado y recuperable, este trabajo aborda las limitaciones fundamentales de los asistentes online actuales respecto a la temporización, la retención de memoria y la consistencia del contexto.

Los autores aseguran que su trabajo sienta las bases para modelos robustos y escalables capaces de manejar flujos de video efectivamente ilimitados, cerrando la brecha entre el análisis de video offline y los asistentes de streaming interactivos en tiempo real. El lanzamiento del benchmark OmniStarPro y del código de LiveStarPro tiene como objetivo facilitar la investigación futura en la comprensión de streaming de largo alcance.