Resumen Técnico: Memoria Visual Adaptativa Consciente Semántica para la Comprensión de Video en Streaming

Definición del Problema

El artículo aborda la Respuesta a Preguntas sobre Video en Streaming en Línea (StreamingVQA), una tarea donde un modelo debe procesar un flujo de video continuo e ilimitado y responder consultas en lenguaje natural en tiempo real a medida que llegan. A diferencia de los entornos fuera de línea donde el video completo está disponible, el streaming impone tres restricciones críticas:

1. Sin Acceso al Futuro: El modelo solo puede acceder a los fotogramas hasta el instante actual $T$.
2. Codificación Agnóstica a la Consulta: La construcción de la memoria debe ocurrir sin conocimiento de la consulta específica, ya que las consultas llegan de forma impredecible.
3. Memoria Acotada: La huella total de memoria debe permanecer constante independientemente de la duración del video.

Los métodos existentes luchan con estas restricciones. La mayoría dependen de heurísticas de similitud visual para la compresión de tokens, lo cual falla en capturar la importancia semántica, o añaden mecanismos de recuperación a nivel de caché KV después de que la compresión se ha finalizado. Esta separación dificulta coordinar la retención y la recuperación, lo que a menudo conduce a la pérdida de información semánticamente crítica pero visualmente redundante.

Metodología: SAVEMem

Los autores proponen SAVEMem, un marco de dos etapas sin entrenamiento que desacopla la generación de memoria agnóstica a la consulta de la recuperación consciente de la consulta. El sistema opera bajo un presupuesto de memoria constante $B$ y utiliza un "banco de preguntas pseudo" fijo para inyectar priores semánticos sin requerir ajuste fino del modelo.

Etapa 1: Generación de Memoria Semántica (Agnóstica a la Consulta)

En esta etapa, el modelo construye una memoria de streaming de tres niveles ($M_{short}$, $M_{mid}$, $M_{long}$) en línea a medida que llegan los fotogramas.

• Prior Semántico: En lugar de depender únicamente de la similitud visual, SAVEMem puntúa cada token visual $v$ contra un banco fijo de preguntas pseudo $Q$ (que cubren objetos, acciones, escenas, etc.) utilizando un mecanismo de interacción tardía MaxSim: $s(v) = \max_{q \in Q} \cos(v, q)$. Esto proporciona una estimación agnóstica a la consulta de la saliencia semántica.
• Jerarquía de Tres Niveles con Olvido Selectivo:
  • Corto plazo ($M_{short}$): Un búfer FIFO que preserva los fotogramas más recientes con fidelidad completa para anclar el contexto actual.
  • Medio plazo ($M_{mid}$): Cuando $M_{short}$ se llena, el fotograma más antiguo sufre Poda Semántica Temporal. Los tokens se eliminan si están bien representados por vecinos temporales, a menos que tengan puntuaciones semánticas altas ($s(v)$) o se encuentren en los límites de la escena.
  • Largo plazo ($M_{long}$): Cuando $M_{mid}$ se desborda, los fotogramas se mueven aquí mediante Selección Semántica Espacial. Esto trata la cobertura espacial como una restricción dura, clasificando los tokens por sus puntuaciones semánticas para retener un subconjunto disperso pero ordenado semánticamente.
  • Aplicación de Presupuesto Global: Un paso de Olvido Selectivo asegura que el recuento total de tokens nunca exceda $B$. Si se excede, los tokens con la puntuación más baja en $M_{long}$ son expulsados.

Etapa 2: Recuperación Adaptativa de Memoria (Consciente de la Consulta)

Al recibir una consulta de usuario $q$ en el tiempo $T$, el sistema recupera los fotogramas relevantes de la memoria congelada.

• Puerta de Recencia Condicionada por Anclaje: El sistema verifica primero si la consulta apunta al pasado inmediato. Calcula la afinidad entre $q$ y el anclaje de corto plazo ($M_{short}$). Si esta afinidad es alta (en relación con un promedio en movimiento), el sistema devuelve $M_{short}$ directamente, omitiendo los niveles anteriores. Esta puerta se adapta por consulta basándose en la distribución de afinidad específica del video.
• Interacción Tardía Consciente de la Consulta: Si la consulta requiere contexto histórico, el sistema calcula una puntuación de interacción tardía estilo ColBERT entre la consulta y los tokens en $M_{mid} \cup M_{long}$. La puntuación para un fotograma es la media de las máximas similitudes coseno entre sus tokens y los tokens de la consulta.
• Recuperación Adaptativa: Los fotogramas se clasifican por esta puntuación. El número de fotogramas recuperados ($K$) se adapta a la dispersión de puntuaciones: puntuaciones agrupadas estrechamente (evidencia difusa) resultan en la recuperación de más fotogramas, mientras que puntuaciones bien separadas activan un filtrado agresivo. El conjunto final siempre incluye $M_{short}$ más los fotogramas históricos mejor clasificados.

Contribuciones Clave

1. Marco de Dos Etapas: Una arquitectura sin entrenamiento que separa la compresión consciente semántica de la recuperación consciente de la consulta, permitiendo que las dos etapas se coordinen mediante un mecanismo de puntuación compartido (MaxSim) sin entrenamiento conjunto.
2. Compresión Consciente Semántica: La introducción de un banco de preguntas pseudo para guiar la retención a largo plazo basada en la saliencia semántica en lugar de solo en la similitud visual, asegurando que los tokens informativos se preserven incluso si son visualmente redundantes.
3. Alcance de Recuperación Adaptativo: Una puerta de recencia condicionada por anclaje que ajusta dinámicamente el alcance de la recuperación (corto plazo vs. largo plazo) basándose en si la consulta apunta al presente o al pasado distante.
4. Eficiencia: El método logra un crecimiento sublineal de tokens y un uso de memoria de GPU pico casi plano en relación con la duración del video, transformando el procesamiento de videos largos en un problema acotado por presupuesto.

Resultados Experimentales

SAVEMem fue evaluado en OVO-Bench, StreamingBench y ODV-Bench utilizando el backbone Qwen2.5-VL (3B y 7B parámetros) sin ningún entrenamiento.

• OVO-Bench:
  • En el backbone Qwen2.5-VL-7B, SAVEMem mejoró la puntuación general de 52.27 a 62.69, superando a métodos recientes sin entrenamiento (por ejemplo, FluxMem, HERMES) y a enfoques competitivos basados en entrenamiento (por ejemplo, ViSpeak).
  • Se observaron ganancias significativas en Percepción Visual en Tiempo Real (+10.41 puntos) y Rastreo hacia Atrás (+10.41 puntos).
  • El método mostró una fuerza particular en tareas que requieren detalles visuales finos (OCR, STU, ACR) y detección de alucinaciones.
• StreamingBench y ODV-Bench:
  • Se observaron mejoras consistentes en ambos backbones. En el modelo de 7B, la puntuación estática de ODV-Bench mejoró en 8.7 puntos (de 48.3 a 57.0).
• Eficiencia:
  • A 128 fotogramas, SAVEMem redujo el uso de memoria de GPU pico en un 48% en comparación con el backbone (18.5 GB vs. 35.8 GB), manteniendo al mismo tiempo un crecimiento sublineal de tokens.

Significado y Afirmaciones

El artículo afirma que desacoplar la compresión semántica agnóstica a la consulta de la recuperación adaptativa consciente de la consulta es una dirección práctica para escalar la comprensión de video en streaming sin necesidad de entrenamiento. Al inyectar señales semánticas en la fase de compresión y adaptar el alcance de la recuperación por consulta, SAVEMem aborda el "compromiso percepción-memoria" inherente al streaming. Los autores enfatizan que su enfoque permite a los modelos manejar flujos ilimitados en GPUs comerciales al imponer un presupuesto de memoria constante mientras retienen información semánticamente crítica.

Los autores reconocen limitaciones, señalando que el método es inherentemente sensible al compromiso entre la recuperación selectiva y la cobertura completa para tareas que requieren un escaneo temporal exhaustivo (por ejemplo, conteo). También notan que el banco de preguntas pseudo es actualmente genérico y no adaptado a dominios, y que el diseño sin entrenamiento excluye la optimización conjunta de las dos etapas.