Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

Resumen Técnico: Memoria Agente Visual (VAM)

Enunciado del Problema
La comprensión de videos largos enfrenta un desafío fundamental: si bien la captura de video de alto ancho de banda es práctica, transformar flujos ilimitados en un sustrato de memoria estable, consultable y verificable sigue siendo difícil. Los paradigmas existentes sufren limitaciones específicas. Los modelos de contexto largo directo son vulnerables a la dilución de la atención a medida que aumenta la duración del video. Los esquemas de memoria comprimida mejoran la tratabilidad, pero a menudo descartan evidencia visual detallada, lo que conduce a un "colapso de recuperabilidad" donde se preserva la idea general semántica, pero se pierde la evidencia cruda necesaria para la verificación. Los enfoques agentic recursivos pueden acumular deriva de memoria cuando el razonamiento intermedio no puede verificarse frente a observaciones preservadas. Además, los diseños ajustados en línea suelen comprimir demasiado agresivamente, mientras que los diseños ajustados para largas distancias dependen de un preprocesamiento fuera de línea costoso. El problema central es cómo mantener un archivo que abarque horas o días y que siga siendo buscable, auditable y útil para el razonamiento posterior sin depender exclusivamente de estados latentes comprimidos.

Metodología: Memoria Agente Visual (VAM)
Los autores proponen la Memoria Agente Visual (VAM), un marco sin entrenamiento diseñado para transformar flujos de video crudos en memoria de largo horizonte buscable, preservando los fotogramas originales como evidencia de primera clase. El sistema desacopla la indexación continua del razonamiento en el momento de la consulta y opera a través de tres componentes acoplados:

1. Indexación en Línea: Este componente filtra los fotogramas entrantes bajo restricciones de transmisión para retener transiciones visualmente significativas. Emplea un proceso de tres etapas:

   • Filtrado de Fotogramas: Elimina fotogramas borrosos (mediante varianza de Laplaciano) y fotogramas visualmente redundantes (mediante verificaciones de similitud de pre-incrustación) antes del procesamiento neuronal de alto costo.
   • Extracción de Incrustaciones: Los fotogramas retenidos se codifican en incrustaciones densas utilizando un modelo multimodal preentrenado.
   • Compromiso que Preserva Límites: El sistema utiliza una puerta de deduplicación adaptativa basada en la partición de Otsu de las distancias de incrustación para decidir cuándo comprometer un "momento" (un fotograma retenido con metadatos). Esto asegura que se preserven las transiciones mientras se compactan los intervalos cuasiestáticos.

2. Memoria Jerárquica: Los momentos retenidos se organizan en "eventos" mediante una representación temporal-espacial paralela.

   • Representación Espacial: Almacena los fotogramas crudos retenidos y sus incrustaciones para inspección visual directa.
   • Representación Temporal: Almacena resúmenes de eventos generados por un MLLM a partir de la evidencia acotada temporalmente. Estos resúmenes capturan actividades, entidades y señales temporales salientes.
   • Almacenamiento Consciente de la Edad: El sistema gestiona niveles de almacenamiento (reciente, medio, largo) donde los segmentos más antiguos se consolidan en señales compactas, mientras que las ventanas recientes retienen cargas útiles densas. Esto permite que el sistema escale a flujos de un mes de duración (por ejemplo, 51 días) almacenando solo una fracción de los fotogramas crudos.

3. Recuperación Agente: En el momento de la consulta, un MLLM actúa como un agente de recuperación que opera en un bucle multi-vuelta acotado. Sigue un paradigma de "observar–hipotetizar–inspeccionar":

   • Recuperación Híbrida: El agente busca tanto en la vía temporal (resúmenes de eventos) como en la vía espacial (incrustaciones de fotogramas) para localizar evidencia candidata.
   • Inspección Fundamentada: Los candidatos recuperados son provisionales. El agente invoca una acción de inspeccionar para realizar una verificación visual directa sobre fotogramas crudos, resolviendo ambigüedades y adjudicando conflictos entre señales de recuperación.
   • Síntesis de Respuesta: El agente termina solo cuando se encuentra evidencia fundamentada suficiente, produciendo una respuesta anclada a intervalos visuales específicos y recuperables, y citando la evidencia.

Contribuciones Clave

1. Formulación: El artículo reformula la comprensión de videos largos en línea como un problema de memoria visual recuperable de evidencia, desplazando el enfoque de simplemente extender ventanas de contexto a crear memoria buscable e inspeccionable.
2. Marco: VAM se introduce como un marco sin entrenamiento, priorizando la recuperación, que construye memoria incrementalmente a partir de video en transmisión, desacoplando la indexación del razonamiento.
3. Representación: Se propone una representación jerárquica paralela temporal-espacial, alineando resúmenes a nivel de evento con fotogramas crudos retenidos para apoyar tanto la búsqueda eficiente de líneas de tiempo como la verificación visual directa.
4. Validación Empírica: El marco demuestra un rendimiento mejorado en configuraciones en línea y de largo horizonte mientras almacena una fracción mínima de los datos crudos.

Resultados
Los autores evalúan VAM en dos puntos de referencia:

• OVO-Bench (Evaluación en Línea): VAM logra el promedio más alto de RT+BT (Tiempo Real + Rastreo hacia Atrás) de 68.41 en todos los puntos de referencia reportados. Esto supera el uso de extremo a extremo del mismo MLLM subyacente (Gemini 3 Flash), que obtiene 67.46, lo que indica que los componentes arquitectónicos (indexación, memoria, recuperación) proporcionan un beneficio sistemático sobre la capacidad del modelo por sí sola.
• MM-Lifelong (Evaluación de Largo Horizonte): En la división a escala mensual (105.6 horas durante 51 días), VAM alcanza una precisión del 17.11%. Este es el segundo resultado más alto reportado, quedando por detrás solo de ReMA con GPT-5 (17.62%) y superando significativamente a los puntos de referencia de MLLM de extremo a extremo.
• Eficiencia: En la ejecución a escala mensual, VAM almacena solo 6,876 fotogramas (0.06% de los 11.4 millones de fotogramas crudos), lo que representa una reducción de 27.7x a 55.3x en comparación con los puntos de referencia de muestreo uniforme a tasa fija.

Significado y Afirmaciones
El artículo afirma que la comprensión de videos de largo horizonte se beneficia de tratar la memoria visual como un sustrato explícito, inspeccionable y consultable, en lugar de depender exclusivamente de estados latentes comprimidos. Al preservar los fotogramas crudos como evidencia de primera clase, VAM permite un razonamiento fundamentado donde las respuestas pueden verificarse frente a observaciones originales. Los resultados sugieren que la retención explícita de evidencia y la recuperación agente pueden reducir la brecha de rendimiento en la comprensión de videos a escala mensual de manera más efectiva que simplemente aumentar las ventanas de contexto o depender del razonamiento recursivo sin preservación de evidencia. Los autores señalan que, si bien la brecha entre humanos y modelos sigue siendo grande (82.5% vs. 17.11% en MM-Lifelong), el enfoque de preservación de evidencia de VAM ofrece un camino más efectivo para resolver este desafío que las alternativas actuales.

Los autores también reconocen limitaciones, incluida la asimetría de modalidades (falta de preservación de audio), la creciente dificultad de la desambiguación detallada a medida que crecen los archivos y los costos operativos asociados con la indexación continua y la inspección iterativa. Enfatizan que las implementaciones futuras deben abordar las preocupaciones de privacidad relacionadas con la retención de evidencia visual cruda.