Agentic Very Long Video Understanding

Este trabajo presenta EGAgent, un marco agéntico basado en grafos de escenas de entidades que supera las limitaciones de los métodos actuales para lograr una comprensión contextual profunda y razonamiento composicional en streams de video egocéntrico continuo de larga duración, logrando un rendimiento superior en tareas complejas de comprensión de video longitudinal.

Lo esencial

¡Hola! Imagina que tienes un ayudante personal de inteligencia artificial que lleva unas gafas todo el día, grabando absolutamente todo lo que ves y escuchas durante una semana entera. Son millones de horas de video.

El problema es: si le preguntas a tu ayudante "¿Quién me acompañó a comprar café el martes pasado?", la mayoría de los sistemas actuales se ahogan. Es como intentar encontrar una aguja en un pajar, pero el pajar es un océano de video y la aguja es un recuerdo específico.

Los investigadores de Meta y la Universidad de Wisconsin han creado algo llamado EGAgent. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Amnesia" de la IA

Imagina que tienes una libreta gigante donde anotas todo lo que haces. Si intentas leerla entera de golpe para responder una pregunta, tu cerebro (o el de la IA) explota. Los modelos actuales de IA tienen una "ventana de memoria" pequeña; solo pueden leer unas pocas páginas a la vez. Si la historia dura una semana, se olvidan de lo que pasó al principio.

2. La Solución: El "Mapa del Tesoro" (Gráfico de Entidades)

En lugar de intentar leer todo el video línea por línea, EGAgent crea un Mapa del Tesoro (llamado Entity Scene Graph).

• La Analogía: Imagina que en lugar de tener un video, tienes un mapa de conexiones.
  • En el mapa hay nodos (puntos): "Yo", "Mi amigo Jake", "La cafetería", "El coche".
  • Hay líneas que conectan estos puntos: "Yo hablé con Jake", "Yo usé el coche".
  • Lo más importante: Cada línea tiene una etiqueta de tiempo. No solo dice "Yo hablé con Jake", dice "Yo hablé con Jake el martes a las 10:00 AM".

Este mapa es ligero y rápido de buscar. En lugar de buscar en el video, la IA busca en este mapa de relaciones.

3. El Detective: El Agente Planificador

EGAgent no es una sola IA, es un equipo de detectives trabajando juntos:

1. El Jefe (Agente Planificador): Cuando le haces una pregunta, él no se lanza a buscar ciegamente. Piensa: "Para responder esto, primero necesito saber dónde estaba el coche, luego quién estaba dentro, y finalmente qué dijeron". Descompone la pregunta en pistas pequeñas.
2. Los Investigadores (Herramientas de Búsqueda):
   • Investigador Visual: Busca en el video (como buscar una foto de alguien con un sombrero rojo).
   • Investigador de Audio: Escucha las transcripciones de lo que la gente dijo.
   • Investigador del Mapa (La estrella del show): Consulta el "Mapa del Tesoro" que mencionamos antes. Si la pregunta es "¿Quién me acompañó a la oficina?", este investigador mira las conexiones del mapa y dice: "¡Ah! El mapa dice que el martes, 'Yo' y 'Lucía' estaban en la 'Oficina' entre las 9 y las 10".

4. La Magia: Razonamiento Multi-paso

La verdadera magia ocurre cuando combinan estas pistas.

• Pregunta: "¿Quién me acompañó a la oficina el martes?"
• Paso 1: El Investigador del Mapa dice: "El martes, 'Yo' y 'Lucía' estaban en la 'Oficina'".
• Paso 2: El Investigador de Audio confirma: "Sí, en la transcripción de las 9:00 AM, Lucía y yo hablamos sobre el trabajo".
• Paso 3: El Jefe junta todo y te da la respuesta: "Fue Lucía".

¿Por qué es tan importante esto?

Antes, si querías saber "¿Con qué frecuencia bebo agua esta semana?", la IA tenía que ver todo el video de la semana, lo cual es lento y propenso a errores. Con EGAgent:

• Es rápido: El mapa ya tiene la información organizada.
• Es preciso: Puede recordar relaciones complejas (quién habló con quién, qué usó, dónde estuvo) a lo largo de días enteros.
• Es un "Superpoder": En pruebas reales, este sistema superó a todos los demás, especialmente en preguntas que requieren conectar puntos de diferentes días (como un detective resolviendo un misterio).

En resumen

EGAgent es como tener un archivista genio que no solo guarda tus videos, sino que crea un diagrama de conexiones de tu vida. Cuando le preguntas algo, él no busca en el video; busca en el diagrama, cruza pistas con lo que se dijo y lo que se vio, y te da la respuesta exacta, como si hubiera vivido contigo esa semana entera.

¡Es el primer paso hacia asistentes de IA que realmente "recuerdan" tu vida, no solo unos segundos de ella!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Agentic Very Long Video Understanding" (Comprensión de Video Muy Largo Agente), presentado por investigadores de Reality Labs Research de Meta y la Universidad de Wisconsin-Madison.

1. El Problema: Comprensión de Video de Largo Alcance (Very Long Video Understanding)

El artículo aborda el desafío crítico de crear asistentes de IA personales "siempre activos" (como gafas inteligentes) que puedan comprender y razonar sobre flujos de video egocéntricos continuos que abarcan días o semanas.

• Limitaciones actuales: Los métodos existentes, incluidos los Modelos de Lenguaje Grandes (LLM) y las técnicas de Generación Aumentada por Recuperación (RAG), se ven limitados por ventanas de contexto reducidas. No pueden manejar eficientemente la información visual y auditiva que se extiende a lo largo de semanas.
• Fallas en el razonamiento: Los enfoques actuales carecen de la capacidad para realizar razonamiento composicional y de múltiples saltos (multi-hop reasoning) sobre flujos de video muy largos. Tienen dificultades para:
  • Rastrear entidades (personas, objetos, lugares) a través de múltiples días.
  • Identificar comportamientos repetitivos o hábitos.
  • Localizar temporalmente eventos específicos dentro de horas de inactividad o "silencios" en el video.
  • Integrar coherentemente información de diferentes modalidades (audio, video, texto) para responder preguntas complejas como "¿Con quién me senté en el taxi la última vez que fuimos de compras?".

2. Metodología: El Marco EGAgent

Los autores proponen EGAgent, un marco agente mejorado centrado en la extracción y el uso de Gráficos de Escena de Entidades (Entity Scene Graphs) con anotación temporal.

A. Representación del Gráfico de Entidades

En lugar de procesar el video crudo directamente, el sistema construye una representación estructurada:

• Nodos: Representan entidades (personas, objetos, ubicaciones).
• Aristas (Relaciones): Capturan interacciones como "habla con", "usa", "interactúa con", "menciona".
• Anotación Temporal: Cada relación está anotada con intervalos de tiempo específicos ($t_{start}, t_{end}$), lo que permite al sistema rastrear cuándo ocurre una interacción.
• Construcción: Se extrae de documentos de texto derivados de transcripciones de audio y descripciones de escenas visuales (generadas por VLMs). El gráfico se almacena en una base de datos SQLite y se puede actualizar incrementalmente.

B. El Marco Agente (EGAgent Pipeline)

El sistema utiliza un agente de planificación que descompone una consulta compleja en subtareas y utiliza herramientas especializadas para recuperar información:

1. Agente de Planificación: Descompone la pregunta del usuario en una secuencia de subtareas lógicas.
2. Herramientas de Recuperación (Retriever Tools):
   • Búsqueda Visual: Busca en una base de datos de vectores de frames de video (muestreados a 1 FPS) utilizando búsqueda semántica híbrida (SQL + semántica).
   • Búsqueda de Transcripción de Audio: Busca en transcripciones de texto (usando búsqueda léxica BM25 o LLM) para encontrar diálogos relevantes.
   • Búsqueda en Gráfico de Entidades: Consulta el gráfico estructurado mediante consultas SQL. Utiliza una estrategia de "estricto a relajado": comienza con coincidencias exactas de tiempo y entidades, y si no hay resultados, relaja progresivamente las restricciones temporales y de coincidencia de texto para maximizar la recuperación.
3. Herramienta Analizadora: Filtra y sintetiza la información recuperada, extrayendo evidencia relevante y eliminando duplicados.
4. Agente VQA (Visual Question Answering): Un LLM multimodal que consume la memoria de trabajo acumulada (evidencia cruzada de todas las herramientas) para generar la respuesta final.

3. Contribuciones Clave

1. Representación de Gráfico de Entidades Temporal: Introducen un gráfico donde las relaciones están explícitamente anotadas con intervalos de tiempo, permitiendo un razonamiento estructurado sobre hábitos y relaciones a largo plazo.
2. Marco Agente Multimodal: Presentan un sistema que orquesta la búsqueda en gráficos, video y audio, superando las limitaciones de los enfoques puramente basados en texto o recuperación de frames no estructurados.
3. Rendimiento de Estado del Arte: Demuestran que este enfoque logra un rendimiento superior en tareas que requieren razonamiento relacional complejo sobre videos de una semana de duración.

4. Resultados Experimentales

El sistema se evaluó en dos benchmarks principales: EgoLifeQA (video egocéntrico de 50 horas) y Video-MME (Long) (videos de 30-60 minutos).

• EgoLifeQA:
  • EGAgent alcanzó un 57.5% de precisión, superando al estado del arte anterior en un 20.6% en promedio.
  • Logró mejoras masivas en categorías que requieren razonamiento relacional: +32% en RelationMap y +39.7% en TaskMaster comparado con el estado del arte previo.
  • Superó significativamente a modelos base como Gemini 2.5 Pro y GPT-4.1 cuando se les aplicó el mismo marco de agente con gráfico de entidades.
• Video-MME (Long):
  • Logró un 74.1% de precisión, un rendimiento competitivo que iguala a métodos más pesados (como AdaVideoRAG) pero procesando más de 10 veces menos frames.
• Eficiencia: El gráfico de entidades es extremadamente ligero (aprox. 2 MB para 52 horas de video) en comparación con las bases de datos de embeddings visuales (GBs).

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de la próxima generación de asistentes de IA personales:

• Viabilidad de Asistentes "Siempre Activos": Demuestra que es posible construir sistemas que no solo recuerdan eventos aislados, sino que comprenden la narrativa continua de la vida de un usuario a lo largo de semanas.
• Razonamiento Estructurado vs. Bruto: Evidencia que el uso de representaciones estructuradas (gráficos) es superior al procesamiento directo de grandes volúmenes de datos no estructurados para tareas de razonamiento complejo y temporal.
• Escalabilidad: La arquitectura agente permite escalar a duraciones de video ilimitadas sin depender de ventanas de contexto masivas de los LLM, ya que el razonamiento se realiza sobre una representación comprimida y estructurada del video.

En resumen, EGAgent establece un nuevo paradigma para la comprensión de video a largo plazo, demostrando que la combinación de agentes de planificación, búsqueda multimodal y gráficos de conocimiento temporales es la clave para desbloquear asistentes de IA verdaderamente contextuales y persistentes.