Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

Resumen Técnico: Percepción Activa de Video (VAP)

Enunciado del Problema
Los Modelos Grandes de Visión y Lenguaje (VLM) han avanzado en tareas multimodales como la respuesta a preguntas sobre video (QA), pero enfrentan obstáculos significativos al aplicarse a videos de larga duración. Los autores identifican dos desafíos principales:

1. Efectividad de los Cuadros: La inferencia estándar a menudo se basa en una muestreo uniforme (por ejemplo, 1 cuadro por segundo). Este enfoque es subóptimo porque trata todas las regiones del video por igual, seleccionando potencialmente cuadros irrelevantes mientras omite segmentos densos en información y relevantes para la tarea. Los resultados empíricos muestran que el rendimiento a menudo se estanca o incluso se degrada a medida que aumenta el número de cuadros muestreados uniformemente.
2. Eficiencia de los Cuadros: Procesar videos largos genera una cantidad prohibitiva de tokens (casi cuatro millones para una sola hora), lo que dificulta la implementación práctica de VLM en escenarios del mundo real como la conducción autónoma o la monitorización de pacientes.

Las soluciones existentes a menudo dependen de un razonamiento basado en agentes iterativos, subtítulos de video o estructuras de datos complejas (por ejemplo, grafos o árboles), lo que introduce una alta latencia, depende de la calidad de los modelos intermedios de subtítulos o requiere recursos computacionales extensos.

Metodología: Percepción Activa de Video (VAP)
El artículo introduce Percepción Activa de Video (VAP), un método libre de entrenamiento, diseñado para ejecutarse en tiempo de inferencia, destinado a mejorar tanto la efectividad como la eficiencia de la selección de cuadros para QA de video de larga duración. Inspirado en la teoría de la percepción activa—que postula que los agentes inteligentes adquieren datos que difieren de sus expectativas para maximizar la ganancia de información—VAP reformula la selección de cuadros clave como un proceso de adquisición de datos guiado por el conocimiento previo del mundo.

El método opera en tres etapas principales sin ajustar finamente el VLM:

1. Generación de Conocimiento Mundial A Priori:

   • VAP utiliza un modelo de generación de video ligero, preentrenado y condicionado por texto (específicamente CogVideoX) para representar el conocimiento visual previo.
   • El sistema toma un subconjunto pequeño de cuadros iniciales muestreados uniformemente (por ejemplo, 32 cuadros), junto con la pregunta del usuario y las posibles respuestas, como señales condicionales.
   • Utilizando un VAE causal 3D y un módulo de interpolación de cuadros (RIFE), el modelo genera representaciones latentes de la dinámica de todo el video, prediciendo cómo se espera que el video se desarrolle basándose en el contexto inicial y la consulta.

2. Adquisición de Datos (Selección de Cuadros):

   • El sistema codifica todos los cuadros de video reales en el mismo espacio latente utilizando el mismo codificador VAE 3D.
   • Luego compara las representaciones latentes de los cuadros reales contra los cuadros generados (esperados).
   • La selección se basa en la divergencia: los cuadros donde la dinámica real del video difiere más significativamente de las predicciones del modelo generador se consideran "sorprendentes" y, por lo tanto, más informativos.
   • El método selecciona los $n$ cuadros (por ejemplo, 32) con la menor similitud coseno respecto a sus contrapartes generadas.

3. Inferencia del VLM:

   • Los cuadros clave seleccionados se introducen en un VLM destacado (por ejemplo, GPT-4o, Gemini 1.5 Pro, LLaVA-OV) junto con la pregunta y las respuestas para realizar la inferencia final.
   • Este proceso es agnóstico al VLM específico utilizado y opera en una sola ronda de selección, evitando bucles iterativos.

Contribuciones Clave

• Marco Libre de Entrenamiento: VAP no requiere ajuste fino de VLMs grandes, haciéndolo inmediatamente aplicable a modelos existentes.
• Mecanismo de Selección Novel: A diferencia de métodos anteriores que dependen de subtítulos o agentes iterativos, VAP aprovecha un modelo generativo para crear un "prior" y selecciona cuadros basándose en la discrepancia entre la expectativa y la realidad.
• Enfoque Unificado: Simplifica el proceso de selección a una sola ronda de comparación, eliminando la necesidad de estructuras de datos complejas o múltiples llamadas a LLM.
• Eficiencia: Reduce drásticamente la cantidad de tokens requeridos para la inferencia al seleccionar solo los cuadros más relevantes.

Resultados Experimentales
Los autores evaluaron VAP en cinco conjuntos de datos de referencia: EgoSchema, NExT-QA, ActivityNet-QA, IntentQA y CLEVRER.

• Rendimiento: VAP logró resultados zero-shot de última generación en todos los conjuntos de datos. Por ejemplo, alcanzó un 68.1% en EgoSchema, un 81.4% en NExT-QA y un 40.5% en CLEVRER.
• Capacidades de Razonamiento: VAP demostró un rendimiento superior en tareas que requieren razonamiento temporal y causal (por ejemplo, preguntas explicativas y contrafactuales en CLEVRER), superando líneas base como VideoTree y VideoAgent.
• Ganancias de Eficiencia:
  • VAP logró estos resultados utilizando significativamente menos cuadros que las líneas base estándar. Por ejemplo, en EgoSchema, utilizó 32 cuadros en comparación con los 180 cuadros estándar (1 fps), resultando en una mejora de 5.6× en la eficiencia de cuadros.
  • En comparaciones de latencia (iso-computo e iso-precisión), VAP logró una precisión mejor o comparable con menor latencia que el muestreo estándar de GPT-4o mini.
• Robustez: Los experimentos mostraron que el método es robusto al conjunto específico de cuadros iniciales utilizados para la generación y que aumentar el número de cuadros seleccionados más allá de 32 produce rendimientos decrecientes.

Significado y Afirmaciones
El artículo afirma que VAP demuestra la efectividad empírica de aprovechar los principios de la percepción activa para mejorar la comprensión de videos de larga duración. Al utilizar un modelo generativo para codificar el conocimiento previo del mundo y seleccionar cuadros que divergen de estas expectativas, el método identifica con éxito momentos pivote (como colisiones o acciones específicas) que son cruciales para responder preguntas complejas.

Los autores destacan que este enfoque ofrece una estrategia de adquisición de datos más inteligente para la inferencia de VLM, equilibrando alto rendimiento con eficiencia computacional. Concluyen que integrar conocimiento previo de modelos de difusión es un camino viable para mejorar la efectividad y eficiencia de los cuadros en la QA de video de larga duración, particularmente para tareas con alto peso en razonamiento. El trabajo sugiere que los avances futuros en modelos de generación de video podrían empoderar aún más a los VLM con capacidades de razonamiento espacio-temporal más fuertes sobre videos muy largos.