Resumen Técnico: GenEvA para la Comprensión de Vídeos Largos

1. Planteamiento del Problema

La comprensión de vídeos largos con Modelos de Lenguaje Multimodales de Vídeo (Video-MLLMs) enfrenta un cuello de botella crítico en la etapa de "post-selección". Los métodos existentes se centran intensamente en la selección de fotogramas, comprimiendo vídeos largos en un pequeño conjunto de tokens visuales explícitos (fotogramas) para ajustarse a las ventanas de contexto. Aunque estos métodos aseguran que la evidencia visual potencialmente relevante esté disponible para el modelo, a menudo no garantizan que el modelo la utilice eficazmente.

Los autores identifican que el simple hecho de retener fotogramas relevantes no garantiza que el Video-MLLM pueda integrar pistas complementarias de momentos temporalmente distantes para responder a una consulta. En su lugar, los modelos suelen depender de sesgos lingüísticos o pistas espurias, ignorando el contexto visual explícito proporcionado. El desafío central es: ¿Cómo puede un Video-MLLM construir evidencia latente relevante para la consulta a partir de los fotogramas seleccionados para complementar el contexto visual explícito, abordando específicamente la brecha entre la disponibilidad de la evidencia y la utilización de la misma?

2. Metodología: GenEvA

El artículo propone GenEvA (Generative Latent Evidence Aggregation), un marco que inserta una "interfaz de evidencia latente" entre la selección de fotogramas y la generación de la respuesta. GenEvA opera sobre fotogramas seleccionados por un selector temporal congelado y consta de tres componentes principales:

A. Asignación de Presupuesto de Evidencia

Dado un conjunto fijo de $K$ fotogramas seleccionados y un presupuesto de tokens latentes $B$, GenEvA asigna dinámicamente la capacidad latente a cada fotograma basándose en su relevancia para la consulta.

• Mecanismo: Un asignador entrenable computa una puntuación de compatibilidad entre el embedding visual de cada fotograma y el embedding de la pregunta.
• Salida: Estas puntuaciones se normalizan en una distribución $\alpha$, que luego se proyecta en un presupuesto de tokens enteros $n_i$ para cada fotograma $i$. Esto asegura que el total de slots latentes sea igual a $B$, con un mínimo de un token por fotograma para garantizar la cobertura.

B. Agregación de Evidencia Latente Consciente de la Consulta

Una vez asignado el presupuesto $n_i$, el marco agrega la información visual en una representación latente compacta.

• Formación de Contexto: Se crea un "contexto visual-consulta" compartido mediante la agregación de tokens visuales no agrupados (unpooled) con el embedding de la pregunta vía atención cruzada (cross-attention).
• Construcción de Paquetes (Bundles): Para cada fotograma, se forma un paquete latente de longitud variable combinando una base latente entrenable (compartida entre ejemplos) con un vector de condicionamiento derivado del embedding local del fotograma y el contexto compartido de la consulta-visual.
• Integración: Estos paquetes específicos de cada fotograma se concatenan y se pasan a través de un adaptador LoRA ligero acoplado al LLM congelado. Este paso contextualiza la evidencia latente dentro del espacio oculto nativo del modelo, permitiendo que los tokens latentes absorban todo el contexto multimodal antes de la generación.

C. Invocación de Evidencia Adaptativa

En lugar de insertar siempre la evidencia latente (lo que aumenta la sobrecarga de tokens), GenEvA utiliza la dispersión de la distribución de asignación como una señal intrínseca para decidir si invoca la ruta latente.

• Lógica: Si la asignación residual está altamente concentrada en unos pocos fotogramas (baja dispersión), el modelo probablemente depende de pistas localizadas, y se utiliza la Ruta Explícita (solo fotogramas). Si la asignación está distribuida en muchos fotogramas (alta dispersión), lo que indica la necesidad de integración entre fotogramas, se invoca la Ruta Latente (fotogramas + evidencia latente agregada).
• Beneficio: Este mecanismo adaptativo reduce la sobrecarga promedio de tokens en el lado del decodificador al insertar evidencia latente solo cuando la estructura de la evidencia requiere una integración entre fotogramas.

3. Contribuciones Clave

1. Identificación de un Cuello de Botella Post-Selección: Los autores demuestran que la disponibilidad de evidencia no equivale a un uso efectivo de la misma, exponiendo una brecha donde los fotogramas seleccionados no logran integrarse en el proceso de generación de la respuesta.
2. La Interfaz de Evidencia Latente: Formulan una nueva etapa entre la selección y la generación que organiza los fotogramas seleccionados en evidencia trans-fotográfica relevante para la consulta.
3. Marco GenEvA: Un marco ligero, guiado por distribuciones, que implementa esta interfaz mediante:
   • Asignación de Presupuesto de Evidencia: Distribución dinámica de tokens latentes basada en la relevancia de la consulta.
   • Agregación Consciente de la Consulta: Construcción de evidencia latente compacta que combina el contexto específico del fotograma con el contexto global de la consulta.
   • Invocación de Evidencia Adaptativa: Un mecanismo sin enrutador que selecciona la ruta de inferencia basándose en la geometría de la asignación.
4. Validación Empírica: Evaluación exhaustiva que muestra que GenEvA mejora el rendimiento sin requerir presupuestos de fotogramas más grandes ni el reentrenamiento del Video-MLLM base.

4. Resultados Experimentales

GenEvA fue evaluado en cuatro benchmarks (Video-MME, MLVU, LongVideoBench, LVBench) utilizando dos backbones de Video-MLLM (LLaVA-Video y Qwen2.5-VL).

• Ganancias de Rendimiento:
  • Con 8 fotogramas, GenEvA mejoró el promedio de LLaVA-Video en cuatro benchmarks en +5.2 puntos.
  • En LVBench, mejoró la precisión de Qwen2.5-VL en +10.1 puntos.
  • Con 16 fotogramas, GenEvA con LLaVA-Video superó a métodos que utilizan presupuestos de fotogramas significativamente mayores (por ejemplo, Vamba con 1024 fotogramas) y igualó o superó a modelos especializados en razonamiento.
• Eficiencia:
  • Las ganancias se lograron con una sobrecarga mínima: 0.11%–0.40% de sobrecarga promedio de tokens de vídeo en el lado del decodificador.
  • La latencia de inferencia aumentó solo un ~2.0% (aproximadamente 0.057s por ejemplo).
• Estudios de Ablación:
  • Invocación Adaptativa: Superó tanto a las estrategias de invocación "Full" (siempre insertar latente) como "Random" (aleatoria), confirmando que la señal de dispersión de la asignación identifica eficazmente cuándo se necesita la integración entre fotogramas.
  • Aprendizaje de Asignación: Los patrones de asignación aprendidos se correlacionaron con tipos de tareas (por ejemplo, mayor dispersión para tareas de resumen frente a reconocimiento de entidades), validando que el modelo se adapta a la estructura de la evidencia.

5. Significado y Reivindicaciones

El artículo afirma que GenEvA establece la interfaz de evidencia latente como una etapa post-selección necesaria y complementaria. Su importancia radica en:

• Desacoplamiento de la Selección de la Integración: Demuestra que mejorar cómo un modelo usa los fotogramas seleccionados es tan crítico como seleccionar los fotogramos correctos.
• Rentabilidad: Logra resultados de vanguardia en benchmarks de vídeos largos utilizando un presupuesto de fotogramas compacto (8–16 fotogramas) y un presupuesto de tokens latentes diminuto (32 tokens), evitando el coste computacional de procesar miles de fotogramas.
• Adaptación Consciente de la Tarea: El marco demuestra que los modelos pueden aprender a asignar capacidad latente y seleccionar rutas de inferencia basadas en los requisitos de evidencia de una consulta, yendo más allá de los pipelines de compresión estáticos.

Los autores concluyen que GenEvA ofrece una solución ligera y efectiva para la comprensión de vídeos largos al transformar la selección estática de fotogramas en un proceso de agregación de evidencia dinámico y condicionado por la consulta.