EMCompress: Video-LLMs with Endomorphic Multimodal Compression

1. Declaración del Problema

Los Modelos de Lenguaje Grande para Video (Video-LLMs) enfrentan un cuello de botella fundamental en el razonamiento de videos largos:

• La Tensión: Los modelos actuales suelen utilizar muestreo de cuadros estático y disperso (muestreo uniforme) para ajustar videos largos a un presupuesto limitado de tokens. Este enfoque diluye la evidencia semántica en segmentos irrelevantes o pierde por completo las semánticas temporales de alta granularidad.
• La Limitación de las Soluciones Existentes: Los métodos tradicionales de "anclaje" (grounding) intentan recuperar cuadros relevantes para la consulta, pero operan a un nivel perceptual (igualando tokens visuales con texto). No abordan las discrepancias semánticas en consultas complejas que involucran dependencias temporales, relacionales o causales de múltiples saltos. Recuperar un cuadro sin adaptar la consulta a menudo deja al modelo aguas abajo con un contexto desajustado.
• El Problema Central: El paradigma actual obliga al modelo a procesar todo el flujo de video, introduciendo "ruido cognitivo" y reduciendo la densidad de evidencia relevante por token.

2. Solución Propuesta: Compresión Multimodal Endomórfica (EMC)

Los autores proponen una nueva tarea llamada Compresión Multimodal Endomórfica (EMC). Inspirada en mecanismos cognitivos humanos (filtrar-luego-razonar), EMC busca comprimir la entrada $(V, Q)$ en una estadística suficiente compacta $(v, q)$ mientras preserva la invariancia de la respuesta.

Definiciones Clave y Formulación

• Transformación Endomórfica: A diferencia de la compresión de código latente (ej. Cuello de Botella de Información) que mapea entradas a un espacio latente abstracto, EMC mapea la entrada multimodal de vuelta al mismo espacio de tareas.
  • Transformación: $F_{EMC}: (V, Q) \to (v, q)$
  • Donde $v$ es un sub-segmento de video recortado y $q$ es una consulta reescrita.
• Estadística Suficiente: Bajo la cadena de Markov $A \to (V, Q) \to (v, q)$, el objetivo es encontrar el par $(v, q)$ más compacto tal que $I((v, q); A) = I((V, Q); A)$. El par comprimido debe contener toda la información necesaria para derivar la respuesta de verdad fundamental $A$.
• Condiciones de Admisibilidad:
  1. Continuidad Estructural (C1): El video de salida $v$ debe ser una concatenación de sub-segmentos contiguos no superpuestos para preservar el movimiento y la dinámica de la escena.
  2. Suficiencia de Respuesta (C2): Para cualquier agente VideoQA aguas abajo razonable $M$, $M(q, v) = M(Q, V)$. La respuesta debe permanecer correcta a nivel de instancia.
• Objetivos de Minimalidad:
  1. Lado del Video: Minimizar el tamaño (duración/número de cuadros) de $v$.
  2. Lado de la Consulta: Minimizar los pasos de razonamiento requeridos para derivar $A$ desde $(v, q)$.
  • Resolución: Los objetivos se resuelven lexicográficamente con prioridad de video; la compresión de video impulsa la transformación, y la reescritura de la consulta es la consecuencia aguas abajo.

3. Metodología: Marco ReSimplifyIt

Para realizar EMC, los autores introducen ReSimplifyIt, un marco multi-agente plug-and-play y agnóstico al modelo. Opera mediante un bucle iterativo impulsado por retroalimentación que involucra tres agentes principales:

1. Lanzador (Sin Video):

   • Genera una instrucción de recorte de alto nivel (ej. "mantener el clip después del evento X") y una consulta reescrita basándose solo en la consulta de texto y el historial previo.
   • Utiliza Historial de Éxito (SH) e Historial de Fallo (FH) para autocorregirse y evitar repetir planes fallidos.
   • Opera mediante razonamiento abductivo sobre el lenguaje sin acceso directo al video inicialmente.

2. Validador (Ejecución y Retroalimentación):

   • Recibe la instrucción del Lanzador.
   • Determina la viabilidad interactuando con el Visor.
   • Si la instrucción es viable, ejecuta el recorte; si no, proporciona retroalimentación constructiva al Lanzador.
   • Encarna una filosofía de "competencia desde la consecuencia": los planes se validan mediante la ejecución, no solo por reglas.

3. Visor (Escaneo y Localización):

   • Escaneo: Resume fragmentos de video dado un rango de marcas de tiempo.
   • Localización: Recupera rangos de marcas de tiempo dada una descripción de texto.
   • Implementación: Utiliza una extracción de cuadros clave en dos etapas (cuadros I de MPEG-4 + agrupamiento dinámico) y un LLM para la generación de subtítulos. Soporta navegación bidireccional (de arriba hacia abajo y de abajo hacia arriba).

Flujo de Trabajo: El proceso itera. El Lanzador propone un plan $\to$ el Validador verifica la viabilidad a través del Visor $\to$ Si falla, se registra la retroalimentación y el Lanzador reintenta. Si tiene éxito, el proceso termina con el par comprimido $(v, q)$.

4. Contribuciones Clave

1. Formulación de la Tarea EMC: La primera formalización de la compresión de video como un problema endomórfico que remodela conjuntamente el video y la consulta para preservar la invariancia de la respuesta, distinto del anclaje temporal simple.
2. BenchMark EMCompress: Un nuevo benchmark construido sobre YouCookII que contiene 238.2 horas de video y 2,754 preguntas. Incluye etiquetas duales tanto para la tarea de compresión (recorte de video + reescritura de consulta) como para VideoQA estándar.
3. Marco ReSimplifyIt: Una línea base robusta multi-agente que supera a los métodos existentes de localización temporal en 0.40 F1 en el benchmark.
4. Validación Empírica: Demostró que EMC mejora significativamente tanto la inferencia (robustez) como el entrenamiento (alineación) para Video-LLMs.

5. Resultados Experimentales

Los autores evaluaron EMC en múltiples Video-LLMs (ej. Video-ChatGPT, LLaVA-NeXT, InternVL) y benchmarks (ActivityNet-QA, MLVU, Video-MME, etc.).

• Rendimiento de Inferencia: Integrar EMC como un front-end produjo ganancias relativas del 33.7% en la precisión de inferencia a través de los benchmarks. Por ejemplo, en ActivityNet-QA, Video-ChatGPT mejoró de 50.5 a 58.5.
• Rendimiento de Entrenamiento: Entrenar Video-LLMs en datos pre-procesados por EMC (usando verdad fundamental o compresión predicha) resultó en ganancias relativas del 7.33% en comparación con el entrenamiento en datos crudos. Esto confirma que EMC purifica la señal de supervisión.
• Eficiencia y Densidad:
  • EMC logra una amplificación masiva de la densidad. En el conjunto de datos LVBench, muestrear 8 cuadros del segmento comprimido es equivalente a muestrear 2,566 cuadros del video original.
  • Ratio de Costo: EMC reduce el costo efectivo de muestreo de cuadros hasta en 100x (CostRatio $\approx$ 0.01) mientras mantiene o mejora la precisión.
• Estudios de Ablación:
  • Eliminar el diseño modular (ReSimplifyIt-simple) reduce ligeramente el rendimiento pero mantiene una alta eficiencia.
  • Eliminar el acceso al video por completo (ReSimplifyIt-blind) causa una caída significativa, destacando la necesidad del bucle de retroalimentación entre texto y visión.

6. Significado e Impacto

• Alineación Cognitiva: EMC refleja la cognición humana filtrando la redundancia antes del razonamiento profundo, abordando el "ruido cognitivo superfluo" en los Video-LLMs actuales.
• Cambio de Paradigma: Se mueve más allá de "recuperar evidencia" hacia "reconstruir el problema". En lugar de pedirle al modelo que encuentre la respuesta en un video ruidoso, EMC le pide al modelo que resuelva una versión más limpia y semánticamente alineada del problema.
• Escalabilidad: Como front-end agnóstico al modelo, EMC puede conectarse a cualquier pipeline de VideoQA existente sin cambios arquitectónicos, ofreciendo un camino escalable hacia la comprensión interpretable y eficiente del lenguaje y el video.
• Dirección Futura: El artículo identifica la compresión espacial y la integración de extremo a extremo (donde el codificador aprende a comprimir) como las próximas fronteras.

En resumen, EMCompress establece que la compresión de información es un mecanismo crítico y poco explorado para avanzar en Video-LLMs, ofreciendo una manera principista de manejar el razonamiento de contexto largo transformando el espacio de entrada en lugar de simplemente expandir la capacidad del modelo.