One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding

1. El Problema: Comprensión de Videos Largos en Modelos Visión-Lenguaje (VLM)

Los modelos de visión y lenguaje (VLM) actuales enfrentan un desafío fundamental al procesar videos largos: la limitación de la longitud del contexto de los Grandes Modelos de Lenguaje (LLM) que los componen.

• Explosión de Tokens: Cada fotograma de video típicamente se codifica en decenas o cientos de tokens visuales. Procesar videos de larga duración (minutos u horas) con una tasa de muestreo densa genera una cantidad masiva de tokens que excede rápidamente la ventana de contexto y el presupuesto computacional de los LLM.
• Pérdida de Información: Para adaptarse a estas limitaciones, los métodos existentes suelen muestrear los fotogramas de manera muy dispersa (pocos fotogramas por segundo) o comprimir los tokens utilizando estrategias heurísticas (como selección de tokens o agrupación/pooling). Esto resulta en una pérdida crítica de información temporal y detalles visuales, impidiendo una comprensión profunda de eventos complejos en videos largos.
• Limitaciones de los Métodos Actuales: Las técnicas de compresión basadas en heurísticas (no entrenadas) tienden a fallar en ratios de compresión extremos porque las capas del LLM no han aprendido a condensar la información de los tokens descartados en los retenidos.

2. Metodología: XComp

Los autores proponen XComp, un marco de trabajo diseñado para lograr una compresión extrema: un solo token por fotograma altamente selectivo. La metodología se divide en dos componentes principales que operan a diferentes niveles:

A. Compresión de Tokens Aprendible y Progresiva (LP-Comp)

Este componente aborda la reducción de tokens a nivel de fotograma (de decenas de tokens a uno solo).

• Insight Clave: En lugar de depender de heurísticas fijas o selección de tokens en tiempo de inferencia, las capas del LLM deben ser supervisadas para aprender a comprimir la información.
• Mecanismo: Se introduce una etapa de ajuste supervisado (Supervised Compression Tuning) donde el modelo aprende a condensar los tokens visuales progresivamente a través de las capas del LLM.
• Programa Progresivo: La compresión no ocurre de golpe en una sola capa. Se utiliza un programa suave (basado en una curva coseno) para reducir el número de tokens en cada capa del LLM hasta llegar a $N^{(L)} = 1$ token por fotograma en la última capa.
• Preservación de Sufijos: Para ser compatible con la atención causal de los LLM (donde los tokens posteriores pueden absorber información de los anteriores), el método preserva los tokens del "sufijo" de cada fotograma, descartando los iniciales.
• Eficiencia de Datos: Este ajuste requiere solo el 2.5% de los datos de ajuste fino supervisado (SFT) del modelo base (VideoChat-Flash), demostrando una alta eficiencia de datos.

B. Compresión de Fotogramas Condicionada a la Pregunta (QC-Comp)

Este componente aborda la reducción de la cantidad de fotogramas procesados ($T \to T'$), seleccionando solo los más relevantes para la consulta del usuario.

• Selección Basada en Atención: Utiliza las puntuaciones de atención internas del LLM entre los tokens de la pregunta y los tokens del video para determinar la relevancia de cada fotograma.
• Mitigación del Sesgo de Posición: Un problema conocido en LLMs de contexto largo es el sesgo de atención hacia el principio y el final de la secuencia ("Lost in the Middle"). Para resolver esto, XComp divide el video largo en segmentos cortos y calcula la atención de manera local dentro de cada segmento.
• Proceso: Se asignan puntuaciones de relevancia a los fotogramas dentro de cada segmento local, se promedian y se seleccionan los fotogramas con mayor puntuación global para la respuesta final.

3. Contribuciones Clave

1. Marco LP-Comp: Introducen un marco de compresión aprendible y progresivo que supervisa las capas del LLM para comprimir tokens visuales, superando las limitaciones de los métodos heurísticos tradicionales.
2. Método QC-Comp: Proponen una selección de fotogramas a nivel de fotograma condicionada a la pregunta, que utiliza la atención local segmentada para mitigar el sesgo de posición en contextos largos y mejorar la recuperación de información relevante.
3. Compresión Extrema: Logran la representación de cada fotograma seleccionado como un único token, permitiendo procesar una densidad de fotogramas 2x-4x mayor que los métodos anteriores sin exceder los límites de contexto.
4. Eficiencia de Datos: Demuestran que se puede lograr un rendimiento superior ajustando el modelo base con solo una fracción mínima (2.5%) de los datos de entrenamiento estándar.

4. Resultados Experimentales

El modelo XComp se evaluó sobre la base del modelo VideoChat-Flash-2B (2 mil millones de parámetros) y se comparó con otros modelos de escala similar e incluso modelos propietarios más grandes.

• Rendimiento en Benchmarks: XComp superó consistentemente al modelo base (VideoChat-Flash) y a otros VLMs de escala similar en cuatro benchmarks principales de videos largos:
  • LongVideoBench: 59.7% (vs 58.3% del base).
  • MLVU: 66.7% (vs 65.7% del base).
  • VideoMME (Long): 45.6% (vs 44.9% del base).
  • LVBench: 46.2% (vs 42.9% del base).
• Comparación con Modelos Grandes: XComp (2B) logró un rendimiento comparable e incluso superior a algunos modelos de 7B y 8B parámetros en tareas de videos largos.
• Escalabilidad con Fotogramas: A diferencia de los modelos base que sufren una caída de rendimiento al aumentar el número de fotogramas de entrada, XComp mejora su precisión a medida que se aumenta la densidad de muestreo de fotogramas, gracias a su capacidad de compresión extrema.
• Eficiencia Computacional: En pruebas de inferencia, XComp redujo los TFLOPs del LLM en un 53-58% y la latencia en un 45-58% para secuencias de 1k a 4k fotogramas, en comparación con el modelo sin compresión.

5. Significado e Impacto

Este trabajo representa un avance significativo en la comprensión de videos largos mediante VLMs:

• Rompe el Cuello de Botella de Contexto: Al lograr la compresión de un fotograma a un solo token mediante aprendizaje, se habilita el procesamiento de videos de horas de duración con una densidad de muestreo que antes era computacionalmente inviable.
• Cambio de Paradigma: Pasa de la compresión estática/heurística a una compresión dinámica y aprendida, donde el LLM internaliza la capacidad de resumir información visual crítica.
• Accesibilidad: Al funcionar eficientemente en modelos de 2B parámetros y requerir muy pocos datos de ajuste, hace que la comprensión avanzada de videos largos sea más accesible y escalable, reduciendo la dependencia de modelos masivos y costosos.
• Generalización: La técnica se demostró efectiva no solo en VideoChat-Flash, sino también al aplicarse a LLaVA-Next-Video, indicando que el enfoque es generalizable a diferentes arquitecturas de VLM.

En resumen, XComp establece un nuevo estado del arte en la eficiencia de tokens para videos largos, permitiendo una comprensión más densa, precisa y temporalmente rica sin sacrificar la viabilidad computacional.