CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

Resumen Técnico: CoPE-VideoLM

1. El Problema

Los Modelos de Lenguaje para Video (VideoLMs) actuales enfrentan dos limitaciones críticas al intentar comprender videos a gran escala:

• Restricciones de Ventana de Contexto y Muestreo: Para ajustarse a los límites de tokens de las ventanas de contexto, los métodos existentes utilizan muestreo de keyframes (fotogramas clave), a menudo mediante muestreo temporal uniforme. Esto genera una cobertura temporal dispersa que pierde tanto eventos macro (secuencias largas) como detalles micro (acciones finas).
• Ineficiencia Computacional: Procesar imágenes completas (RGB) para cada fotograma seleccionado genera una sobrecarga computacional significativa. Además, la redundancia temporal entre fotogramas consecutivos (incluso a 1 FPS) no se aprovecha, desperdiciando tokens y aumentando el tiempo de prellenado (prefill time) y el tiempo hasta el primer token (TTFT), lo cual es crucial para aplicaciones en tiempo real como la robótica.

2. Metodología: CoPE-VideoLM

El enfoque propuesto, CoPE-VideoLM, cambia el paradigma de tratar los videos como colecciones de imágenes RGB densas a utilizar las primitivas nativas de los códecs de video (específicamente vectores de movimiento y residuos) que ya contienen la redundancia y la estructura temporal.

Componentes Clave:

• Tokenización Consciente del Códec:
  • Fotogramas I (Intra): Se procesan como imágenes RGB completas a través de un codificador de visión congelado (ej. SigLIP), generando tokens densos ($M$ tokens).
  • Fotogramas P (Predictivos): En lugar de decodificarlos a RGB, se extraen directamente sus componentes comprimidos: vectores de movimiento ($\tau$) y residuos ($\delta$).
• Codificador $\Delta$ (Delta-Encoder):
  • Es una arquitectura ligera basada en transformadores con dos ramas especializadas:
    1. Rama de Movimiento: Procesa los vectores de movimiento mediante un MLP y un transformador de movimiento para comprimirlos en un pequeño conjunto de tokens.
    2. Rama de Residuos: Procesa los residuos mediante una ResNet-18 ligera y un transformador de residuos.
  • Estos se combinan para formar $\Delta$-tokens (tokens delta), que son extremadamente compactos (ej. 8 tokens por grupo de fotogramas P) en comparación con los 196 tokens de un fotograma I.
• Estrategia de Entrenamiento en Dos Etapas:
  1. Pre-entrenamiento del $\Delta$-Encoder: Se entrena para alinear la representación de los primitivos del códec (movimiento + residuo) con el espacio de incrustación del codificador de imágenes RGB. Utiliza transformadores de "referencia" y "deformación" (warped) para reconstruir características visuales sin decodificar el RGB, minimizando la pérdida de información semántica.
  2. Ajuste Fino (Fine-tuning) End-to-End: El codificador $\Delta$ pre-entrenado se integra en el VideoLM. Durante la inferencia, se crea una secuencia de tokens intercalada: tokens de fotogramas I y tokens $\Delta$ de los fotogramas P, manteniendo el orden temporal natural.

3. Contribuciones Principales

1. Tokenización Eficiente: Propone codificar videos utilizando primitivas de códec, preservando la dinámica temporal y la apariencia sin la redundancia RGB. Esto reduce el uso de tokens visuales hasta en un 93% y el TTFT hasta en un 86%.
2. Arquitectura Dual Ligera: Introduce un codificador $\Delta$ de doble rama que logra tasas de compresión muy superiores a los codificadores de imágenes tradicionales, generando representaciones compactas pero ricas en información.
3. Marco de Pre-entrenamiento: Desarrolla una estrategia de pre-entrenamiento que alinea el espacio de representaciones de los primitivos del códec con el de los modelos de visión, acelerando la convergencia y mejorando el rendimiento en el ajuste fino del VideoLM.
4. Escalabilidad Temporal: Permite ajustar la densidad de fotogramas clave y la fusión de fotogramas P para equilibrar resolución temporal y coste computacional, permitiendo procesar videos de hasta 8 horas dentro de una ventana de contexto de 1 millón de tokens.

4. Resultados Experimentales

El modelo fue evaluado en 14 benchmarks diversos, abarcando preguntas generales, razonamiento temporal, comprensión de videos largos y entendimiento espacial.

• Eficiencia vs. Precisión: CoPE-VideoLM iguala o supera el rendimiento de los VideoLMs de código abierto más avanzados (como LLaVA-Video-7B) utilizando una fracción significativa de tokens.
  • En PerceptionTest, superó a la línea base en +6.7% de precisión con un uso de tokens drásticamente menor.
  • En tareas de razonamiento temporal (TempCompass, TOMATO), logró la mayor precisión entre modelos de código abierto, demostrando que los primitivos del códec capturan mejor las señales temporales finas.
• Rendimiento en Tiempo de Ejecución:
  • Reducción del TTFT en un 86.2% y de la latencia de extremo a extremo en un 56.1% en comparación con el muestreo denso de 64 fotogramas.
  • Capacidad para procesar videos de larga duración (hasta 8 horas) sin exceder los límites de memoria, algo imposible para los métodos basados en RGB densos.
• Análisis de Ablación: Se demostró que el pre-entrenamiento en dos etapas es crucial y que los $\Delta$-tokens son utilizados activamente por el modelo para el razonamiento temporal (al cerosarlos, el rendimiento cae drásticamente).

5. Significado e Impacto

CoPE-VideoLM representa un cambio fundamental en cómo se alimentan los datos visuales a los modelos de lenguaje multimodal:

• Eficiencia Nativa: En lugar de intentar comprimir imágenes ya decodificadas (poda de tokens), el método aprovecha la compresión inherente de los formatos de video estándar (H.264, HEVC, MPEG-4).
• Viabilidad para Aplicaciones en Tiempo Real: La drástica reducción en el TTFT y el uso de memoria hace que los VideoLMs sean viables para aplicaciones críticas como robótica y sistemas de interacción humana en tiempo real.
• Escalabilidad Futura: A medida que los modelos de IA requieren ventanas de contexto más grandes para entender videos largos, este enfoque ofrece una vía práctica para escalar la comprensión de video sin un coste computacional prohibitivo, posicionando a los métodos basados en códecs como la base para la próxima generación de VideoLMs.

En resumen, el trabajo demuestra que la información necesaria para la comprensión de video ya está disponible y estructurada en los flujos de video comprimidos, y que explotarla directamente es más eficiente y efectivo que tratar cada fotograma como una imagen independiente.