Resumen Técnico: EarlyTom

Enunciado del Problema

Los Modelos de Lenguaje para Video (Video-LLM) han demostrado capacidades sólidas en la comprensión de video, pero enfrentan barreras significativas para su despliegue práctico debido a la ineficiencia computacional del procesamiento de grandes cantidades de tokens visuales. Aunque los métodos recientes de compresión de tokens logran ratios de retención de tokens bajos con una pérdida mínima de precisión, operan predominantemente en la etapa tardía del proceso de prellenado (después del codificador de visión) o dentro del propio LLM.

El perfilado de latencia revela un cuello de botella crítico: la etapa de codificación de visión consume una parte sustancial del Tiempo hasta el Primer Token (TTFT). En los modelos base, la codificación de visión representa el 36,3% del TTFT. En los métodos más avanzados optimizados para la latencia de prellenado del LLM (por ejemplo, HoliTom, VisionZip), esta proporción aumenta al 55,8% y al 68,4%, respectivamente, porque estos métodos dejan el codificador de visión sin optimizar. Además, las estrategias de compresión existentes a menudo introducen una sobrecarga computacional no trivial durante el procesamiento de tokens, lo que aumenta aún más la latencia. Asimismo, los métodos estándar de selección Top-K de tokens son susceptibles a los "sumideros de atención" (attention sinks): tokens específicos que consistentemente atraen puntuaciones de atención desproporcionadamente altas independientemente del contenido, lo que conduce a una compresión sesgada y a una posible pérdida de información semántica en cuadros dinámicos.

Metodología: EarlyTom

Los autores proponen EarlyTom, un marco de compresión de tokens sin entrenamiento diseñado para realizar la compresión temprana dentro del codificador de visión y utilizar una estrategia de selección espacial desacoplada. El marco consta de dos etapas principales:

1. Fusión de Cuadros en el Codificador de Visión Interno (Compresión Temporal)

Esta etapa comprime la información visual redundante durante el proceso de codificación para reducir la cantidad de tokens antes de que lleguen al proyector o al LLM.

• Segmentación de Cuadros en Flujo: El video de entrada se segmenta adaptativamente basándose en la similitud de los cuadros. Se calcula la similitud coseno entre cuadros consecutivos y se suaviza utilizando una Media Móvil Exponencial (EMA). Se define un límite de segmento cuando la similitud suavizada cae por debajo de un umbral ($\tau_{seg}$).
• Fusión de Cuadros Intermedios: Dentro de cada segmento, los cuadros intermedios (excluyendo el primero y el último) se fusionan si son altamente similares a sus vecinos y más similares entre sí que al par subsiguiente.
• Fusión de Cuadros Ponderada: Los cuadros fusionados se generan mediante una fusión ponderada de las características del cuadro, donde los pesos se determinan por las puntuaciones de similitud. Esto asegura que la representación fusionada permanezca concentrada alrededor del contenido semánticamente importante mientras reduce la redundancia temporal.

2. Selección de Tokens Espaciales Desacoplada

Para abordar el sesgo introducido por los sumideros de atención y reducir aún más la cantidad de tokens, el método emplea una estrategia de selección de diseño conjunto a nivel de sistema después de la fusión de cuadros.

• Descomposición Dinámica vs. Estática: Los cuadros fusionados se dividen en conjuntos dinámicos (cuadros inicial y final de los segmentos, que poseen un alto poder discriminativo) y estáticos (cuadros intermedios).
• Selección Global Top-K (Dinámica): Para los cuadros dinámicos, se realiza una selección Global Top-K basada en las puntuaciones de atención por token para preservar los tokens sensibles al movimiento a lo largo de la dimensión temporal.
• Selección Local Ventana Top-K (Estática): Para los cuadros estáticos, para evitar que el sesgo de los sumideros de atención domine la selección, los cuadros se dividen en ventanas locales. Dentro de cada ventana, se selecciona el token con la puntuación de atención máxima. Esto preserva la distribución espacial original y mitiga los efectos negativos de los atractores estructurales.
• Diseño Conjunto del Sistema: Para mejorar la eficiencia, la selección de tokens estáticos, que es computacionalmente más ligera, se descarga a la CPU, mientras que la GPU maneja la selección de tokens dinámicos más intensiva, aprovechando los recursos de computación heterogénea.

Contribuciones Clave

1. Fusión de Cuadros en el Codificador de Visión Interno: Un mecanismo que comprime la información visual redundante durante la fase de codificación, reduciendo efectivamente los tokens visuales con una sobrecarga insignificante y disminuyendo significativamente el TTFT.
2. Selección de Tokens Desacoplada: Una estrategia que separa los cuadros en conjuntos dinámicos y estáticos, aplicando esquemas de muestreo distintos (Global Top-K vs. Local Ventana Top-K) para reducir tokens sin introducir sesgos provenientes de los sumideros de atención.
3. Rendimiento de Vanguardia: Experimentos extensivos en los modelos LLaVA-OneVision-0.5B y 7B demuestran que EarlyTom logra una aceleración superior manteniendo una precisión comparable a las líneas base de tokens completos.

Resultados Experimentales

Evaluado en una sola GPU NVIDIA A100 utilizando LLaVA-OneVision-7B y cuatro benchmarks (MVBench, EgoSchema, LongVideoBench, VideoMME):

• Eficiencia: EarlyTom reduce el TTFT hasta en 2,65× (de 889 ms a 336 ms al 10% de retención) y reduce los FLOPs hasta en un 61% en comparación con la línea base de tokens completos. Supera consistentemente a otros métodos sin entrenamiento (por ejemplo, VisionZip, HoliTom, FastVID) en el rendimiento y la latencia a través de diversos ratios de retención (10%–25%).
• Precisión: El método mantiene una calidad competitiva en tareas posteriores. Con un ratio de retención del 10%, EarlyTom logra una puntuación promedio en benchmarks de 56,2 (96,2% de la línea base de tokens completos), superando a otros métodos que sufren una degradación significativa de la precisión bajo poda agresiva.
• Generalización: El enfoque se valida en las arquitecturas LLaVA-Video-7B y Qwen2.5-VL-7B, mostrando mejoras consistentes en la reducción de FLOPs y la aceleración del TTFT mientras se preserva la precisión.
• Ablación: Eliminar ya sea la fusión de cuadros o la estrategia de selección desacoplada resulta en una degradación del rendimiento, confirmando la necesidad de ambos componentes para equilibrar la eficiencia y la fidelidad.

Significado

El artículo afirma que EarlyTom aborda un cuello de botella fundamental en el despliegue de Video-LLM al cambiar el paradigma de compresión de la etapa tardía (post-codificador) a la etapa temprana (dentro del codificador de visión). Al optimizar directamente el componente que consume más tiempo del pipeline de inferencia (codificación de visión) e introducir una estrategia de selección espacial consciente del sesgo, EarlyTom permite una inferencia significativamente más rápida (menor TTFT) y un mayor rendimiento sin sacrificar el rendimiento del modelo. Este trabajo sienta las bases para el despliegue práctico de Video-LLM en escenarios de producción reales sensibles a la latencia donde los recursos computacionales son limitados.