Resumen Técnico: LiteFrame: Codificadores Visuales Eficientes Desbloquean la Escalabilidad de Cuadros en LLMs de Video

1. Declaración del Problema

El desafío fundamental en la escalabilidad de los Modelos de Lenguaje Grande para Video (Video LLMs) hacia videos de larga duración radica en la explosión de la longitud del contexto de tokens visuales. Los Video LLMs actuales suelen seguir una arquitectura de múltiples etapas: un codificador de imágenes (por ejemplo, Vision Transformer) procesa los cuadros, un proyector de alineación mapea las características y un LLM razona sobre tokens visuales y de texto intercalados. A medida que aumenta el número de cuadros, los costos computacionales se elevan debido tanto al procesamiento por cuadro del codificador de visión como a la complejidad cuadrática de la autoatención del LLM.

Las estrategias existentes se centran principalmente en la reducción de tokens "post-hoc", donde un codificador de visión pesado y congelado extrae características densas, las cuales luego se reducen (mediante poda o fusión espacial/temporal) antes de ingresar al LLM. Aunque esto alivia la carga computacional del LLM, los autores observan un punto ciego crítico en la escalabilidad: a medida que disminuye la computación del LLM, el cuello de botella de latencia se desplaza hacia el costoso procesamiento por cuadro del codificador de visión. En consecuencia, la reducción agresiva post-hoc no logra desbloquear la comprensión eficiente de videos largos porque la latencia del codificador de visión se convierte en el límite prohibitivo para la inferencia de extremo a extremo.

2. Metodología

Para abordar esto, los autores introducen LiteFrame, una columna vertebral de codificador de video ligera y eficiente diseñada para internalizar la compresión de tokens espaciotemporales, acoplada a un nuevo marco de entrenamiento.

2.1. Arquitectura: Codificación Compresiva de Tokens Espaciotemporales

LiteFrame utiliza un codificador estudiante compacto (87 millones de parámetros, columna vertebral ViT-Base) en comparación con el maestro pesado (304 millones de parámetros, ViT-Large). La arquitectura está diseñada para reducir progresivamente las redundancias espaciotemporales:

• Capas Intercaladas: Las capas estándar de atención espacial se intercalan con capas ligeras de convolución temporal 1D de profundidad (DW).
• Submuestreo con Paso: Capas de convolución con paso de profundidad se integran en intervalos estratégicos (después de los bloques 4 y 8) para submuestrear gradualmente los mapas de características en las dimensiones espacial y temporal.
• Eficiencia: Este diseño permite que el modelo capture dinámicas temporales con una latencia y FLOPs significativamente menores en comparación con la atención espaciotemporal completa o los bloques estándar de atención temporal.

2.2. Destilación de Tokens Comprimidos (CTD)

Entrenar a un estudiante compacto para que iguale a un maestro grande mientras reduce la cantidad de tokens no es trivial. La destilación estándar obliga al estudiante a aprender detalles redundantes. Los autores proponen Destilación de Tokens Comprimidos (CTD):

• Objetivo de Supervisión: En lugar de imitar la salida densa del maestro, el estudiante se entrena para predecir la representación comprimida producida por el maestro.
• Agrupación Promedio Ponderada (WAP): Los autores identifican a WAP como un primitivo de compresión superior en comparación con la fusión o poda compleja de tokens. WAP agrupa tokens densos en un espacio latente compacto utilizando ponderación basada en atención dentro de bloques espaciotemporales.
• Objetivo: El estudiante minimiza el Error Cuadrático Medio (MSE) entre su salida y las características comprimidas por WAP del maestro. Esto transfiere efectivamente el mecanismo de ponderación basado en atención a los parámetros estáticos del estudiante, evitando la necesidad de atención en tiempo de ejecución sobre parches redundantes.

2.3. Adaptación del Modelo de Lenguaje (LMA)

Para cerrar la brecha de modalidad y optimizar el espacio latente comprimido para el LLM, se emplea una etapa mínima de Adaptación del Modelo de Lenguaje (LMA):

• El LLM y el codificador se ajustan finamente en pares de video-texto utilizando Adaptación de Bajo Rango (LoRA).
• Esta etapa alinea el espacio latente del estudiante con el LLM y permite que el modelo maneje contextos temporales extendidos (hasta 512 cuadros).

3. Contribuciones Clave

1. Identificación de un Punto Ciego en la Escalabilidad: El artículo destaca que la reducción de tokens post-hoc desplaza el cuello de botella de latencia del LLM al codificador de visión, impidiendo una escalabilidad eficiente hacia videos largos.
2. Arquitectura LiteFrame: Un codificador de video ligero que internaliza la compresión de tokens mediante una arquitectura espaciotemporal que utiliza convoluciones temporales de profundidad y submuestreo con paso.
3. Destilación de Tokens Comprimidos (CTD): Un nuevo marco de entrenamiento que enseña a un codificador estudiante a predecir directamente representaciones comprimidas espaciotemporalmente y ricas en información (mediante WAP) a partir de un maestro, en lugar de características densas.
4. Redefinición de la Frontera de Pareto: La integración de LiteFrame y LMA logra un nuevo equilibrio entre latencia y precisión, procesando significativamente más cuadros con una latencia de extremo a extremo menor.

4. Resultados Experimentales

Los autores evalúan LiteFrame frente a la línea base InternVL3-8B y varios métodos post-hoc de vanguardia (por ejemplo, FastVID, PruMerge, ToMe) y codificadores eficientes (por ejemplo, VideoPanda, AutoGaze).

• Latencia y Precisión: En comparación con InternVL3-8B, LiteFrame logra una reducción del 35% en la latencia de extremo a extremo mientras procesa 8 veces más cuadros. Por ejemplo, a 64 cuadros, LiteFrame reduce la latencia total de ~208 ms a ~150 ms mientras mejora la precisión promedio en los benchmarks (Video-MME, MLVU, LongVideoBench).
• Comparación con Métodos Post-Hoc: Aunque los métodos post-hoc (como FastVID) reducen los tokens del LLM, siguen limitados por el pesado codificador de visión original. LiteFrame supera a estos métodos tanto en eficiencia como en precisión al evitar el "suelo computacional" del codificador original.
• Comparación con AutoGaze: LiteFrame supera significativamente a AutoGaze. Mientras AutoGaze intenta abordar ambos cuellos de botella (ViT y LLM), su módulo auxiliar de pre-reducción introduce una sobrecarga sustancial (que representa casi la mitad del tiempo total de inferencia en algunas configuraciones). LiteFrame logra una latencia menor y una precisión mayor sin dicha sobrecarga auxiliar.
• Escalabilidad Espacial: LiteFrame demuestra capacidades sólidas de escalabilidad espacial zero-shot. En el benchmark HLVid, alcanza una puntuación de vanguardia de 54.1 a una resolución de 2688px con 48 cuadros, superando a AutoGaze (52.6), que requirió resoluciones y conteos de cuadros más altos.
• Estudios de Ablación:
  • CTD vs. RTD: CTD (utilizando objetivos WAP) supera significativamente a la Destilación de Tokens Reconstructivos (RTD), lo que sugiere que la alineación explícita con el primitivo WAP proporciona una base semántica más robusta que el autoencondado genérico.
  • Arquitectura: Las convoluciones temporales de profundidad superan a la atención espaciotemporal completa en términos de latencia y precisión.
  • Estrategia de Compresión: La compresión espaciotemporal (4× espacial, 4× temporal) supera a la compresión solo espacial (16×), preservando la fidelidad espacial crítica mientras se agrupa la redundancia temporal.

5. Significado y Afirmaciones

El artículo afirma que LiteFrame demuestra una nueva ruta potencial para desbloquear la comprensión de videos de mayor duración bajo presupuestos de computación fijos. Al desplazar el enfoque de "extraer y reducir" (post-hoc) a "internalizar y comprimir" (arquitectural), los autores muestran que es posible eludir el cuello de botella de latencia del codificador de visión que ha limitado a los Video LLMs actuales.

Los autores enfatizan que su enfoque redefine la frontera de Pareto eficiencia-precisión, permitiendo que los modelos intercambien redundancia espaciotemporal por un contexto temporal significativamente más rico. Concluyen que la internalización arquitectónica de la compresión de tokens mediante destilación es una solución más escalable para la comprensión de videos de larga duración que los métodos puramente de reducción de tokens.

Limitaciones Reconocidas:

• La etapa LMA se entrenó en un subconjunto de datos de video existentes; conjuntos de datos de mayor calidad y de extrema duración podrían mejorar aún más el rendimiento.
• El modelo se evaluó principalmente en benchmarks centrados en video; el rendimiento en benchmarks de imágenes estáticas permanece sin explorar.
• La reducción de escala a modelos estudiantes aún más pequeños (<87M) se vio limitada por inestabilidades en el entrenamiento (por ejemplo, explosiones de pérdida), lo que indica la necesidad de una mayor estabilización del marco CTD.