Resumen Técnico: Escalamiento Lineal de VLMs de Video para la Comprensión de Videos Largos (StateKV)

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión de Video (VLMs) son cada vez más críticos para aplicaciones de largo horizonte y streaming, como la conducción autónoma y la robótica empotida, que requieren integrar evidencia a lo largo de minutos u horas. Sin embargo, existe un cuello de botella fundamental: el costo computacional de procesar videos largos en los VLMs estándar crece de forma cuadrática ($O(N^2)$) con el número de fotogramas ($N$). Esto ocurre porque las arquitecturas dominantes dependen de la autoatención espacio-temporal, donde cada fotograma atiende a todos los tokens de video anteriores.

Las estrategias de eficiencia existentes intentan mitigar esto mediante:

1. Submuestreo de fotogramas o tokens: La reducción del tamaño de entrada suele degradar significamente el rendimiento, a menos que se retenga una gran fracción de los tokens (p. ej., ~60%).
2. Compresión de la caché KV: La compresión agresiva puede perder pistas temporales y espaciales necesarias para el razonamiento.
3. Heurísticas de ventana deslizante o basadas en la recencia: Métodos como ReKV procesan los fotogramas secuencialmente utilizando una ventana fija de fotogramas recientes. Aunque estos reducen la complejidad del prellenado (prefill) a un nivel lineal ($O(N)$), dependen de suposiciones ad-hoc de que la información más relevante es siempre la más reciente, fallando a menudo al capturar dependencias de largo alcance necesarias para un razonimiento complejo.

El desafío es lograr un prellenado de video en tiempo lineal (costo constante por fotograma) sin sacrificar la precisión de la autoatención completa ni requerir cambios arquitectónicos o ajuste fino (fine-tuning).

2. Metodología: StateKV

Los autores presentan StateKV, un método de inferencia que adapta VLMs preentrenados de video largo y congelados para lograr un prellenado de video en tiempo lineal. La idea central es que la atención de video largo en los VLMs preentrenados está altamente estructurada: mientras que la mayoría de las interacciones ocurren dentro del mismo fotograma, las interacciones temporales de largo alcance se concentran en un pequeño conjunto de tokens de "sumidero temporal" (temporal sinks) que evolucionan lentamente a lo largo del tiempo.

Suposiciones Principales

StateKV se basa en dos suposiciones empíricas respecto a la atención en los VLMs preentrenados:

1. Concentración de la Atención Inter-fotograma: Para cualquier fotograma dado, la mayor parte de la masa de atención útil entre fotogramas se concentra en un pequeño conjunto de tokens históricos ($K \ll N$), independientemente de la longitud total del video.
2. Evolución Lenta del Estado Temporal: El conjunto de estos tokens "sumidero" evoluciona lentamente. El estado útil para el fotograma $n+1$ puede aproximarse bien mediante el estado del fotograma $n$ combinado con los tokens del fotograma $n+1$.

Arquitectura y Mecanismo

StateKV opera mediante una estructura de doble caché por capa de transformador, manteniendo un backbone congelado:

1. Estado Detallado ($D_n$): Una caché de longitud completa que almacena todos los tokens visuales de cada fotograma procesado hasta el momento. Esta caché nunca es consultada durante la etapa de prellenado, pero se preserva para la etapa final de decodificación de texto para asegurar que no se pierda información durante la generación.
2. Estado Comprimido ($C_n$): Un estado recurrente de capacidad fija (p. ej., 1024 tokens) utilizado únicamente durante la etapa de prellenado de video para aproximar las interacciones entre fotogramas.

El Proceso:

• Prellenado en Streaming: A medida que llegan los fotogramas, el modelo los procesa de forma incremental. El fotograma $n$ atiende a la concatenación de los tokens del fotograma actual y el Estado Comprimido del fotograma $n-1$.
• Selección Basada en la Importancia: Después de procesar el fotograma $n$, el Estado Comprimido se actualiza. El modelo calcula las puntuaciones de atención (solo de video) para todos los tokens candidatos (el estado comprimido anterior + los tokens del fotograma actual). Selecciona los top-$B$ tokens (don donde $B$ es el presupuesto fijo) para formar el nuevo Estado Comprimido $C_n$, expulsando las entradas de baja importancia.
• Decodificación: Una vez procesados todos los fotogramas, comienza la generación de texto autorregresiva estándar. Crucialmente, la decodificación condiciona sobre el Estado Detallado ($D_N$), que contiene todos los tokens de video originales, asegurando que la fase de generación tenga acceso al contexto completo.

Este diseño desacopla la complejidad de la codificación de video (lineal, $O(N)$) de la fidelidad de la generación final (contexto completo).

3. Contribuciones Clave

• Prellenado de Tiempo Lineal sin Ajuste Fino: StateKV permite que los VLMs preentrenados congelados procesen videos largos con una complejidad computacional lineal ($O(N)$) y un costo constante por fotograma, sin requerir modificaciones arquitectónicas ni reentrenamiento.
• Aproximación Principlista de la Autoatención Completa: A diferencia de los métodos de ventana deslizante que dependen de la recencia, StateKV utiliza un mecanismo basado en la importancia para transportar los "sumideros temporales". Esto proporciona una aproximación más fundamentada de la autoatención completa, capturando dependencias de largo alcance que las heurísticas basadas en la recencia pasan por alto.
• Compromiso entre Computación y Precisión: Al reducir drásticamente los FLOPs requeridos para el prellenado de video, StateKV permite a los profesionales ejecutar modelos más grandes dentro del mismo presupuesto computacional. El artículo demuestra que un modelo más grande con StateKV puede superar a un modelo más pequeño usando autoatención completa con un costo computacional similar o menor.
• Validación Empírica: El método se valida en tres benchmarks de video largo (VideoMME, MLVU, OVOBench) y siete modelos que abarcan tres familias (InternVL3, Qwen-VL, Eagle2.5) y múltiples escalas (de 1B a 8B parámetros).

4. Resultados

• Precisión vs. Autoatención Completa: En todos los benchmarks y escalas de modelos, StateKV se mantiene cerca del rendimiento de la autoatención completa (Full SA). En promedio, se mantiene aproximadamente a un 1% de la precisión de Full SA, superando significativamente a las líneas base de ventana deslizante como ReKV (que a menudo presentan un retraso de ~10 puntos).
• Superioridad sobre Métodos Basados en la Recencia: StateKV supera consistentemente a ReKV (un método dominante de ventana deslizante) en VideoMME, MLVU y OVOBench. Los autores atribuyen esto al hecho de que los patrones de atención de largo alcance en los VLMs no se basan puramente en la recencia; a menudo dependen de "anclas" persistentes de fotogramas distantes que las ventanas deslizantes descartan.
• Comportamiento de Escalamiento: El rendimiento mejora monótonamente a medida que aumenta la capacidad del estado comprimido ($B$). Los modelos más grandes exhiben un escalamiento más fuerte con el tamaño de la caché, alcanzando a menudo la precisión de Full SA con presupuestos altos.
• Eficiencia Computacional:
  • StateKV reduce drásticamente los FLOPs de prellenado de video.
  • Análisis de Punto de Equilibrio: Para videos suficientemente largos, ejecutar un modelo más grande (p. ej., InternVL3-8B) con StateKV es computacionalmente más barato que ejecutar un modelo más pequeño (p. ej., InternVL3-1B) con Autoatención Completa.
  • Ejemplo: StateKV-8B con un presupuesto de caché de 4096 logra un 62.5% de precisión en VideoMME, con un costo computacional similar al de Full SA-1B (46.2% de precisión), ganando efectivamente ~16 puntos de precisión para el mismo presupuesto.

5. Significado y Reivindicaciones

El artículo posiciona a StateKV como un paso práctico hacia la comprensión de video largo escalable. Su importancia radica en:

• Habilitación de Streaming en Tiempo Real: Al lograr un costo constante por fotograma, StateKV elimina el cuello de botella cuadrático que actualmente impide las aplicaciones de streaming en tiempo real para videos largos (p. ej., un coche conduciendo durante una hora se vuelve más difícil de consultar que uno que apenas comienza).
• Redefinición de la Frontera Computacional: El método cambia el paradigma de "comprimir para encajar" a "comprimir para aproximar". Demuestra que la retención de memoria basada en la importancia es una aproximación más fuerte de la atención completa que la recencia estricta, permitiendo una mejor precisión con presupuestos de cómputo fijos.
• Generalizabilidad: El enfoque se transfiere consistentemente a través de diferentes familias de modelos y escalas de parámetros sin requerir ajustes específicos del modelo, lo que sugiere que la estructura de atención subyacente (sumideros temporales) es una propiedad robusta de los actuales VLMs preentrenados.

Los autores reconocen limitaciones, señalando que la validación mecánica es actualmente limitada a los modelos existentes y las entradas probadas. Sugieren que trabajos futuros deberían explorar si estos patrones de atención se mantienen en backbones y regímenes de video más amplios. Sin embargo, dentro del alcance probado, StateKV ofrece una solución robusta y libre de entrenamiento para el problema del escalamiento de video largo.