Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

Resumen Técnico: STTS para VLMs de Video

1. El Problema: Ineficiencia Computacional en VLMs de Video

Los Modelos de Lenguaje y Visión (VLMs) han avanzado rápidamente en la comprensión de video, pero a un costo computacional prohibitivo.

• Redundancia Temporal y Espacial: Procesar video implica codificar muchas frames, donde cada una se divide en cientos de tokens de parches mediante un Transformador de Visión (ViT). A medida que aumenta el número de frames, la secuencia de tokens crece cuadráticamente bajo el mecanismo de atención, generando un alto uso de memoria y latencia.
• Limitaciones de los Métodos Existentes:
  • Enfoques Pre/In-ViT: Se centran en tareas de percepción unimodal (como reconocimiento de acciones) y no se adaptan bien a objetivos multimodales ni a la redundancia temporal entre frames.
  • Enfoques Post-ViT: Eliminan tokens después del codificador ViT (antes del LLM). Sin embargo, el ViT sigue procesando todas las frames, manteniendo el cuello de botella computacional. Además, muchos requieren mecanismos complejos condicionados por texto o fusión de tokens.

2. Metodología: Spatio-Temporal Token Scoring (STTS)

Los autores proponen STTS, un módulo ligero y entrenable de extremo a extremo que poda (elimina) tokens visuales tanto dentro del ViT como en el LLM, sin necesidad de fusión de tokens ni condicionamiento por texto.

Arquitectura y Flujo de Trabajo:

1. Ubicación: STTS se inserta después de una capa específica del ViT (denotada como capa $l$).
2. Mecanismo de Puntuación Dual (Scorer):
   • Puntuación Espacial: Utiliza un Token Pooler (capa de autoatención) seguido de un MLP de 3 capas para evaluar la saliencia de los parches dentro de una frame.
   • Puntuación Temporal: El input para el puntuador de la frame $t$ incluye las características de la frame $t$ y la $t-1$. Esto permite detectar redundancia entre frames adyacentes.
3. Inyección de Sesgo (Bias Injection): Las puntuaciones se expanden y se inyectan como un sesgo en la matriz de atención de la siguiente capa del ViT ($l+1$). Esto permite que los gradientes de la tarea principal (LLM) retropropaguen y enseñen al puntuador a identificar tokens importantes sin condicionamiento explícito.
4. Poda y Empaquetado (Pruning & Packing):
   • Se eliminan los tokens con las puntuaciones más bajas (top-k% menos importantes).
   • Algoritmo de Empaquetado: Dado que la poda es no uniforme (algunas frames pierden más tokens que otras), se utiliza un algoritmo de "first-fit descending" para compactar los tokens restantes en tensores densos. Esto permite un procesamiento por lotes eficiente en hardware, logrando ahorros reales de computación.
5. Pérdida Auxiliar (Auxiliary Loss): Para asegurar que el modelo aprenda a podar la redundancia temporal, se introduce una pérdida de MSE basada en la similitud coseno entre parches de frames adyacentes. El objetivo es que una alta similitud (redundancia) se correlacione con una baja puntuación de importancia.

3. Contribuciones Clave

1. Módulo Unificado de Poda: STTS es un módulo ligero que poda tokens a través de toda la arquitectura (ViT + LLM) sin modificaciones arquitectónicas masivas ni algoritmos de fusión complejos.
2. Mecanismo de Puntuación de Doble Eje: Combina la saliencia espacial (aprendida implícitamente mediante gradientes de tareas multimodales) y la redundancia temporal (regularizada mediante una pérdida auxiliar).
3. Ganancias de Eficiencia Significativas: Permite eliminar el 50% de los tokens visuales, mejorando el rendimiento de entrenamiento e inferencia en un 62% con una caída de rendimiento promedio de solo 0.7% en 13 tareas de preguntas y respuestas (QA) de video.
4. Escalabilidad: La eficiencia mejora al aumentar el número de frames muestreadas. Además, al combinar STTS con Escalado en Tiempo de Prueba (Test-Time Scaling), se logra un aumento del 0.5-1% en benchmarks de video largo, permitiendo procesar más frames dentro del mismo presupuesto computacional.

4. Resultados Experimentales

• Rendimiento en Benchmarks: En tareas de QA de video corto y largo (como VideoMME, MLVU, LongVideo), STTS con una poda del 50% mantiene un rendimiento casi idéntico al modelo base.
  • Ejemplo: En VideoMME, la caída es de apenas 0.4 puntos.
  • Comparación: Supera significativamente a la poda aleatoria y a métodos heurísticos basados en similitud coseno (que fallan al no distinguir entre fondo estático y contenido semántico importante).
• Eficiencia Computacional:
  • 128 frames: Aceleración de 1.62x en entrenamiento y 1.61x en inferencia.
  • 256 frames: Aceleración de 2.25x en entrenamiento y 2.22x en inferencia. Las ganancias son proporcionales al cuadrado de la longitud de la secuencia debido a la complejidad de la atención.
• Análisis de Ablación:
  • La poda temprana (capas $l=0, 1$) daña el rendimiento; la capa $l=3$ es óptima.
  • La pérdida auxiliar es crucial; sin ella, el modelo no aprende a podar la redundancia temporal y el rendimiento cae por debajo de la poda aleatoria.
  • Visualización: STTS preserva inteligentemente objetos en movimiento y rostros (frente a un fondo estático), mientras que los métodos heurísticos eliminan tokens basándose únicamente en similitud superficial, perdiendo información crítica.

5. Significado e Impacto

STTS representa un avance significativo en la eficiencia de los VLMs para video al ofrecer una solución unificada y simple que aborda tanto la redundancia espacial como la temporal.

• Desbloqueo de Recursos: Al reducir drásticamente la carga computacional, permite entrenar e inferir modelos de video en entornos con restricciones de memoria (VRAM) o latencia.
• Escalabilidad: Facilita el uso de contextos temporales más largos (más frames) sin aumentar el costo computacional, lo cual es vital para la comprensión de videos largos.
• Simplicidad: A diferencia de métodos anteriores que requieren arquitecturas complejas o condicionamiento por texto, STTS es un "plug-in" compatible con cualquier VLM moderno que tenga un ViT y un LLM, demostrando que la poda inteligente basada en gradientes es superior a las heurísticas estáticas.

En conclusión, STTS demuestra que es posible reducir la carga computacional de los VLMs de video en más de un 60% manteniendo la capacidad de razonamiento multimodal, abriendo la puerta a sistemas de comprensión de video más accesibles y escalables.