💻 computer science

Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

El documento presenta SCORE, un marco unificado que utiliza aprendizaje por refuerzo para comprimir dinámicamente los tokens visuales en modelos de lenguaje multimodal, logrando una aceleración de prellenado de 16 veces y manteniendo el 99,5% del rendimiento en tareas de comprensión de video.

Autores originales: Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

Publicado 2026-03-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes que explicarle a un amigo lo que pasó en una película de dos horas, pero solo tienes tiempo para contarle los 10 minutos más importantes. Si intentas contarle cada segundo, cada movimiento de cámara y cada árbol en el fondo, tu amigo se aburrirá, se perderá y probablemente olvidará la trama principal.

El problema: "El ahogo de la información"
Los modelos de Inteligencia Artificial modernos (llamados MLLM) son como genios que pueden ver videos, pero tienen un problema: cuando ven un video largo, intentan procesar cada fotograma y cada detalle (incluso el cielo estático o la hierba que no se mueve). Esto es como intentar leer un libro entero palabra por palabra para entender un chiste, cuando en realidad solo necesitas leer la última frase.

Al tener tanta información redundante, el modelo se "ahoga". En el mundo de la IA, a esto se le llama "podredumbre del contexto" (context rot). El modelo se satura con datos basura y empieza a olvidar lo importante, cometiendo errores tontos.

La solución: SCORE (El editor inteligente)
Los autores de este paper crearon algo llamado SCORE. Imagina que SCORE es un editor de cine superinteligente y muy rápido que trabaja para el modelo de IA.

En lugar de dejar que el modelo vea todo el video crudo, SCORE entra antes y hace lo siguiente:

El "Detective de Sorpresas" (Surprise-Augmented):
Imagina que estás viendo un video. Si la pantalla es estática (un paisaje quieto), tu cerebro no presta mucha atención. Pero si de repente alguien salta o un coche pasa rápido, ¡tu cerebro se despierta!
SCORE hace lo mismo. No solo mira la imagen, sino que compara el fotograma actual con el anterior. Si hay un cambio (un "golpe" o una sorpresa), SCORE dice: "¡Esto es importante, guárdalo!". Si no hay cambio (es solo el mismo cielo de antes), dice: "Esto es aburrido, tíralo".
El Entrenamiento con "Películas Falsas" (Curriculum Learning):
Enseñar a un robot a entender videos reales es difícil porque el mundo es caótico y ruidoso. Así que SCORE primero se entrena con "películas falsas".
- La analogía: Imagina que le enseñas a un conductor a manejar en un circuito de karting vacío y perfecto (películas falsas donde las imágenes se repiten o cambian bruscamente). Una vez que aprende las reglas básicas de "qué es movimiento y qué no", lo llevas a la autopista real con tráfico y lluvia (videos reales). Esto hace que aprenda mucho más rápido y sin confundirse.
El Juego de "Acierto y Error" (Aprendizaje por Refuerzo):
SCORE no sigue reglas fijas escritas por humanos. Aprende jugando.
- Le da al modelo de IA varias versiones recortadas del mismo video.
- Si el modelo responde bien con una versión corta, SCORE recibe una "recompensa" (¡Bien hecho!).
- Si el modelo falla porque borró algo importante, SCORE recibe una "penalización" (¡Ups, no debiste borrar eso!).
- Con el tiempo, SCORE aprende a recortar exactamente lo justo y necesario para que el modelo sea rápido y preciso.

¿Qué logran con esto?
Los resultados son impresionantes:

Velocidad de luz: Al eliminar el 90% de los fotogramas innecesarios, el modelo puede procesar el video 16 veces más rápido. Es como pasar de conducir un camión cargado de piedras a conducir un coche deportivo vacío.
Mejor inteligencia: Paradójicamente, al quitar el "ruido" (los datos aburridos), el modelo entiende mejor el video. Es como si, al limpiar la mesa de trabajo, pudieras ver el dibujo con más claridad. En algunos casos, el modelo recortado responde mejor que el modelo que ve todo el video original.

En resumen:
SCORE es como un filtro de café inteligente para la inteligencia artificial. En lugar de dejar pasar todo el agua (datos) y ensuciar la taza, filtra solo lo esencial, permitiendo que la IA beba el café (la información) puro, rápido y sin que se le caiga la taza por tener demasiada carga. ¡Es una solución genial para que las IAs puedan ver y entender videos largos sin volverse locas!

Resumen Técnico: SCORE

1. El Problema: Redundancia Visual y "Context Rot"

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) han demostrado capacidades notables en la comprensión de video, pero enfrentan dos desafíos críticos:

Costo Computacional Prohibitivo: Los codificadores de visión generan decenas de miles de tokens visuales por video. Dado que la complejidad de la auto-atención en los LLMs escala cuadráticamente con la longitud de la secuencia, esto genera una carga de inferencia masiva.
Context Rot (Podredumbre del Contexto): A medida que aumenta la longitud de la entrada, la capacidad del modelo para utilizar la información disminuye, especialmente para los tokens en el medio de la secuencia. En videos, esto se agrava por la redundancia masiva (fondos estáticos, acciones repetitivas), que "ahoga" la información semánticamente esencial con tokens irrelevantes.

Las estrategias de compresión existentes (basadas en transformaciones fijas como convoluciones o métodos heurísticos) suelen estar desacopladas de los objetivos de la tarea final, careciendo de adaptabilidad y discriminación semántica.

2. Metodología: SCORE (Surprise-augmented token COmpression via REinforcement learning)

El authors proponen SCORE, un marco unificado que aprende una política de compresión de tokens adaptativa mediante Aprendizaje por Refuerzo (RL). El sistema se inserta entre un codificador de visión congelado y el LLM.

Componentes Clave:

Codificación de Estado Aumentada por Sorpresa (Surprise-Augmented State):
Para capturar la dinámica temporal y la saliencia del movimiento, el compresor no solo observa la incrustación del token $X[t]$ , sino que la combina con una señal de "sorpresa" calculada a partir de los residuos inter-frame: $\Delta X[t] = X[t] - X[t-1]$ .
- Esto actúa como un filtro paso-alta temporal, resaltando regiones con cambios significativos (movimiento, cambios semánticos) y suprimiendo redundancias estáticas.
- La representación resultante es $H[t] = [X[t]; \Delta X[t]]$ .
Política de Gating Bernoulli:
Una red neuronal ligera (MLP) procesa cada token y genera una probabilidad de retención $p_{t,i}$ . Se aplica un muestreo estocástico (Bernoulli) para decidir si un token se conserva o se descarta.
Optimización por Refuerzo (RL) con Grupo de Rollos (Group Rollouts):
- Muestreo: Para cada video, se muestrean $K$ máscaras de compresión independientes de la política actual.
- Recompensa: Se evalúa la calidad de generación del LLM congelado usando la entropía cruzada (CE). La recompensa equilibra el rendimiento (mantener baja la CE) y la dispersión (alta compresión).
- Estimador de Ventaja Dividida (Split-Advantage Estimator): Para estabilizar el entrenamiento, los rollos se dividen en dos zonas:
  1. Zona Segura ( $\Delta CE > 0$ ): Se recompensa la mayor dispersión posible manteniendo el rendimiento.
  2. Zona de Penalización ( $\Delta CE \le 0$ ): Se aplica una penalización ponderada por la dispersión para forzar a la política a retener más tokens y recuperar el rendimiento.
Estrategia de Aprendizaje Curricular (Curriculum Learning):
Debido al vasto espacio de acciones y el ruido en videos reales, se utiliza un entrenamiento en dos etapas:
1. Calentamiento con Videos Pseudo: Se entrena primero en videos sintéticos creados repitiendo imágenes estáticas. Esto crea señales temporales de alto contraste (cambios binarios nítidos), permitiendo que la política aprenda rápidamente la asociación entre residuos y tokens informativos.
2. Entrenamiento en Video Real: Se ajusta la política en videos reales con movimiento sutil y fondos complejos, refinando la estrategia para generalizar a dominios del mundo real.
Inferencia: Durante la inferencia, se utiliza una regla determinista de Top-K global para retener exactamente la proporción deseada de tokens, preservando sus posiciones espaciotemporales originales.

3. Contribuciones Principales

Marco SCORE: Un compresor visual a nivel de token basado en RL que optimiza directamente la calidad de generación del LLM bajo restricciones de presupuesto de tokens.
Representación Aumentada por Sorpresa: Una novedosa codificación de estado que utiliza residuos inter-frame para capturar explícitamente la dinámica temporal, superando la correlación temporal de los embeddings crudos.
Estrategia de Entrenamiento Integral: Combina gradientes de política por grupo, un estimador de ventaja asimétrico y un currículo progresivo (pseudo-a-real) para lograr un aprendizaje estable y efectivo.
Rendimiento Superior: Demostración de que la compresión aprendida puede superar al modelo sin comprimir al eliminar activamente el "context rot".

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks estándar (Video-MME, MLVU, LVBench) utilizando modelos como Qwen2.5-VL y LLaVA-Video.

Rendimiento:
- Con una tasa de retención del 25%, SCORE alcanza un puntaje promedio de 58.9, superando al modelo "Vanilla" sin comprimir (57.3) y a todos los métodos state-of-the-art (como VidCom2, FastVID).
- Esto demuestra que la compresión aprendida no solo preserva la información, sino que mejora el razonamiento al eliminar el ruido.
- Incluso con una retención agresiva del 10%, SCORE mantiene el 99.5% del rendimiento original.
Eficiencia:
- Se logra una aceleración de 16× en el tiempo de prellenado (prefill) del LLM al reducir los tokens visuales en un 90%.
- El costo computacional del propio compresor es insignificante (<1% del tiempo total de inferencia).
Análisis Cualitativo:
- Las máscaras aprendidas muestran una selectividad espacial (retienen humanos, objetos, interacciones) y adaptabilidad temporal (cambian el enfoque según el movimiento), ignorando fondos estáticos y redundancia temporal.

5. Significado e Impacto

SCORE representa un avance significativo en la escalabilidad de los MLLMs para video. Al abordar el problema de la redundancia y el context rot mediante un enfoque de aprendizaje por refuerzo adaptativo, ofrece una solución viable para la implementación de modelos de video largos en entornos sensibles a la latencia.

La capacidad de superar al modelo base al comprimir indica que la eliminación inteligente de redundancia es tan crucial como la preservación de la información. Este trabajo establece un nuevo estándar para la compresión de tokens visuales, demostrando que el aprendizaje de políticas dinámicas supera a los métodos heurísticos estáticos, permitiendo una comprensión de video eficiente y de alta calidad.