💻 computer science

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

Este artículo propone **STC** (Streaming Token Compression), un marco jerárquico y plug-and-play que acelera los modelos de lenguaje de video en streaming mediante la reutilización de características en la etapa de codificación (STC-Cacher) y la reducción de tokens irrelevantes antes de la etapa de procesamiento del LLM (STC-Pruner), logrando una reducción significativa en la latencia con una pérdida mínima de precisión.

Autores originales: Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un partido de fútbol en vivo a través de una aplicación de inteligencia artificial que debe comentarlo en tiempo real. Para que la IA "entienda" lo que pasa, tiene que procesar miles de imágenes (fotogramas) por segundo.

El problema es que esto es agotador y lento. Es como si un comentarista tuviera que analizar cada milímetro de la imagen, cada brizna de césped y cada vez que el cielo cambia de color, aunque nada importante esté pasando. Esto hace que la IA se "trabe" o tarde demasiado en responder.

Este artículo presenta una solución llamada STC (Streaming Token Compression). Para entenderlo, vamos a usar una analogía: "El Asistente de Cine Inteligente".

1. El problema: El exceso de detalles innecesarios

Imagina que estás viendo una película de una persona caminando por un parque. El fondo (los árboles, el cielo, el banco) no cambia casi nada de un segundo a otro. Si la IA intenta procesar cada detalle del fondo en cada fotograma, está perdiendo el tiempo. Es como si un pintor intentara redibujar exactamente el mismo árbol 60 veces por segundo.

2. La solución parte 1: STC-Cacher (El "Bloc de Notas" del Pintor)

En lugar de redibujar todo, el STC-Cacher actúa como un pintor muy listo que tiene un bloc de notas.

¿Cómo funciona? Cuando llega un nuevo fotograma, el pintor mira su bloc de notas (la memoria) y dice: "Ah, este árbol es igual al que dibujé hace un segundo, no voy a gastar pintura en él".
La magia: Solo gasta energía y "pintura" (computación) en lo que se mueve: el balón, los jugadores o la gente corriendo. Lo que es estático, simplemente lo "copia y pega" de su memoria.
Resultado: Ahorra muchísimo trabajo en la etapa de "visión" (ViT), haciendo que la IA sea mucho más rápida.

3. La solución parte 2: STC-Pruner (El "Editor de Noticias" de alto nivel)

Una vez que la imagen ha sido procesada, la IA tiene una montaña gigante de información (llamada "tokens"). Si le pasas toda esa montaña al "cerebro" de la IA (el LLM), este se satura y tarda una eternidad en pensar.

Aquí entra el STC-Pruner, que actúa como un editor de noticias muy eficiente.

¿Cómo funciona? El editor tiene dos brújulas:
1. La Brújula del Pasado (Temporal): "¿Esto que veo es algo nuevo o ya lo vi hace un momento?"
2. La Brújula del Presente (Espacial): "¿Esto es importante dentro de esta imagen o es solo ruido de fondo?"
La magia: El editor descarta todo lo que sea repetitivo o irrelevante. Si la IA ve un cielo azul constante, el editor dice: "Esto no aporta nada nuevo a la historia, bórralo". Solo deja pasar los "titulares": el gol, la tarjeta roja o el cambio de clima.
Resultado: El cerebro de la IA recibe solo la "esencia" de la historia, lo que permite que responda casi instantáneamente.

En resumen: ¿Qué hemos logrado?

Gracias a este sistema de "copiar y pegar lo viejo" (Cacher) y "resumir lo importante" (Pruner), los investigadores lograron que la IA sea:

Mucho más rápida: Reduce el tiempo de espera en la parte de procesamiento de video en un 24.5% y en la parte de "pensamiento" en un 45.3%.
Igual de inteligente: A pesar de "borrar" tanta información, la IA mantiene casi el 99% de su precisión. Es como si leyeras un resumen perfecto de un libro: no te pierdes nada importante, pero terminas mucho más rápido.

En pocas palabras: STC enseña a la IA a dejar de mirar lo obvio y centrarse solo en lo que realmente importa, permitiendo que pueda "ver" y "hablar" sobre videos en tiempo real sin quedarse congelada.

Resumen Técnico: Aceleración de Modelos de Lenguaje de Gran Escala para Video en Streaming mediante Compresión Jerárquica de Tokens (STC)

1. El Problema: El Cuello de Botella del Streaming de Video

Los Modelos de Lenguaje de Gran Escala para Video (VideoLLMs) han demostrado una gran capacidad de comprensión, pero su despliegue en escenarios de streaming de video (como comentarios deportivos en vivo o gafas de realidad aumentada) enfrenta desafíos críticos de latencia. Los autores identifican dos cuellos de botella principales:

Redundancia Temporal en la Codificación ViT: En el streaming, los fotogramas llegan de forma continua y densa. Debido a que los cambios entre fotogramas sucesivos suelen ser mínimos (fondos estáticos, movimientos lentos), el codificador de visión (Vision Transformer - ViT) realiza cálculos redundantes procesando información casi idéntica una y otra vez.
Inflación de Tokens en el Pre-llenado del LLM: A medida que el video progresa, la secuencia de tokens visuales se acumula. Esto aumenta exponencialmente el costo computacional de la etapa de pre-filling del LLM (debido a la complejidad cuadrática de la atención) y dispara el uso de memoria en el caché KV.

Los métodos de compresión existentes fallan en streaming porque suelen ser "offline" (requieren ver todo el video primero) o "instrucción-dependientes" (necesitan saber la pregunta del usuario antes de comprimir), lo cual es imposible en un flujo de datos continuo y causal.

2. Metodología: El Marco STC (Streaming Token Compression)

Los autores proponen STC, un marco de aceleración plug-and-play (conectar y usar) que optimiza de forma jerárquica las dos etapas críticas mediante dos módulos ortogonales:

A. STC-Cacher (Optimización del ViT):
En lugar de realizar un paso hacia adelante (forward pass) completo para cada fotograma, este módulo utiliza una estrategia de computación selectiva:

Fotograma de Referencia: Cada cierto intervalo ( $N$ ), se realiza un procesamiento completo y se almacenan las representaciones intermedias (Key, Value, Attention, MLP).
Fotogramas No-Referencia: Para los fotogramas intermedios, el sistema identifica qué tokens son "dinámicos" (aquellos que han cambiado significativamente) comparando sus proyecciones de Key con la referencia mediante similitud de coseno.
Reutilización: Solo se recalculan los tokens dinámicos; los tokens estáticos se recuperan directamente del caché, reduciendo drásticamente la carga computacional del ViT sin perder información esencial.

B. STC-Pruner (Optimización del LLM):
Para reducir la longitud de la secuencia que entra al LLM sin conocer la pregunta del usuario, se utiliza una estrategia de poda basada en dos anclas (Dual-Anchor Pruning):

Ancla de Contexto Temporal (TCA): Representa el promedio de la historia reciente del video.
Ancla de Contexto Espacial (SCA): Representa el promedio del fotograma actual.
Puntuación de Novedad: Cada token recibe una puntuación basada en su disimilitud tanto con el pasado (TCA) como con el presente (SCA). Solo los tokens con alta "novedad" (que aportan información nueva o relevante) se conservan, eliminando el ruido y la redundancia espacial/temporal.

3. Contribuciones Clave

Análisis Empírico: Identificación de la necesidad de métodos de compresión causales (que no dependan de información futura o instrucciones previas) para el streaming.
Marco Jerárquico: Introducción de un sistema que ataca la redundancia en dos niveles: la codificación visual (ViT) y el procesamiento de lenguaje (LLM).
Diseño Plug-and-Play: El método puede integrarse en modelos existentes (como LLaVA-OV o ReKV) sin necesidad de reentrenamiento costoso.
Eficiencia sin pérdida de precisión: Logra una reducción masiva de latencia manteniendo una fidelidad semántica casi intacta.

4. Resultados Principales

Las pruebas extensas en cinco benchmarks (incluyendo OVO-Bench y StreamingBench) demostraron:

Reducción de Latencia: En el modelo ReKV, STC redujo la latencia de codificación ViT en un 24.5% y la latencia de pre-llenado del LLM en un 45.3%.
Preservación de la Precisión: A pesar de la fuerte compresión, el modelo retiene hasta el 99% de la precisión original en el marco ReKV.
Superioridad: STC superó a otros métodos de estado del arte como ToMe, VisionZip y VidCom2 tanto en tareas de percepción visual en tiempo real como en razonamiento causal.

5. Significación

Este trabajo es fundamental para el futuro de la IA multimodal, ya que cierra la brecha entre los modelos de video "offline" (que son lentos y pesados) y las necesidades de las aplicaciones de "mundo real" (que requieren respuestas instantáneas). Al demostrar que se puede comprimir la información de manera inteligente y causal, STC abre la puerta a una generación de asistentes de video inteligentes que pueden operar en dispositivos con recursos limitados o en flujos de datos masivos en tiempo real.