💻 computer science

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

Este artículo propone una estrategia de poda de tokens adaptativa de dos etapas, post-hoc y sin entrenamiento, que primero elimina los fotogramas redundantes y luego ajusta dinámicamente la retención de tokens basándose en las correlaciones entre fotogramas, logrando una reducción del 95% en la computación mientras mejora la precisión de la descripción de video en un 7% con una retención de tokens del 10%.

Autores originales: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Publicado 2026-08-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo entender el mundo. Le das una cámara y un cerebro, y le pides que mire un video y diga qué está pasando. Este es el mundo de los "Modelos de Visión y Lenguaje" (VLM). Piensa en estos modelos como un equipo: una parte son los "ojos" (un codificador de visión) que mira imágenes y las descompone en diminutas piezas de rompecabezas llamadas "tokens". La otra parte es el "cerebro" (un modelo de lenguaje grande) que lee esos tokens y escribe una historia o responde una pregunta.

El problema es que los videos son enormes. Una sola imagen puede dividirse en cientos de piezas de rompecabezas, y un video es simplemente una pila de muchas imágenes. Si intentas alimentar todo un video al cerebro del robot, este se siente abrumado. Es como intentar leer un libro de mil páginas en un segundo; el robot se ralentiza, se cansa y no puede trabajar en dispositivos pequeños como teléfonos o cámaras de seguridad. Los científicos han intentado solucionar esto descartando algunas piezas del rompecabezas, pero la mayoría de sus métodos son como usar un cortador de galletas: cortan la misma cantidad de piezas de cada video, ya sea un video aburrido de una pared estática o una persecución de autos llena de acción. Este artículo hace una pregunta mejor: ¿Qué pasaría si pudiéramos ser más inteligentes sobre qué desechamos, cortando más cuando las cosas son repetitivas y menos cuando son emocionantes?

La historia del cortador de video inteligente

Los autores de este artículo, un equipo de Amazon, notaron que los métodos actuales para acelerar la IA de video son un poco torpes. Tratan a cada video de la misma manera, recortando un número fijo de piezas de rompecabezas (tokens) sin importar lo que realmente esté sucediendo en la pantalla. Pero los videos son especiales; tienen "redundancia temporal", que es una forma elegante de decir que si tienes un video de un gato durmiendo, el fotograma 10 se ve casi exactamente igual al fotograma 11, que se ve casi igual al fotograma 12. Desperdiciar la capacidad cerebral del robot en todos esos fotogramas idénticos es una tontería.

Para solucionar esto, el equipo inventó una estrategia de "Poda de Tokens Visuales Adaptativa de Dos Etapas". Piensa en esto como un equipo de limpieza de dos pasos para una habitación desordenada.

Etapa 1: El filtro de fotogramas
Primero, el método observa todo el video y pregunta: "¿Qué fotogramas son realmente nuevos?". Si tienes un video de una persona caminando, los primeros fotogramas podrían ser idénticos. El algoritmo actúa como un editor selectivo, descartando por completo los fotogramas aburridos y repetidos. Solo conserva los momentos más interesantes, como un resumen de los mejores momentos. Esta es la poda a "nivel de fotograma".

Etapa 2: El domador de tokens
Ahora, el robot tiene un video más corto, pero cada fotograma restante todavía está compuesto por miles de diminutos tokens. Aquí es donde ocurre la magia. En lugar de cortar un número fijo de tokens (como "siempre mantener el 50%"), el método analiza el contenido del video para decidir cuánto cortar.

Imagina que los tokens en un fotograma son un grupo de personas hablando. Si todos están diciendo exactamente lo mismo (alta redundancia), solo necesitas escuchar a una persona para entender al grupo. Pero si todos están diciendo algo totalmente diferente (alta diversidad), necesitas escuchar a todos. El método del artículo hace exactamente esto: analiza la "correlación" entre los tokens. Utiliza un truco matemático llamado "descomposición de autovalores" para medir cuánto se repiten los tokens entre sí.

Si el video es estático y repetitivo (como una persona rodando una pelota por una rampa), las matemáticas muestran un "decaimiento pronunciado", lo que significa que los tokens son muy similares. El sistema entonces dice: "¡Está bien, podemos desechar muchos de estos!" y conserva solo una fracción minúscula. Pero si el video es caótico y dinámico (como una persecución de autos con mucho movimiento de cámara), las matemáticas muestran un "decaimiento lento", lo que significa que los tokens son todos únicos. El sistema dice: "¡Un momento, necesitamos mantener casi todos estos!" y recorta muy poco.

Los resultados: Velocidad sin tropiezos
El equipo probó esto en varios modelos de IA populares, incluyendo LLaVA-Video, InternVL3 y Qwen2.5VL. Compararon su método adaptativo inteligente contra otros métodos "libres de entrenamiento" (métodos que no requieren reentrenar la IA desde cero).

Los resultados fueron impresionantes. Al usar su enfoque de dos etapas, pudieron reducir la cantidad de matemáticas que la computadora tiene que hacer de forma masiva —hasta un 95%— manteniendo la inteligencia de la IA. De hecho, en una prueba de referencia de descripción de video (donde la IA describe lo que ve), su método de hecho mejoró la precisión en un 7% cuando solo mantuvieron el 10% de los tokens.

Para poner esto en perspectiva: si tienes un video que usualmente toma una hora procesar en una supercomputadora, este método podría hacer que funcione en minutos, e incluso el robot podría entenderlo mejor porque se está enfocando en las partes importantes en lugar de perderse en el ruido.

Por qué esto es importante
El artículo argumenta explícitamente contra el enfoque de "talla única" utilizado por los métodos anteriores. Demuestran que usar una relación fija (como mantener siempre el 30% de los datos) es subóptimo porque diferentes videos necesitan diferentes cantidades de datos. Su método es "post-hoc", lo que significa que funciona en modelos existentes sin necesidad de reentrenarlos, lo que lo convierte en una actualización de "conectar y usar" para la tecnología actual.

Los autores encontraron que esta estrategia adaptativa funciona consistentemente a través de diferentes tamaños de modelos y tipos de videos. Incluso probaron diferentes formas matemáticas de medir el "decaimiento" de la información y descubrieron que una curva exponencial se ajustaba mejor a los datos, confirmando que su forma de medir la redundancia es la más precisa.

En resumen, este artículo sugiere que no necesitamos construir cerebros más grandes y lentos para entender videos. En cambio, solo necesitamos ser más inteligentes sobre qué les damos de comer. Al actuar como un editor astuto que sabe exactamente cuándo cortar las partes aburridas y cuándo conservar las emocionantes, podemos hacer que la IA de video sea lo suficientemente rápida para ejecutarse en dispositivos cotidianos sin perder su capacidad de ver el mundo con claridad.

Resumen Técnico: Poda de Tokens Visuales Adaptativa de Dos Etapas para la Inferencia Eficiente en Modelos de Lenguaje-Video

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) han demostrado capacidades sólidas en la comprensión de imágenes y videos, pero enfrentan una latencia de inferencia significativa debido al costo computacional de procesar miles de tokens visuales. Este problema es particularmente agudo en el procesamiento de video, donde se deben analizar múltiples fotogramas simultáneamente. Por ejemplo, un clip de video moderado de 5 minutos puede generar aproximadamente 11,000 tokens, imponiendo una sobrecarga cuadrática en el decodificador del Modelo de Lenguaje Grande (LLM) que resulta prohibitiva para dispositivos periféricos con recursos limitados.

Las técnicas existentes de reducción de tokens sufren de dos limitaciones primarias:

Falta de Conciencia Temporal: La mayoría de los métodos están diseñados para entradas de imagen única y no logran contabilizar las redundancias temporales a través de los fotogramas de un video.
Ratios de Poda Fijos: Los enfoques actuales suelen aplicar un ratio de poda uniforme y fijo en todas las entradas. Esto es subóptimo porque el grado de redundancia varía significamente entre diferentes videos; un ratio estático o bien desperdicia computación en contenido redundante o degrada el rendimiento al descartar información crítica en escenas complejas.

Metodología

Los autores proponen una novedosa estrategia de poda de tokens adaptativa de dos etapas diseñada específicamente para entradas de video. Este enfoque es completamente post-hoc, lo que significa que no requiere entrenamiento adicional ni ajuste fino (fine-tuning) del VLM subyacente.

1. Pipeline de Poda de Dos Etapas

El método reduce la redundancia de forma jerárquica:

Etapa 1 (Poda a Nivel de Fotograma/Temporal): El sistema primero identifica y descarta fotogramas redundantes. Utilizando un mecanismo de selección basado en la diversidad, retiene un subconjunto de fotogramas que capturan el contenido visual más informativo, eliminando eficazmente los fotogramas visualmente similares que aportan poca información nueva.
Etapa 2 (Poda a Nivel de Token/Espacial): Dentro de los fotogramas retenidos, el sistema realiza una poda a nivel de token para eliminar la redundancia espacial.

2. Ratio de Retención Adaptativo

Una innovación central es la determinación dinámica del ratio de retención de tokens ( $\beta$ ) en la segunda etapa, basada en el contenido específico de cada video. El proceso involucra:

Análisis de Correlación: El método analiza la estructura de correlación lineal de los embeddings de los tokens dentro de los fotogramas retenidos.
Descomposición en Autovalores (Eigen-Decomposition): Construye una matriz de correlación de los embeddings de los tokens y realiza una descomposición en autovalores. Los autovalores resultantes capturan la varianza explicada por diferentes componentes.
Estimación de la Tasa de Decaimiento: El espectro de autovalores se ajusta con una función de decaimiento exponencial ( $\lambda_n = A e^{-\alpha n}$ $λ_{n} = A e^{- α n}$ ). La tasa de decaimiento ( $\alpha$ $α$ ) sirve como una medida cuantitativa de la redundancia:
- Un decaimiento pronunciado ( $\alpha$ alto) indica alta redundancia (pocos autovalores dominantes), lo que sugiere que se necesitan menos tokens.
- Un decaimiento tenue ( $\alpha$ bajo) indica alta diversidad, lo que sugiere que se deben retener más tokens.
Cálculo del Ratio: El ratio de retención se define como inversamente proporcional a la tasa de decaimiento ( $\beta = \kappa / \alpha$ ), donde $\kappa$ es un coeficiente de escala. Esto asegura que los videos con alta redundancia sean podados más agresivamente, mientras que los videos complejos retengan más tokens.

Contribuciones Clave

Pipeline de Dos Etapas: El diseño de un proceso de poda jerárquico que aborda secuencialmente la redundancia temporal (selección de fotogramas) y la redundancia espacial (selección de tokens), superando a la poda de tokens de una sola etapa.
Adaptabilidad Dependiente del Contenido: La introducción de un mecanismo basado en datos para determinar el ratio de poda según la correlación de los tokens, eliminando la necesidad de elegir ratios manuales de "talla única".
Eficiencia sin Entrenamiento: El método logra ahorros computacionales significativos y mejoras en la precisión sin requerir el entrenamiento de módulos compresores adicionales o el ajuste fino del VLM.

Resultados Experimentales

El método fue evaluado utilizando el modelo LLaVA-Video (7 mil millones de parámetros) y se extendió a InternVL3 y Qwen2.5VL a través de cinco entornos de referencia de lenguaje-video (VideoDC, VideoChatGPT, NextQA, PerceptionTest, Video-MME).

Ganancias de Rendimiento: El método propuesto superó consistentemente a las líneas base state-of-the-art libres de entrenamiento (incluyendo PruMerge, FastV, DivPrune y LLaVA-Scissor).
- En el entorno de leyenda VideoDC con un 10% de retención de tokens, el método mejoró la precisión en un +7% en comparación con las líneas base.
- En VideoChatGPT, logró una mejora del 2–4% en ratios de retención bajos.
Eficiencia Computacional: El método redujo significativamente la sobrecarga computacional. Con un 10% de retención de tokens, logró una reducción de ~95.5% en TFLOPs manteniendo o mejorando la precisión.
Escalabilidad: El enfoque demostró ganancias de rendimiento consistentes a través de diferentes arquitecturas de VLM y tamaños de parámetros (que oscilan entre 1B y 8B de parámetros).
Estudios de Ablación: Los experimentos confirmaron que tanto el diseño de dos etapas como el ratio de retención adaptativo contribuyen al rendimiento, siendo el método completo superior a las variantes que utilizan poda de una sola etapa o ratios fijos. Además, se demostró que el modelo de decaimiento exponencial para estimar la redundancia es superior a los modelos lineales o cuadráticos.

Significado

El artículo afirma que este trabajo aborda un cuello de botella crítico para el despliegue de VLM en aplicaciones de tiempo real y en el borde (edge). Al modelar explícitamente la redundancia temporal y adaptar los niveles de poda al contenido específico de cada video, el método logra un equilibrio superior entre eficiencia y fidelidad semántica. Los autores enfatizan que su enfoque proporciona una forma fundamentada de estimar el número necesario de tokens para una entrada visual dada, evitando las ineficiencias de las estrategias de ratio fijo y la pérdida de información asociada con las técnicas simples de fusión (merging). Los resultados sugieren que la poda adaptativa y consciente del contenido es esencial para escalar los modelos de lenguaje-video hacia entornos prácticos con recursos limitados.