💻 computer science

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

Este artículo propone la Poda consciente de la tendencia (Trend-aware Pruning), un marco de trabajo libre de entrenamiento para Modelos de Lenguaje de Gran Escala Multimodales que mejora la eficiencia al modelar la evolución dinámica de la importancia de los tokens a través de las capas para prevenir la pérdida prematura de pistas visuales críticas, logrando una reducción de tokens de más del 77.8% mientras mantiene un rendimiento competitivo.

Autores originales: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo entender el mundo mostrándole imágenes y haciéndole preguntas. Este campo se llama Modelos de Lenguaje de Gran Escala Multimodales (MLLM). Piensa en estos modelos como detectives brillantes que pueden leer texto y mirar imágenes al mismo tiempo. Para "ver" una imagen, el robot la descompone en miles de pequeñas piezas de rompecabezas llamadas "tokens". Cada token es un pequeño fragmento de la imagen, como un parche de cielo azul o una rueda de un coche. El problema es que, cuando le muestras una foto de alta resolución, el robot se siente abrumado con demasiadas piezas. Intenta prestar atención a cada una de ellas, lo que hace que el robot sea lento, costoso de ejecutar y, a veces, incluso se confunda con todo el ruido.

Para solucionar esto, los científicos han probado un truco sencillo: simplemente desechar las piezas que parecen poco importantes justo al principio. Es como un portero en un club que mira a la multitud e inmediatamente echa a cualquiera que no lleve una camiseta de un color específico. Pero aquí está el detalle: a veces la persona más interesante de la sala lleva una camisa aburrida al principio, para luego empezar a bailar y convertirse en el alma de la fiesta unos minutos después. Si el portero la echa demasiado pronto, la fiesta se arruina. Este artículo plantea una gran pregunta: ¿Es seguro tomar una decisión final sobre qué conservar basándose solo en un vistazo de un segundo, o necesitamos observar cómo cambian las cosas a lo largo del tiempo?

Los investigadores detrás de este artículo, Jie Ma y su equipo, dicen que el viejo método del "portero" es demasiado rígido. Ellos proponen una nueva forma de pensar llamada Poda consciente de la tendencia (Trend-aware Pruning). En lugar de limitarse a mirar una instantánea de qué tokens son importantes ahora, su método actúa como un observador paciente que observa los tokens a lo largo del tiempo para ver sus "tendencias". Se dieron cuenta de que algunos tokens son como flores de floración tardía; pueden parecer tranquilos y poco importantes en las primeras capas del cerebro del robot, pero a medida que el robot procesa la imagen más profundamente, estos tokens de repente se vuelven crucialos para comprender la escena.

El equipo construyó un sistema que rastrea el "impulso" de estos tokens. Imagina un río donde algunas rocas simplemente están allí sentadas, pero otras están derivando lentamente hacia el centro de la corriente. Los métodos antiguos ignorarían las rocas que derivan porque aún no están en el centro. El nuevo método, sin embargo, nota la deriva. Mantiene la vista en los tokens que muestran una "tendencia ascendente", es decir, que su importancia está aumentando aunque todavía no sean la máxima prioridad. Si un token empieza a parecer más interesante a medida que el robot profundiza, el sistema lo "rescata", reintegrándolo en la conversación antes de que sea demasiado tarde. También vigilan a los tokens que están "fluctuando" (subiendo y bajando) o con "tendencia a la baja" (desvaneciéndose), tratando a cada grupo de manera diferente en lugar de simplemente desecharlos a todos.

Cuando probaron esta idea en cerebros robóticos populares como LLaVA y Qwen, los resultados fueron impresionantes. El nuevo método no solo ahorró tiempo, sino que de hecho ayudó al robot a rendir mejor. En sus experimentos, pudieron reducir el número de tokens visuales en más de un 77.8%, dejando al nivel final solo unos 23 tokens para procesar. A pesar de desechar tanta información, el robot mantuvo el 98.89% de su rendimiento original al recortar los tokens a la mitad, e incluso mantuvo un sólido 96.03% de rendimiento al recortarlos casi en un 78%. Esto es algo importante porque otros métodos que simplemente eligen los "mejores" tokens al principio suelen perder detalles importantes cuando son tan agresivos.

Los autores sugieren que este enfoque funciona porque respeta el hecho de que comprender una imagen es un viaje, no un momento único. Al permitir que el robot cambie de opinión y "reactive" tokens que inicialmente fueron pasados por alto, evitan la pérdida de pistas críticas. Descubrieron que este enfoque dinámico es especialmente bueno en tareas complicadas como leer texto en imágenes (OCR) o detectar detalles pequeños, donde los métodos estáticos suelen fallar. Aunque admiten que su sistema depende de una ventana de observación fija y podría mejorar para manejar secuencias aún más largas, su trabajo demuestra que observar la tendencia de la atención es una forma poderosa de hacer que estos robots inteligentes sean más rápidos y agudos sin necesidad de reentrenarlos desde cero.

Resumen Técnico: Capturando las Tendencias de los Tokens para la Poda de Tokens Libre de Entrenamiento en Modelos de Lenguaje de Gran Escala Multimodales

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) enfrentan un cuello de botella computacional significativo debido a la complejidad cuadrática del mecanismo de atención al procesar imágenes de alta resolución y entradas de múltiples imágenes. Esto resulta en un número excesivo de tokens visuales, creando una redundancia severa que obstaculiza la eficiencia de la inferencia.

Los métodos existentes de poda de tokens libres de entrenamiento intentan mitigar esto dependiendo de heurísticas estáticas e instantáneas (por ejemplo, la selección Top- $k$ basada en la atención) para filtrar tokens en las capas iniciales. El artículo identifica un fallo crítico en este enfoque: trata la importancia del token como una decisión fija de un solo disparo. Sin embargo, los MLLMs exhiben una naturaleza jerárquica donde la importancia de los tokens evoluciona dinámicamente a través de las capas. Los tokens visuales que parecen redundantes o débilmente activados en las capas superficiales (que representan características de bajo nivel) pueden convertirse en críticos para el razonamiento de alto nivel en las capas más profundas. La poda estática descarta irreversiblemente estos tokens de "aparición tardía" (late-blooming) basándose en estimaciones de capas superficiales, lo que conduce a una pérdida de pistas semánticas esenciales y a la degradación del rendimiento, particularmente en tareas de razonamiento complejo.

Metodología: Poda Consciente de Tendencias (Trend-aware Pruning)

Para abordar la desalineación entre la poda estática y la evolución semántica dinámica, los autores proponen la Poda Consciente de Tendencias, un marco libre de entrenamiento que redefine la poda de tokens como un problema de modelado de trayectoria temporal en lugar de una decisión de instantánea local. El marco consta de cuatro componentes clave:

Recolector de Tokens por Capas:
En lugar de evaluar los tokens de forma aislada, este módulo agrega estados de atención históricos a través de una ventana de observación deslizante ( $W$ ). Mantiene un caché de memoria a corto plazo de los puntajes de atención, lo que permite al sistema rastrear el "impulso" (momentum) de la importancia del token en lugar de solo su valor actual.
Modelado del Flujo de Tokens:
El método calcula un Flujo de Tokens ( $F_l$ ) calculando la diferencia paso a paso en los puntajes de atención dentro de la ventana de observación. Esto desacopla la dirección del cambio de representación del puntaje de importancia de una sola capa, capturando efectivamente la evolución dinámica de cada token.
Identificación de Flujo Adaptativa:
Basándose en el flujo de tokens, los tokens se categorizan en tres patrones evolutivos:
- Tendencia ascendente (Upward-trending): Tokens con puntajes de atención crecientes, lo que indica una importancia semántica acumulativa.
- Tendencia descendente (Downward-trending): Tokens con puntajes decrecientes, lo que sugiere irrelevancia o cambios de representación.
- Fluctuante (Fluctuating): Tokens con patrones oscilantes, que a menudo representan pistas relevantes al contexto que varían a través de las capas.
El sistema emplea una estrategia de umbralización adaptativa consciente de la distribución para seleccionar tokens basándose en estas tendencias, en lugar de umbrales empíricos fijos.
Activación de Flujo y Retención Dinámica:
Este es el mecanismo central que permite la poda reversible. Combina una poda estática de Top- $k$ gruesa (para eficiencia) con una activación consciente de la tendencia de grano fino. Crucialmente, reactiva selectivamente los tokens que fueron filtrados inicialmente por el Top- $k$ estático pero que exhiben tendencias semánticas positivas (Ascendentes o Fluctuantes). Esto asegura que los tokens esenciales para el razonamiento de capas profundas se preserven incluso si fueron subestimados en las capas anteriores.

Contribuciones Clave

Reformulación de la Poda: El artículo cambia el paradigma de la filtración de tokens de un solo disparo y estático a un proceso dinámico y trans-capa que modela explícitamente la evolución semántica de los tokens visuales.
Marco de Poda Consciente de Tendencias: Un método novedoso que guía conjuntamente el descarte de tokens y la reactivación selectiva. Introduce un mecanismo para recuperar dinámicamente los tokens cuya importancia semántica emerge en las capas más profundas, mitigando la degradación causada por la pérdida irreversible de pistas visuales.
Eficiencia Libre de Entrenamiento: El enfoque es plug-and-play, no requiere entrenamiento adicional ni ajuste fino, lo que lo hace aplicable a diversas arquitecturas de MLLM.

Resultados Experimentales

Los autores evaluaron la Poda Consciente de Tendencias en múltiples MLLMs convencionales (serie LLaVA y Qwen2.5-VL) a través de varios bancos de pruebas (MME, GQA, POPE, SQA, MMBench, etc.).

Compromiso Eficiencia-Rendimiento: El método logra una retención de rendimiento superior mientras reduce significativamente los costos computacionales. Con una relación de poda del 50%, retiene el 98.89% del rendimiento promedio mientras reduce los FLOPs al 55.10%, superando a métodos de vanguardia como FastV, PDrop y SparseVLM.
Poda Agresiva: Bajo la configuración más agresiva (poda del 77.8%), el método reduce el número de tokens visuales en la capa final a aproximadamente 23 (el más bajo entre todos los métodos comparados) manteniendo un rendimiento competitivo (96.03% de retención promedio).
Generalización: El enfoque demuestra una superioridad consistente a través de diferentes tamaños de modelo (0.5B, 7B, 13B) y arquitecturas, incluyendo Qwen2.5-VL, donde supera significativamente a la poda estática Top- $k$ en tareas que requieren detalles finos (por ejemplo, OCRBench, InfoVQA).
Estudios de Ablación: Los experimentos confirman que modelar las tres tendencias (Ascendente, Fluctuante y Descendente) es crucial. Específicamente, la incorporación de tokens con tendencia Ascendente mejora significamente el rendimiento en tareas con alta densidad de detalles, mientras que los tokens Fluctuantes y Descendentes proporcionan un refinamiento adicional.

Significado y Reivindicaciones

El artículo afirma que la Poda Consciente de Tendencias ofrece una solución robusta y reversible para la inferencia multimodal de alta eficiencia. Al reconocer que la importancia del token no es fija sino que evoluciona dinámicamente, el método evita la pérdida prematura de pistas visuales críticas que los métodos estáticos inevitablemente descartan.

Los autores enfatizan que su enfoque destaca la importancia de modelar la dinámica de los tokens a través de las capas. Argumentan que la importancia de una sola capa es insuficiente para determinar el valor semántico final de un token visual. Al elevar la poda de una decisión local a un problema de trayectoria temporal, el método logra una decisión de poda más precisa y estable, permitiendo una reducción agresiva de tokens sin sacrificar la completitud representacional requerida para tareas de razonamiento complejo.

El trabajo se presenta como un paso hacia estrategias de poda reversibles y de consistencia representacional, ofreciendo una nueva perspectiva sobre cómo manejar los cuellos de botella computacionales en los MLLM sin la necesidad de reentrenamiento.