🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM es un marco de inferencia eficiente para modelos de visión-idioma que aprovecha las propiedades distintivas de las modalidades visual y textual mediante la aplicación de una poda agresiva y adaptativa a los tokens de visión espacialmente redundantes y una expulsión basada en umbrales temporales a los tokens de texto, logrando ahorros de hasta un 54% en FLOPs mientras supera a los métodos más avanzados en tareas de comprensión de documentos y gráficos.

Autores originales: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Publicado 2026-05-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo Visión-Lenguaje (VLM) como un asistente altamente inteligente pero ligeramente abrumado. Le muestras una imagen (como un documento complejo o un gráfico) y le haces una pregunta. Para entender la imagen, el asistente la descompone en miles de piezas de rompecabezas diminutas llamadas "tokens de visión". Para entender tu pregunta y formular una respuesta, utiliza un conjunto más pequeño de "tokens de texto".

El problema es que la "memoria de trabajo" del asistente (su memoria GPU) se satura. Intenta retener cada pieza de rompecabezas y cada palabra que genera, lo que lo hace lento y costoso de ejecutar.

Los métodos existentes intentan solucionar esto tratando las piezas de la imagen y las palabras exactamente igual: simplemente desechan un porcentaje fijo de todo (por ejemplo, "eliminar el 50% de las piezas de rompecabezas y el 50% de las palabras"). Los autores de este artículo, AsymVLM, argumentan que esto es como intentar organizar una biblioteca tirando la mitad de los libros y la mitad de los marcadores sin pensar en lo que realmente hacen.

Así es como funciona AsymVLM, utilizando analogías sencillas:

1. Los Dos Problemas Diferentes

El artículo señala que las piezas de imagen y las palabras son fundamentalmente diferentes:

Tokens de Visión (Las Piezas de Rompecabezas): Todos son independientes. Si eliminas una pieza del cielo de una foto, la pieza del árbol junto a ella no le importa. Son "espacialmente redundantes", lo que significa que muchas piezas son simplemente ruido de fondo.
Tokens de Texto (La Historia): Estos son una reacción en cadena. La Palabra 2 depende de la Palabra 1, y la Palabra 3 depende de la Palabra 2. Si eliminas una palabra en medio de una oración, el resto de la historia podría no tener sentido.

2. La Solución: Una Estrategia de Dos Frentes

En lugar de usar una sola regla para todo, AsymVLM utiliza dos estrategias diferentes adaptadas a cada tipo de token.

Estrategia A: El "Editor Inteligente" para Imágenes (Poda de Tokens de Visión)

Antes de que el asistente empiece a pensar, AsymVLM actúa como un editor inteligente que observa la foto.

La Vieja Forma: "Eliminar el 50% de los píxeles al azar" o "Eliminar los que parecen menos importantes para la pregunta".
La Forma de AsymVLM: Utiliza un Puntaje Aprendido. Imagina a un entrenador que ha visto miles de partidos y sabe exactamente qué jugadores (tokens) ayudan realmente a ganar el partido. Este puntaje no solo mira la imagen; observa cómo la imagen se conecta con la pregunta específica que hiciste.
El "Presupuesto Adaptativo": Esta es la parte más ingeniosa. El artículo señala que algunas preguntas requieren un escaneo completo de la imagen (por ejemplo, "¿Cuántas manzanas hay en este huerto?"), mientras que otras solo necesitan un punto diminuto (por ejemplo, "¿Cuál es el precio de la manzana roja?").
- Si la pregunta es específica de un área pequeña, la "brecha" entre las piezas importantes y las no importantes es enorme. El sistema dice: "Genial, podemos ser agresivos y tirar el 75% de la imagen".
- Si la pregunta necesita toda la imagen, la "brecha" es pequeña. El sistema dice: "De acuerdo, mantén el 90% de la imagen solo por seguridad".
- Analogía: Es como hacer una maleta. Si vas a la playa por un día, haces una maleta ligera. Si vas de viaje por un mes, haces una maleta más grande. AsymVLM ajusta el "empaque" según el viaje específico, en lugar de usar el mismo tamaño de maleta para todos.

Estrategia B: El "Conserje de Memoria" para Texto (Expulsión de Tokens de Texto)

Una vez que el asistente comienza a generar una respuesta, escribe palabras una por una. Si la conversación se alarga, la memoria se llena.

La Vieja Forma: Los métodos estándar para IA solo de texto (como H2O o StreamingLLM) intentan eliminar las palabras más antiguas o menos "importantes" para hacer espacio para las nuevas.
La Forma de AsymVLM: Los autores se dieron cuenta de que en estos asistentes visuales, la conversación suele ser corta y la imagen es el contexto más importante.
- Establecen un presupuesto fijo. El asistente sigue escribiendo hasta alcanzar un límite (por ejemplo, 500 palabras).
- Una vez que alcanza el límite, comienza a eliminar las palabras generadas más antiguas (las que ya no son necesarias para la siguiente oración inmediata), pero nunca elimina la imagen original ni la pregunta original.
- Analogía: Imagina que le cuentas una historia a un amigo. No necesitas recordar la primera oración que dijiste hace 10 minutos para terminar la oración actual. AsymVLM actúa como un conserje que limpia los borradores viejos e irrelevantes del pizarrón para hacer espacio para la nueva oración, pero deja el prompt original y la foto clavados en la pared para siempre.

3. Los Resultados: Más Rápido y Más Inteligente

El artículo afirma que al tratar estos dos tipos de datos de manera diferente, AsymVLM logra:

Aceleraciones Masivas: Ahorra hasta un 54% de la potencia de computación (FLOPs) necesaria para ejecutar el modelo. Esto se debe a que elimina físicamente las piezas de imagen innecesarias antes de que comience la matemática pesada, en lugar de simplemente ignorarlas durante la matemática.
Mejor Precisión: En tareas como leer documentos o entender gráficos, en realidad tiene un rendimiento 2–3% mejor que los métodos anteriores. Esto se debe a que mantiene las piezas de imagen específicas que responden a la pregunta y desecha el resto, mientras que otros métodos podrían eliminar accidentalmente la pieza crucial.
Eficiencia de Memoria: Reduce la memoria necesaria para ejecutar el modelo, permitiendo que quepa en chips de computadora más pequeños y económicos que no podían manejar el modelo completo sin podar.

Resumen

AsymVLM es un sistema que se da cuenta de que "una talla no sirve para todos". Utiliza un filtro inteligente y adaptativo para recortar la grasa de las imágenes según la pregunta específica, y un conserje cuidadoso para gestionar la memoria del texto sin perder el contexto original. El resultado es un Modelo Visión-Lenguaje que es más rápido, utiliza menos memoria y es sorprendentemente más preciso al leer documentos y gráficos.

Resumen Técnico: AsymVLM

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) enfrentan cuellos de botella significativos en computación y memoria durante la inferencia. Si bien los métodos de compresión existentes a menudo tratan los tokens visuales y textuales de manera uniforme, este artículo argumenta que tal enfoque es subóptimo debido a asimetrías fundamentales entre las dos modalidades:

Diferencias Estructurales y Causales: Los tokens visuales son parches espacialmente redundantes generados en un solo paso hacia adelante sin dependencia causal, lo que permite su eliminación independiente. En contraste, los tokens de texto se generan de manera autoregresiva con un orden causal estricto; expulsar un token de texto corre el riesgo de corromper todas las representaciones subsiguientes.
Desplazamiento de Cuellos de Botella: En configuraciones típicas de VLM de un solo turno, los tokens visuales dominan la entrada (por ejemplo, 2.500 tokens visuales frente a ~30 tokens de texto), convirtiéndose en el principal cuello de botella durante la fase de prellenado. Sin embargo, en la generación libre o en diálogos de múltiples turnos, los tokens de texto se acumulan rápidamente, desplazando el cuello de botella a la fase de decodificación.
Dificultad de Entrada Variable: La proporción óptima de poda no es uniforme en todas las muestras. Algunas consultas requieren únicamente información visual localizada (permitiendo una poda agresiva), mientras que otras exigen un escaneo global (requiriendo una retención conservadora). Los métodos existentes que utilizan proporciones de poda fijas no logran acomodar este espectro.

Metodología: AsymVLM

Los autores proponen AsymVLM, un marco de poda de tokens asimétrico que desacopla las estrategias de compresión para tokens visuales y de texto basándose en las observaciones anteriores. El marco opera en dos etapas distintas:

1. Poda de Tokens Visuales (Pre-Prellenado)

Aplicada antes de las capas del transformador para abordar el cuello de botella del prellenado, esta etapa consta de dos componentes:

Puntaje de Importancia Aprendido: A diferencia de métodos anteriores que dependen de la saliencia visual o la similitud cruzada cruda entre modalidades, AsymVLM emplea un puntaje ligero y aprendible. Este puntaje reescala las dimensiones de incrustación utilizando un vector de pesos aprendible ( $w$ ) para alinear mejor la clasificación de tokens con la preservación de la salida final del modelo. Se entrena para minimizar la discrepancia entre los estados ocultos de los modelos podados y no podados.
Presupuesto Adaptativo por Muestra: Reconociendo que las brechas de importancia varían entre las entradas, el sistema calcula una "brecha de importancia" (la diferencia entre los puntajes de importancia del percentil 75 y el 25) para cada muestra. Basándose en esta brecha, se asigna una proporción de retención dinámica: las muestras con una gran brecha (distinción clara entre tokens importantes e no importantes) reciben una proporción de poda agresiva, mientras que las muestras con una brecha pequeña (importancia uniforme) reciben una proporción conservadora.

2. Expulsión de Tokens de Texto (Durante la Decodificación)

Aplicada únicamente cuando la secuencia generada excede un presupuesto fijo, esta etapa aborda el cuello de botella de la decodificación:

Expulsión Basada en Umbral: Los tokens de texto se retienen hasta que la longitud de la secuencia excede un umbral predefinido. Una vez activado, el sistema expulsa los tokens generados de menor importancia.
Puntaje Específico para VLM: A diferencia de los métodos de compresión de caché de LLM estándar que rastrean la atención acumulada en contextos largos, AsymVLM aprovecha la naturaleza de contexto corto de los VLM. Puntúa los tokens basándose en la atención recibida en la última capa del transformador del paso de decodificación actual. Crucialmente, protege todos los tokens de prellenado (imágenes y prompts) de la expulsión, ya que estos portan un contexto irremplazable para los turnos subsiguientes.

Contribuciones Clave

Análisis Sistemático: El artículo proporciona un análisis estructural que revela la asimetría fundamental entre los tokens visuales y de texto en los VLM, argumentando que la compresión consciente de la modalidad es esencial para la eficiencia.
Marco de Doble Estrategia: AsymVLM introduce un marco que combina la poda de tokens visuales consciente de la consulta (pre-transformador) con la expulsión de tokens de texto con restricción de presupuesto (durante la decodificación).
Puntaje Aprendido con Presupuesto Adaptativo: Los autores introducen un puntaje que optimiza la preservación de la salida en lugar de solo la similitud semántica, acoplado a un mecanismo que ajusta dinámicamente las proporciones de poda basándose en la distribución de importancia de la entrada.
Evaluación Exhaustiva: Experimentos extensos demuestran que el enfoque logra una eficiencia y precisión superiores en comparación con las líneas base más avanzadas.

Resultados Experimentales

El marco fue evaluado en Phi-3.5-Vision (dominante en visión) y Gemma 3 (dominante en texto en escenarios de generación larga) a través de siete benchmarks (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

Eficiencia: AsymVLM logra el mayor ahorro de FLOPs entre los métodos comparados, alcanzando hasta un 54% con una retención del 50% de tokens visuales. Es el único método que reduce físicamente la longitud de la secuencia antes del transformador, resultando en reducciones proporcionales en la memoria pico y el tamaño de la caché KV (hasta una reducción del 75% en memoria pico).
Precisión en Tareas Localizadas: En tareas de comprensión de documentos y gráficos (DocVQA, ChartQA), donde la información visual está localizada espacialmente, AsymVLM supera a los métodos existentes (FastV, SparseVLM) en un 2–3% con proporciones de retención del 65–75%. Por ejemplo, en DocVQA con una retención del 65%, alcanza un 85,07% de ANLS en comparación con el 81,74% de FastV.
Tareas Holísticas: En benchmarks holísticos (MME, TextVQA), donde la importancia de los tokens es más uniforme, AsymVLM mantiene una precisión competitiva, a menudo superando ligeramente a las líneas base.
Rendimiento de Expulsión de Texto: En escenarios dominados por texto (Gemma 3), la estrategia de expulsión basada en umbral supera sustancialmente a los métodos estándar de caché de LLM (H2O, StreamingLLM). En MMDU (diálogo de múltiples turnos), AsymVLM alcanza una puntuación de 7,03 con una retención del 90%, significativamente superior a los 5,61 logrados por las líneas base. Las líneas base se degradan severamente porque tratan los tokens de visión y prompt como candidatos a expulsión, whereas AsymVLM los protege.

Significado y Afirmaciones

El artículo afirma que AsymVLM representa un cambio de la compresión uniforme a estrategias conscientes de la modalidad. Al reconocer que los tokens visuales son un problema de selección de entrada y los tokens de texto son un problema de gestión de caché, el marco logra las mayores ganancias de eficiencia (hasta una reducción del 54% en FLOPs) mientras mantiene o mejora la precisión en tareas complejas específicas de la consulta. Los autores enfatizan que su puntaje aprendido se generaliza efectivamente a través de diferentes diseños visuales y tipos de preguntas sin ajuste específico de tareas, y que su estrategia de expulsión de texto está específicamente adaptada a la naturaleza de contexto corto y anclada a imágenes de la inferencia de VLM, evitando los errores de aplicar directamente técnicas de compresión de LLM de contexto largo a VLMs.

Limitaciones: Los autores señalan que la evaluación está actualmente limitada a Phi-3.5-Vision y Gemma 3, y que la generalización a otras arquitecturas (por ejemplo, VLMs basados en LLaMA, Qwen-VL) requiere una validación adicional. Además, la estrategia de expulsión de texto utiliza un umbral fijo y no ha sido probada en diálogos de múltiples turnos muy largos (50+ turnos).