🤖 AI

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

Este artículo propone la Predicción de Atención de Capa Media (MAP, por sus siglas en inglés), un método que identifica dinámicamente las capas de atención óptimas específicas para cada muestra y las destila en un predictor ligero para podar los tokens visuales antes del procesamiento del modelo de lenguaje, logrando una aceleración de extremo a extremo de 3.09x mientras retiene el 97.5% del rendimiento en LLaVA-NeXT-7B.

Autores originales: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Publicado 2026-08-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a ver y hablar sobre el mundo al mismo tiempo. Este es el mundo de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM). Piensa en estos modelos como detectives brillantes que pueden mirar una imagen y responder preguntas sobre ella, como "¿De qué color es el collar del perro?" o "¿Por qué está corriendo la persona?". Para hacer esto, el robot no solo "mira" la imagen; la descompone en miles de diminutos fragmentos digitales de rompecabezas llamados tokens visuales. Cada token es un pequeño trozo de información sobre una parte de la imagen.

El problema es que estos robots son increíblemente hambrientos. Para echar un vistazo realmente bueno a una imagen, podrían necesitar procesar miles de estos tokens. Es como intentar leer una enciclopedia entera para encontrar la respuesta a una pregunta sencilla sobre el sombrero de un gato. Requiere mucho tiempo y energía (potencia de cómputo), lo que hace que el robot sea lento y costoso de ejecutar. Los científicos han estado tratando de averiguar cómo hacer que estos robots sean más rápidos desechando las piezas inútiles del rompecabezas antes de que siquiera empiecen a leerlas. Esto se llama poda de tokens visuales (visual token pruning). El truco consiste en saber qué piezas mantener y cuáles tirar. Si tiras la pieza equivocada, el robot se confunde. Si mantienes demasiadas, sigue siendo lento. La gran pregunta ha sido: ¿Cómo sabemos exactamente qué piezas de la imagen importan más para la pregunta específica que se está formulando?

El Problema: Una Talla No Sirve para Todos

Los investigadores detrás de este artículo, liderados por Yuyao Sun y Tao Deng, descubrieron un fallo complicado en la forma en que actualmente intentamos ayudar a estos robots a decidir qué mantener.

Anteriormente, los científicos pensaban que si miraban la "atención" del robot (una forma elegante de decir "en qué se está enfocando el robot") desde una capa específica y media de su cerebro, podrían encontrar las piezas de la imagen más importantes. Era como decir: "Oye robot, solo mira en qué estabas pensando a la mitad de tu proceso de pensamiento, y mantén esas piezas de la imagen".

Pero los autores descubrieron que este enfoque de "una talla para todos" está roto. Imagina que estás mirando una foto de una playa.

Si alguien pregunta: "¿De qué color es la arena?", el cerebro del robot se ilumina en la arena en la mitad de su proceso de pensamiento.
Si alguien pregunta: "¿De qué color es el cielo?", el cerebro del robot se ilumina en el cielo, pero quizás en una etapa de su pensamiento diferente.

Los investigadores demostraron que la "mejor" capa del cerebro para comprobar depende enteramente de la pregunta específica. A veces la respuesta está en la capa 10, otras veces en la capa 20. Usar una capa fija es como intentar usar una única llave para todas las puertas de un edificio; funciona para algunas, pero falla para otras.

Además, había un segundo problema, más grande. Para averiguar qué capa era la "mejor" para una pregunta específica, el robot tenía que procesar realmente la imagen completa a través de todas esas capas primero. Es como intentar encontrar la mejor ruta para ir a la escuela conduciendo todo el camino primero, solo para ver qué giro fue el mejor. ¡Para cuando te das cuenta de qué piezas mantener, ya habrás desperdiciado todo el tiempo y la energía que intentabas ahorrar!

La Solución: El Detective de "Contraste de Preguntas"

Para resolver esto, el equipo propuso un nuevo método llamado MAP (Middle-layer Attention Prediction o Predicción de Atención de Capa Media). En lugar de hacer que el robot realice el trabajo pesado durante la conversación real, le enseñaron a un asistente diminuto y superrápido a adivinar en qué habría se habría enfocado el robot.

Así es como entrenaron a este asistente:

El truco del "Contraste" (QCTS): Idearon una forma ingeniosa de elegir al "maestro" adecuado para cada pregunta. Tomaron una imagen y le hicieron al robot dos cosas:
- Pregunta A: La pregunta real (por ejemplo, "¿De qué color es el bote?").
- Pregunta B: Una pregunta aburrida y genérica (por ejemplo, "¿Qué hay en esta imagen?").
Luego compararon la atención del robot para ambas preguntas. Las capas donde el enfoque del robot cambió más entre las dos preguntas fueron las que realmente se interesaron por los detalles específicos del bote. Este método, llamado Selección de Maestro por Contraste de Preguntas (QCTS), actúa como un reflector, identificando instantáneamente qué parte del cerebro del robot está más emocionada por la pregunta específica.
El Predictor Ligero: Una vez que supieron qué capa era la "estrella" para una pregunta específica, no mantuvieron esa capa pesada. En su lugar, enseñaron a un predictor diminuto y ligero a imitar el comportamiento de esa capa estrella. Este predictor es tan pequeño y rápido que puede mirar la imagen y la pregunta antes de que el gran robot siquiera empiece a pensar, e inmediatamente decir: "Mantén estas piezas del 5% de la imagen, tira el resto".

Los Resultados: Rápido, Ligero y Listo

El equipo probó este nuevo sistema en varios cerebros de robot (MLLM) diferentes y una amplia variedad de preguntas complicadas. Los resultados fueron impresionantes.

Velocidad: En uno de sus modelos de prueba (LLaVA-NeXT-7B), MAP hizo que el robot fuera 3.09 veces más rápido de principio a fin. Es como convertir una caminata de 10 minutos en un trote de 3 minutos.
Eficiencia: Lograron desechar el 94.4% de los tokens visuales (manteniendo solo el 5.56% de ellos) y el robot todavía obtuvo el 97.5% de las respuestas correctas que habría obtenido con la imagen completa.
Selección Inteligente: A diferencia de otros métodos que simplemente adivinan o usan una regla fija, la regla de "diversidad" de MAP se aseguró de que, incluso manteniendo muy pocos tokens, no eligiera solo piezas de apariencia similar. Eligió piezas que eran diferentes entre sí pero que seguían siendo relevantes para la pregunta, asegurando que el robot no se perdiera ningún detalle crucial.

Por Qué Importa

Este artículo no solo sugiere una idea genial; proporciona una herramienta funcional que resuelve un cuello de botella real. Al demostrar que la "mejor" capa cambia para cada pregunta y que podemos predecirlo sin hacer primero el trabajo pesado, MAP permite que estos poderosos modelos de IA funcionen mucho más rápido en computadoras estándar. Es un poco como darle a un bibliotecario una ficha de índice mágica que le dice exactamente qué libro debe sacar del estante antes de que siquiera camine hacia la biblioteca, ahorrándole tener que escanear cada libro en la pared.

Los autores demuestran que con este método, podemos tener nuestro pastel y también comérnoslo: podemos mantener la inteligencia del robot alta mientras lo hacemos significativamente más rápido y menos costoso de ejecutar. Sugiere que el futuro de la IA no se trata solo de crear cerebros más grandes y pesados, sino de enseñarles a ser más inteligentes sobre a qué prestan atención.

Resumen Técnico: Aprendizaje para Predecir la Atención de Capas Intermedias en MLLMs para la Poda de Tokens Visuales

Declaración del Problema

Los Modelos de Lenguaje Multimodales (MLLMs) han demostrado capacidades sólidas en tareas de visión y lenguaje, pero sufren altos costos computacionales debido al procesamiento de numerosos tokens visuales. Aunque la poda de tokens visuales ofrece una solución para mejorar la eficiencia de la inferencia, los métodos existentes enfrentan dos limitaciones críticas:

Capas Fijas Subóptimas: Estudios recientes sugieren que la atención de texto-a-visión de las capas intermedias del modelo de lenguaje guía eficazmente la poda de tokens. Sin embargo, el análisis revela que la capa específica que proporciona la atención más sensible a la pregunta varía significamente entre diferentes muestras. Por lo tanto, una estrategia de capa fija es subóptima.
Dilema de Eficiencia de Inferencia: Extraer la atención de la capa intermedia apropiada requiere pasar numerosos tokens visuales a través de varias capas del modelo de lenguaje antes de que ocurra la poda. Esto incurre en una computación sustancial antes de eliminar cualquier token, lo que anula las posibles ganancias de eficiencia. Además, la materialización explícita de los mapas de atención durante la inferencia puede limitar la compatibilidad con kernels de atención optimizados (por ejemplo, FlashAttention).

Metodología: Predicción de la Atención de Capas Intermedias (MAP)

Para abordar estos problemas, los autores proponen MAP, un marco que destila la atención de la capa intermedia específica de la muestra en un predictor ligero que opera antes de la primera capa del modelo de lenguaje. MAP consta de dos fases:

1. Entrenamiento Offline

Selección de Profesor por Contraste de Pregunta (QCTS): En lugar de utilizar una capa fija, MAP selecciona dinámicamente una capa "profesor" para cada muestra de entrenamiento. Compara la distribución de atención de texto-a-visión generada por la pregunta de entrada contra una pregunta de referencia genérica ("¿Qué se muestra en esta imagen?") sobre la misma imagen. La capa que exhibe la mayor divergencia de Jensen–Shannon entre estas dos distribuciones es seleccionada como el profesor, ya que captura mejor las regiones relevantes para la pregunta específica de entrada.
Destilación de Atención Cross-Modal: Un predictor ligero es entrenado para reproducir la distribución de atención del profesor seleccionado. El predictor toma representaciones de entrada multimodal (tokens visuales del codificador de visión y tokens de texto de la capa de embedding) disponibles antes del procesamiento del LLM. Utiliza MLPs específicos de modalidad y capas de proyección para estimar las puntuaciones de atención, minimizando la divergencia de Kullback–Leibler (KL) entre la distribución predicha y la distribución del profesor. El MLLM original permanece congelado durante este proceso.

2. Poda de Tokens en Tiempo de Inferencia

Predicción y Selección: Durante la inferencia, el predictor estima la distribución de atención de texto-a-visión directamente a partir de las características multimodales. Estas puntuaciones sirven como importancia del token visual.
Poda Consciente de la Diversidad: Para asegurar que los tokens retenidos no solo sean relevantes sino también complementarios, MAP combina las puntuaciones de importancia predichas con un criterio de diversidad. Selecciona tokens de forma codiciosa (greedy), comenzando con los $K_0$ superiores por importancia, e itera añadiendo candidatos que maximicen el residuo ortogonal relativo al subespacio actual de los embeddings seleccionados.
Ejecución: La poda ocurre antes de la primera capa del modelo de lenguaje. Los tokens seleccionados se restauran a su orden original y se combinan con los tokens de la pregunta, permitiendo que el procesamiento subsiguiente utilice solo el conjunto de tokens compacto. Este enfoque evita la dependencia de los mapas de atención del LLM, manteniendo la compatibilidad con kernels optimizados.

Contribuciones Clave

Análisis de la Variabilidad de Capas: Los autores demuestran que, si bien la atención de texto-a-visión de la capa intermedia es efectiva para la poda, la capa óptima depende de la muestra, lo que hace que las estrategias de capa fija sean subóptimas.
Marco MAP: Proponen un método que destila la atención específica de la muestra en un predictor, permitiendo una poda de tokens eficiente antes del procesamiento del LLM sin incurrir en el costo de atravesar múltiples capas.
Mecanismo QCTS: Introducen la Selección de Profesor por Contraste de Pregunta, que identifica la capa más sensible a la pregunta para cada muestra al contrastar las distribuciones de atención contra una pregunta de referencia, proporcionando una supervisión adaptada para el predictor.
Validación Empírica: Experimentos extensos a través de tres backbones de MLLM (LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B) y diez benchmarks muestran que MAP logra un compromiso de precisión-eficiencia superior comparado con métodos de poda existentes.

Resultados Experimentales

El artículo reporta resultados en LLaVA-NeXT-7B y LLaVA-1.5-7B a través de diez benchmarks (incluyendo GQA, MME, VQA-v2, etc.):

Retención de Rendimiento: En LLaVA-NeXT-7B, MAP retiene el 97.5% del rendimiento del modelo sin podar, utilizando solo el 5.56% de los tokens visuales (se retienen 160 tokens de 2880).
Aceleración (Speedup): Con esta relación de retención, MAP logra una aceleración de 7.44× en la etapa de prefill del LLM y una aceleración de extremo a extremo (end-to-end) de 3.09×.
Comparación: MAP supera consistentemente a los métodos de vanguardia (por ejemplo, LearnPruner, CDPruner, ZOO-Prune) en diversas relaciones de retención de tokens. La brecha de rendimiento se amplía a medida que disminuye la relación de retención, indicando la robustez de MAP bajo una compresión agresiva.
Estudios de Ablación:
- Selección de Profesor: QCTS supera la selección de capa fija (por ejemplo, Capa 14) y la fusión de múltiples capas, confirmando la necesidad de una selección de profesor específica de la muestra.
- Diversidad: La selección consciente de la diversidad proporciona ganancias marginales con presupuestos de tokens altos, pero mejora significamente el rendimiento bajo poda agresiva (por ejemplo, 32 tokens), mitigando la redundancia entre tokens de alta puntuación.
- Eficiencia: MAP reduce el uso del KV cache hasta en un 91.39% en LLaVA-NeXT-7B.

Significado

El artículo afirma que MAP aborda el compromiso fundamental entre la efectividad de la poda y el costo de inferencia. Al predecir la señal de atención óptima en lugar de computarla, MAP permite una poda temprana de tokens que preserva la evidencia visual relevante para la pregunta sin la sobrecarga computacional de atravesar múltiples capas del LLM. El método se presenta como una solución generalizable que mejora la eficiencia de los MLLM manteniendo una alta precisión, particularmente en escenarios que requieren una reducción agresiva de tokens.