Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

1. El Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han demostrado capacidades excepcionales en tareas de visión-lenguaje, como la descripción de imágenes y la respuesta a preguntas visuales (VQA). Sin embargo, existen desafíos críticos en cuanto a su transparencia y fiabilidad:

• Opacidad: A medida que aumentan la escala de parámetros y la cobertura de modalidades, es difícil rastrear cómo las entradas específicas (imágenes) influyen en las salidas generadas.
• Alucinaciones: Los MLLMs son propensos a alucinar (generar información visual incorrecta), lo que compromete su uso en dominios críticos como la salud o la conducción autónoma.
• Limitaciones de los Métodos Actuales:
  • Los métodos basados en visualización de atención a menudo fallan al capturar interacciones complejas entre modalidades.
  • Los métodos basados en gradientes (como LLaVA-CAM o IGOS++) son sensibles a efectos acumulativos en secuencias largas, propensos al ruido y dependen de la selección de tokens, lo que puede distorsionar la atribución si se eligen tokens dominados por priores lingüísticos.
  • Los métodos basados en mapas de activación (como TAM) carecen de un vínculo causal directo entre entrada y salida y no generalizan bien a todos los MLLMs.
  • La mayoría de los métodos existentes no pueden explicar la generación autoregresiva (token por token) de manera eficiente ni cuantificar la dependencia entre evidencia visual y priores lingüísticos.

2. Metodología: EAGLE

Los autores proponen EAGLE (Explaining Autoregressive Generation by Language priors or Evidence), un marco de atribución caja negra (black-box) ligero diseñado para explicar la generación de tokens en MLLMs.

Componentes Clave del Marco:

1. Preprocesamiento de la Imagen:

   • La imagen de entrada se segmenta en subregiones semánticas significativas utilizando el algoritmo de superpíxeles SLICO. Esto convierte la imagen densa en un conjunto discreto de regiones $V = \{x_1, ..., x_N\}$.

2. Función Objetivo Unificada:
   EAGLE define una función objetivo que combina dos métricas complementarias para encontrar el subconjunto mínimo de regiones perceptuales que impulsan la generación de un token:

   • Puntuación de Perspicacia (Insight Score): Mide la suficiencia. Evalúa qué regiones, por sí solas, son suficientes para maximizar la probabilidad de generar el token objetivo.
   • Puntuación de Necesidad (Necessity Score): Mide la indispensabilidad. Evalúa qué regiones, al ser eliminadas, causan una caída significativa en la probabilidad de generar el token objetivo.
   • Fórmula: $\mathcal{F}(S) = s_{insight}(S) + s_{necessity}(V \setminus S)$.

3. Estrategia de Búsqueda:

   • Dado que el problema de selección de subconjuntos es NP-duro, EAGLE utiliza una búsqueda voraz (greedy search) sobre las regiones esparsificadas de la imagen.
   • Construye un ordenamiento de las regiones basado en su contribución marginal a la función objetivo, identificando así las áreas visuales más influyentes ("¿Dónde prestan atención los MLLM?").

4. Análisis de Dependencia Modal (¿En qué se basan?):

   • Más allá de la atribución espacial, EAGLE cuantifica si un token depende más de evidencia perceptual (la imagen) o de priores lingüísticos (el contexto del texto).
   • Calcula una Puntuación de Influencia ($I_{t_i}$) midiendo cómo evoluciona la probabilidad del token a medida que se introducen progresivamente las regiones salientes. Si la probabilidad cambia drásticamente con la imagen, es evidencia perceptual; si se mantiene estable, es un prior lingüístico.

5. Atribución Agnóstica al Token:

   • A diferencia de los métodos basados en gradientes que requieren seleccionar tokens visuales específicos, EAGLE es agnóstico al token. Puede atribuir cualquier conjunto de tokens (palabras completas, frases o tokens individuales) sin distorsión.

3. Contribuciones Principales

1. Marco EAGLE: Un marco de atribución ligero y de caja negra que explica la generación autoregresiva asignando tokens a regiones perceptuales compactas con un bajo costo de memoria GPU.
2. Función Objetivo Híbrida: Una nueva función que unifica suficiencia e indispensabilidad, optimizada mediante búsqueda voraz para lograr atribuciones fieles y eficientes.
3. Análisis de Modalidad: Una capacidad única para disociar y cuantificar la influencia de los priores lingüísticos frente a la evidencia visual en cada token generado.
4. Diagnóstico de Alucinaciones: Un enfoque para identificar las regiones visuales específicas que causan alucinaciones, permitiendo su mitigación eliminando solo un mínimo de regiones interferentes.

4. Resultados Experimentales

Los autores evaluaron EAGLE en modelos de código abierto (LLaVA-1.5, Qwen2.5-VL, InternVL3.5) y datasets (MS COCO, MMVP, RePOPE).

• Fidelidad (Sentence-level):
  • EAGLE supera a los métodos más avanzados (LLaVA-CAM, IGOS++, TAM) en métricas de inserción y borrado.
  • En la tarea de descripción de imágenes (COCO), superó a los baselines en un promedio de 20.0% en inserción y 13.4% en borrado.
  • En VQA (MMVP), las mejoras fueron de 20.6% en inserción y 8.1% en borrado.
• Localización (Word-level):
  • En el juego de apuntado (Pointing Game), EAGLE superó a TAM en un 36.42% (nivel de caja) y 42.63% (nivel de máscara), demostrando una localización de objetos mucho más precisa.
• Diagnóstico de Alucinaciones (RePOPE):
  • EAGLE localizó con mayor precisión los elementos visuales responsables de las alucinaciones.
  • Logró corregir alucinaciones eliminando solo un 80% menos de regiones en comparación con otros métodos (medido por AMCR y CSR@10%), demostrando que las alucinaciones suelen depender de regiones muy específicas.
• Eficiencia:
  • Requiere significativamente menos memoria GPU que los métodos basados en gradientes (ej. 17.68 GB vs 96.90 GB para Qwen2.5-VL 7B), haciéndolo viable para modelos grandes modernos.
  • Aunque es más lento en tiempo de inferencia que los métodos de gradiente (debido a la búsqueda), es el único que ofrece una explicación causal robusta y escalable.

5. Significado e Impacto

El trabajo de EAGLE es significativo porque:

• Avanza la Interpretabilidad: Proporciona una comprensión más profunda y fiable de cómo los MLLMs toman decisiones, yendo más allá de la simple visualización de atención.
• Seguridad y Confianza: Al poder identificar y eliminar las causas raíz de las alucinaciones (regiones visuales específicas), ofrece una vía práctica para mejorar la seguridad de los MLLMs en aplicaciones críticas.
• Generalización: Al ser un método de caja negra agnóstico al modelo, es aplicable a una amplia gama de arquitecturas de MLLMs sin necesidad de acceso a los pesos internos o mapas de activación.
• Equilibrio Modal: Ofrece la primera herramienta sistemática para entender la tensión entre "lo que el modelo ve" y "lo que el modelo cree que debería ver" (priores lingüísticos), un paso crucial para desarrollar modelos más robustos y menos propensos a alucinar.

En resumen, EAGLE establece un nuevo estado del arte en la explicabilidad de MLLMs, ofreciendo atribuciones fieles, localización precisa y diagnósticos de errores que son tanto técnicamente sólidos como prácticos para la industria.