Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

1. Problema: Alucinaciones en Modelos Multimodales (MLLMs)

Los Modelos de Lenguaje Multimodales (MLLMs) han extendido las capacidades de los grandes modelos de lenguaje al dominio visual, permitiendo tareas como la descripción de imágenes y la respuesta a preguntas visuales. Sin embargo, sufren de un problema crítico: las alucinaciones.

• Definición: Los modelos generan contenido que contradice el contenido visual real de la imagen (por ejemplo, afirmar que hay un objeto que no existe).
• Causa Raíz: Aunque los MLLMs pueden extraer semántica visual de los "tokens visuales", a menudo fallan en aprovechar esta ventaja durante la inferencia. La atención visual inherente del modelo tiene una capacidad de localización limitada y no logra enfocarse con precisión en las regiones visuales críticas, lo que lleva a interpretaciones erróneas.
• Limitaciones de Métodos Previos:
  • Los métodos basados en entrenamiento (nuevos conjuntos de datos o funciones de pérdida) son costosos y menos efectivos debido a la rápida iteración de las arquitecturas.
  • Las técnicas de mitigación sin entrenamiento que dependen de optimizar las distribuciones de atención existentes a menudo requieren pasadas adicionales (aumentando la latencia) o son incompatibles con implementaciones eficientes como FlashAttention (que no expone los pesos de atención explícitos).

2. Metodología Propuesta

Los autores proponen Vision-Guided Attention (VGA), un método libre de entrenamiento que guía la atención del modelo hacia las regiones visuales más relevantes utilizando una nueva señal interna.

A. Visual Semantic Confidence (VSC) - Confianza Semántica Visual

El núcleo de la propuesta es el descubrimiento de que los MLLMs pueden extraer características semánticas precisas de los tokens visuales y expresarlas como probabilidades condicionales en los logits visuales.

• Mecanismo: Se define la VSC como la confianza semántica de un token visual $v_i$ respecto a un objeto $O$. Se calcula utilizando el softmax de los logits correspondientes a ese objeto.
• Funcionamiento:
  • Para VQA (Preguntas sobre objetos): Se utiliza la confianza del primer token del objeto mencionado para localizar dónde está ese objeto en la imagen.
  • Para Descripción de Imágenes (Object-Agnostic): Se utiliza la Visual Semantic Salience (VSS), que mide la incertidumbre de salida. Los tokens con alta información visual (objetos distintos) tienen una saliencia mayor que las regiones de fondo semánticamente pobres.
• Resultado: La VSC permite una localización visual a nivel de token que es superior a la atención visual tradicional (que sufre del fenómeno "sink" o hundimiento, enfocándose solo en regiones locales).

B. Vision-Guided Attention (VGA)

Una vez obtenida la localización visual precisa (Grounding) mediante VSC, se utiliza para modificar la atención del modelo:

1. Guía de Atención: Se añade un vector de grounding ($\mathbf{G}$) derivado de la VSC a los pesos de atención originales ($\alpha$).
   • Fórmula: $\hat{\alpha} = \alpha + \beta \cdot \mathbf{G}$.
2. Compatibilidad con FlashAttention: A diferencia de otros métodos que necesitan calcular pesos de atención explícitos, VGA opera sobre los embeddings de salida. Utilizando la propiedad asociativa de la suma, se puede calcular la nueva salida como: $\hat{\mathbf{z}} = \mathbf{z} + \beta \cdot \Delta\mathbf{z}$. Esto permite que VGA sea totalmente compatible con FlashAttention sin sacrificar la eficiencia.
3. Equilibrio de Cabezas de Atención: Se aplica un coeficiente de balance ($\gamma$) para evitar perturbar las cabezas de atención que ya tienen una funcionalidad visual especializada, aplicando una guía más fuerte a las cabezas no visuales.

C. Programmed Vision-Guidance (PVG) - Guía de Visión Programada

Específicamente para la tarea de descripción de imágenes, donde las necesidades visuales cambian dinámicamente a medida que se genera el texto:

• Mecanismo: Durante la generación, el sistema suprime dinámicamente las regiones visuales que ya han sido descritas.
• Actualización: El vector de grounding se ajusta en cada paso para alejarse del contenido generado recientemente y enfocarse en áreas no descritas.
• Decaimiento: A medida que avanza la generación, la dependencia de la guía visual disminuye progresivamente para evitar redundancias y fomentar descripciones completas.

3. Contribuciones Clave

1. Introducción de VSC: Un mecanismo nuevo que aprovecha las características semánticas de los tokens visuales para lograr una localización visual precisa sin herramientas externas.
2. Propuesta de VGA: Un método libre de entrenamiento y compatible con FlashAttention que utiliza el grounding de VSC para dirigir la atención hacia los tokens visuales más informativos.
3. Validación Experimental: Demostración de que VSC proporciona un grounding preciso y que VGA mitiga eficazmente las alucinaciones en diversos MLLMs y benchmarks.
4. Eficiencia: El método requiere solo una pasada hacia adelante (forward pass) por token, introduciendo una sobrecarga de latencia insignificante.

4. Resultados Experimentales

Los autores evaluaron VGA en tres benchmarks principales de alucinaciones: POPE (VQA), CHAIR (Descripción de imágenes) y AMBER (Híbrido), utilizando modelos como LLaVA-1.5, LLaVA-Next y Qwen2.5-VL.

• POPE (VQA): VGA logró el mejor rendimiento en precisión (Acc) y F1 en comparación con el estado del arte (SOTA) y métodos baselines como PAI, VAF y TARAC. Por ejemplo, en LLaVA-7B, mejoró la precisión en el conjunto de datos "Adversarial" de 71.85% (Vanilla) a 77.02%.
• CHAIR (Descripción): VGA obtuvo la tasa de alucinación global más baja (Cs y Ci) en todos los modelos evaluados, manteniendo puntuaciones F1 comparables. En LLaVA-7B, redujo la tasa de alucinación de 52.2 a 29.8.
• AMBER: VGA alcanzó el mejor rendimiento general, validando su eficacia en tareas híbridas.
• Análisis de Latencia:
  • Aumento en Time to First Token (TTFT): 4.36%.
  • Aumento en Time Per Output Token (TPOT): 6.01%.
  • Esto confirma que el método es altamente eficiente y compatible con la naturaleza autoregresiva de los modelos.

5. Significado y Conclusiones

El trabajo demuestra que la guía visual explícita juega un papel crucial en mejorar la comprensión visual de los MLLMs.

• Descubrimiento Clave: Incluso para objetos ausentes, la VSC redirige la atención hacia regiones de baja semántica (fondo), ayudando al modelo a inferir correctamente la ausencia del objeto, reduciendo así los falsos positivos.
• Robustez: El método funciona incluso cuando el grounding visual no es perfecto, gracias a la alineación de preferencias posicionales que proporciona.
• Impacto Práctico: Al ser libre de entrenamiento, compatible con aceleradores de hardware modernos (FlashAttention) y de bajo costo computacional, VGA ofrece una solución práctica y escalable para mejorar la fiabilidad de los MLLMs en aplicaciones del mundo real, mitigando el problema de las alucinaciones sin necesidad de reentrenar modelos masivos.

En resumen, VGA actúa como un "faro" interno que le dice al modelo exactamente dónde mirar en la imagen, corrigiendo sus sesgos de atención y mejorando significativamente la precisión de sus respuestas visuales.