Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

Resumen Técnico: Capturando Desplazamientos de la Mirada para la Orientación (GIFT)

Planteamiento del Problema
Los Modelos de Lenguaje de Visión (VLMs) sufren frecuentemente de alucinaciones, generando contenido que no está respaldado por las entradas visuales o textuales. La literatura actual atribuye esto principalmente a una dependencia excesiva de los sesgos lingüísticos en lugar de las entradas visuales. Las estrategias actuales de mitigación en tiempo de inferencia intentan amplificar la atención de los tokens visuales, pero sufren dos limitaciones críticas:

1. Sumidero de Atención Visual (Visual Attention Sink): Estos métodos a menudo no logran distinguir entre regiones visuales relevantes e irrelevantes, amplificando inadvertidamente la atención hacia tokens ajenos a la tarea (el "sumidero") que reciben pesos desproporcionadamente altos.
2. Fusión Cross-Modal Desequilibrada: Al centrarse únicamente en aumentar la atención visual, los métodos previos descuidan el equilibrio necesario con los tokens de la consulta del usuario. Esto puede llevar a que el modelo preste atención a regiones visuales relevantes mientras interpreta erróneamente la consulta del usuario, lo que resulta en representaciones mal integradas.

Metodología: Mejora de la Fusión Cross-Modal Guiada por el Desplazamiento de la Mirada (GIFT)
Los autores proponen GIFT, un método ligero en tiempo de inferencia que mitiga la alucinación ajustando dinámicamente la atención basándose en "desplazamientos de la mirada" (gaze shifts) en lugar de puntuaciones de atención estáticas. El enfoque consta de dos fases primarias:

1. Computación del Mapa de Saliencia Visual mediante el Seguimiento del Desplazamiento de la Mirada:

   • En lugar de promediar la atención sobre todos los tokens de la consulta (mirada estática), GIFT rastrea los cambios positivos en la atención de los tokens visuales a medida que el modelo procesa palabras ricas en información (por ejemplo, sustantivos, verbos, adjetivos) en la consulta del usuario.
   • Este mecanismo de "desplazamiento de la mirada" identifica dónde el modelo reasigna dinámicamente el enfoque hacia regiones visuales relevantes. Las regiones irrelevantes (sumideros de atención) típicamente exhiben cambios positivos mínimos o nulos, lo que permite al método filtrar el ruido de forma natural.
   • Se pre-computa un mapa de saliencia visual holístico en una capa específica (identificada como el pico de los cambios de atención positiva, típicamente en las capas iniciales a medias) antes de comenzar la decodificación.

2. Mejora de la Fusión Cross-Modal:

   • Direccionamiento de la Atención Visual: Durante la decodificación, el mapa de saliencia pre-computado se utiliza para amplificar proporcionalmente la atención hacia los tokens visuales salientes en las capas críticas de fusión cross-modal.
   • Fusión Equilibrada: Crucialmente, GIFT no solo potencia los tokens visuales. Simultáneamente, escala la atención hacia los tokens de la consulta basándose en la relación de amplificación de la atención visual total. Esto preserva el equilibrio entre las modalidades visual y textual, asegurando que el modelo interprete la consulta correctamente mientras la fundamenta en la imagen.
   • El método opera directamente sobre las matrices de atención intermedias sin requerir pasadas adicionales hacia adelante (forward passes) o entradas modificadas.

Contribuciones Clave

• Mecanismo Novedoso: Introducción de un mecanismo que captura una visión holística de las regiones visuales salientes mediante el seguimiento de los desplazamientos de atención positiva ("desplazamientos de la mirada") sobre tokens de consulta ricos en información, mitigando eficazmente el problema del sumidero de atención visual.
• Mejora Equilibrada: Propuesta de GIFT, un método que aprovecha el mapa de saliencia pre-computado para mejorar la atención visual mientras escala proporcionalmente la atención de los tokens de la consulta para mantener el equilibrio de la fusión cross-modal.
• Validación Empírica: Demostración de que GIFT reduce consistentemente las alucinaciones en diversas arquitecturas de VLM (LLaVA-1.5, Qwen2-VL, Qwen3-VL), logrando mejoras significativas en benchmarks de alucinación mientras preserva las capacidades de razonamiento general con una baja sobrecarga computacional.

Resultados Experimentales
Se realizaron experimentos extensos en cuatro modelos (LLaVA-1.5 7B/13B, Qwen2-VL 7B, Qwen3-VL 8B) a través de múltiples benchmarks:

• Mitigación de Alucinaciones: GIFT logró una mejora de hasta el 20.7% en CHAIR (descripción de imágenes), 15.9% en MMHal-Bench (VQA) y 3.0% en POPE (detección de objetos) en comparación con la decodificación greedy. Superó consistentemente a baselines como VAF (Visual Attention Fusion), VAR (Visual Attention Recalibration) y VCD (Visual Contrastive Decoding).
• Rendimiento General: En benchmarks generales de visión y lenguaje (MME, SEED-Bench), GIFT mantuvo un rendimiento comparable a la decodificación greedy, demostrando que la mitigación de alucinaciones no ocurre a costa de las capacidades de razonamiento.
• Eficiencia: GIFT incurrió en una baja sobrecarga computacional, ejecutándose a solo 1.13× la latencia de la decodificación greedy, significativamente más rápido que la decodificación contrastiva (1.99×) o los métodos de reducción de tokens (11.10×).

Significancia y Reivindicaciones
El artículo afirma que GIFT aborda las limitaciones simultáneas de los métodos existentes: los sumideros de atención visual y la fusión cross-modal desequilibrada. Al imitar los desplazamientos de la mirada visual humana, el método proporciona una señal de fundamentación visual más robusta y relevante para la tarea. Los autores aseguran que GIFT ofrece una sólida relación entre eficiencia y rendimiento, convirtiéndolo en una solución práctica para reducir las alucinaciones en dominios de alto riesgo como la biomedicina, la conducción autónoma y la robótica, donde la precisión fáctica es crítica. El trabajo se presenta como un paso hacia el despliegue de VLMs más seguros y confiables sin los altos costos computacionales del reentrenamiento o las complejas estrategias de decodificación contrastiva.