System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

Resumen Técnico: Desequilibrios de Atención Mediados por el Sistema

Título original: System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

1. El Problema: La Hipótesis "Centrada en la Imagen" vs. Alucinaciones

El estudio aborda un fenómeno crítico en los Modelos de Lenguaje-Visión (VLM): la alucinación por sesgo de "sí" (yes-bias). Este es un error sistemático donde el modelo responde "sí" de forma indiscriminada en tareas binarias, independientemente de la veracidad de la imagen o el texto.

Hasta ahora, la literatura científica se ha basado en la hipótesis centrada en la imagen, que sugiere que las alucinaciones ocurren porque el modelo no presta suficiente atención a la modalidad visual. Por tanto, las estrategias de mitigación se han limitado a intentar aumentar artificialmente la atención hacia la imagen. Los autores argumentan que esta visión es incompleta y no considera el papel de las otras dos modalidades: el texto y el sistema (que incluye tokens de control como <BOS> y mensajes de sistema).

2. Metodología: La Hipótesis Mediada por el Sistema

Los autores proponen una nueva perspectiva: la hipótesis mediada por el sistema. Esta postula que la alucinación no es solo una falta de atención a la imagen, sino un desequilibrio causado por la atención redundante en la modalidad de sistema.

• Mecanismo: Se observa que los tokens de sistema actúan como "sumideros de atención" (attention sinks), capturando una cantidad desproporcionada de peso (a veces más del 70%) sin aportar información semántica útil. Esto priva de atención tanto a la imagen como al texto.
• Intervención Causal: Para probar esto, los autores realizaron intervenciones en las capas finales del decodificador de texto (específicamente en el cuarto cuarto, Q4, de LLaVA-1.5 7B). Utilizaron una técnica de redistribución proporcional:
  1. Se eliminó (ablation) la atención de la modalidad de sistema.
  2. Ese peso de atención se redistribuyó entre las modalidades de imagen y texto en proporción a sus pesos originales.
• Evaluación: Utilizaron seis benchmarks de preguntas binarias (como HallusionBench, SugarCrepe y Winoground) y midieron la precisión simple, la precisión por pares y la tasa de respuestas "sí".

3. Contribuciones Clave

1. Identificación de la causa raíz: Demuestran que la atención redundante en las capas tardías de la modalidad de sistema es un factor determinante en el sesgo de "sí".
2. Nuevo marco teórico: Establecen una cuenta "mediada por el sistema" que es más holística que las interpretaciones centradas únicamente en la imagen.
3. Validación de la redistribución: Proporcionan un método de mitigación basado en la redistribución de pesos que supera a las técnicas existentes de aumento de atención visual.

4. Resultados Principales

• Superioridad de la redistribución: La redistribución de la atención del sistema hacia la imagen y el texto redujo significativamente el sesgo de "sí" y mejoró la precisión, superando a los métodos que solo aumentaban la atención de la imagen (PAI) o que suprimían la atención del texto (AD-HH).
• Desmitificación de la hipótesis centrada en la imagen: Los experimentos de transferencia por pares mostraron que redistribuir atención del sistema al texto produjo mejoras mayores que redistribuir de texto a imagen. Esto prueba que el déficit de atención no es exclusivo de la imagen, sino que el problema es el exceso de atención en el sistema.
• Análisis de tareas (Coarse vs. Fine-grained): Los autores descubrieron que el sesgo de "sí" ocurre cuando el modelo depende de representaciones "gruesas" o globales. La redistribución de la atención obliga al modelo a utilizar detalles finos (locales) de la imagen y el texto, lo cual es esencial para tareas de razonamiento compositivo.
• Consistencia entre modelos: Aunque los efectos varían según la escala (en modelos más grandes como LLaVA-13B el efecto es menor), la tendencia se mantiene en diferentes arquitecturas, incluyendo la familia Qwen2-VL.

5. Significado e Implicaciones

Este trabajo cambia el paradigma de la mitigación de alucinaciones en VLMs. Sugiere que, para mejorar la fiabilidad de la IA multimodal, no basta con "hacer que el modelo mire más la imagen", sino que es necesario gestionar de forma más eficiente la atención en los tokens de sistema para evitar que actúen como sumideros de información. Esto abre la puerta a nuevas técnicas de entrenamiento y de inferencia que promuevan un equilibrio multimodal más saludable, reduciendo la tendencia de los modelos a dar respuestas por defecto sin un análisis real de los datos de entrada.