Resumen Técnico: MHSA – Un Marco Ligero para Mitigar Alucinaciones mediante Atención Dirigida en LVLMs

1. Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han demostrado capacidades excepcionales en tareas multimodales como la respuesta a preguntas visuales (VQA) y la descripción de imágenes. Sin embargo, sufren de alucinaciones, generando contenido inconsistente con o ausente en la entrada visual. Estas se manifiestan como alucinaciones de objetos, atributos o relaciones, socavando severamente la fiabilidad del modelo.

Las estrategias existentes de mitigación enfrentan limitaciones significativas:

• Métodos basados en entrenamiento (por ejemplo, RLHF, ajuste de instrucciones) requieren recursos computacionales sustanciales y datos anotados de alta calidad, y las mejoras a menudo están limitadas a distribuciones de entrenamiento específicas.
• Métodos en tiempo de inferencia suelen depender de reglas heurísticas fijas y diseñadas a mano (por ejemplo, funciones de penalización, reponderación estática) que no logran adaptarse a las firmas específicas de alucinación de muestras individuales de entrada.
• Los enfoques de decodificación contrastiva (por ejemplo, VCD, ICD) generalmente duplican los costos de inferencia al requerir múltiples pasos hacia adelante.

Trabajos recientes, DHCP (Detecting Hallucinations by Cross-modal Attention Pattern), establecieron que las muestras alucinadas y no alucinadas exhiben patrones de atención cruzada distinguibles. Sin embargo, DHCP se limita únicamente a la detección y opera principalmente a nivel de oración, sin ofrecer ningún mecanismo para la mitigación.

2. Metodología: Marco MHSA

Los autores proponen MHSA (Mitigating Hallucinations via Steered Attention), un marco ligero y libre de entrenamiento que cierra la brecha entre la detección y la mitigación mediante el aprendizaje de la corrección de patrones de atención cruzada.

Arquitectura Central

MHSA opera mediante una tubería de dos etapas "detectar-luego-corregir" sin modificar los parámetros del modelo base LVLM:

1. Discriminador ($D$): Un MLP de dos capas ligero y preentrenado (originalmente de DHCP) que actúa como un detector a nivel de token. Analiza los pesos de atención cruzada para identificar patrones alucinatorios.
2. Generador ($G$): Un MLP ligero de tres capas que toma la tensora de atención cruzada original ($A$) como entrada y produce un término de corrección ($\Delta A$).
3. Mecanismo de Dirección: La atención corregida se calcula como $A' = A + \Delta A$. Durante la inferencia, si $D$ detecta una alucinación, $G$ genera $\Delta A$, y el LVLM utiliza $A'$ en lugar de $A$ para producir la salida final.

Objetivos de Entrenamiento

El generador $G$ se entrena utilizando un objetivo de tres componentes para garantizar una corrección efectiva y estable:

1. Pérdida Guiada por el Discriminador ($\mathcal{L}_{dg}$): Una pérdida adversarial que alienta al generador a transformar patrones de atención alucinatorios en patrones no alucinatorios, según lo juzgado por el discriminador $D$.
2. Pérdida de Regularización ($\mathcal{L}_{reg}$): Una restricción sobre la magnitud de $\Delta A$ ($\|\Delta A\|_2^2$) para asegurar que las correcciones sean mínimas y localizadas, preservando la semántica de atención original y evitando artefactos.
3. Pérdida de Calidad de Salida del LVLM ($\mathcal{L}_{LVLM}$): Una pérdida de entropía cruzada que asegura que la atención corregida mantenga o mejore la calidad de la salida generada por el LVLM frente a la verdad fundamental.

Adaptación a Tareas Generativas

Mientras que DHCP operaba originalmente a nivel de oración, MHSA extiende esto a la corrección a nivel de token para tareas generativas (por ejemplo, descripción de imágenes).

• El discriminador y el generador se entrenan con tensores de atención cruzada por token extraídos durante la descripción de imágenes.
• Durante la inferencia, el sistema evalúa la atención en cada paso de decodificación. Si el patrón de atención de un token específico se marca como alucinatorio, el generador aplica una corrección antes de muestrear ese token.

3. Contribuciones Clave

1. Primer Marco de Mitigación Basado en Datos: MHSA es el primer marco que mitiga las alucinaciones de LVLM aprendiendo correcciones adaptativas a la muestra de patrones de atención cruzada, superando las reglas heurísticas fijas.
2. Extensión a Nivel de Token: Los autores extienden la detección basada en atención desde el nivel de oración hasta el nivel de token, habilitando la mitigación tanto en tareas discriminativas (VQA) como generativas (descripción).
3. Ligero y Eficiente: El marco no modifica los parámetros del modelo base LVLM. Solo entrena un pequeño generador MLP y utiliza un discriminador preentrenado, introduciendo una sobrecarga computacional marginal en comparación con el costo de inferencia del LVLM.
4. Evaluación Exhaustiva: El método se valida en múltiples LVLMs de última generación (Qwen2.5-VL, InternVL2, LLaVA-v1.5) y diversos conjuntos de datos (MSCOCO, Objects365, OpenImages, Flickr30k).

4. Resultados Experimentales

Tareas Discriminativas (Benchmarks POPE)

• Rendimiento: MHSA logra mejoras consistentes y significativas en las puntuaciones F1 en todos los modelos y conjuntos de datos probados. Por ejemplo, en Qwen2.5-VL-7B con MSCOCO, MHSA mejoró la puntuación F1 en +7.42 puntos (de 85.55 a 92.97) y la Recuperación en +15.78 puntos.
• Generalización: El método demuestra una fuerte generalización a través de diferentes arquitecturas de modelos y conjuntos de datos. Crucialmente, muestra un rendimiento robusto fuera de distribución (OOD); los modelos entrenados en un conjunto de datos (por ejemplo, Objects365) mitigan efectivamente las alucinaciones cuando se prueban en otro (por ejemplo, COCO), lo que sugiere que las correcciones aprendidas capturan firmas fundamentales de alucinación en lugar de artefactos específicos del conjunto de datos.

Tareas Generativas (Descripción de Imágenes)

• Reducción de Alucinaciones: En el conjunto de datos Flickr30k, MHSA redujo las tasas de alucinación a nivel de oración ($CHAIR_s$) y a nivel de instancia ($CHAIR_i$) en un 44% con una caída menor en la Recuperación (3.9%).
• Compensación: El método equilibra con éxito la supresión de alucinaciones con la preservación del contenido, evitando las caídas severas en la recuperación observadas en métodos heurísticos agresivos.

Eficiencia

• Latencia: MHSA introduce un aumento amortizado de latencia de solo 0.43× en el benchmark POPE-COCO. Esto se debe a que el discriminador ligero filtra todas las muestras, y el generador solo se invoca para la minoría de muestras marcadas como alucinadas (aprox. 12.3% en la configuración adversarial de POPE). Esto es significativamente más eficiente que los métodos de decodificación contrastiva que requieren una sobrecarga fija de ~1.0× para cada muestra.

5. Significado y Afirmaciones

El artículo afirma que MHSA ofrece una perspectiva novedosa sobre la investigación de alucinaciones al extender los mecanismos de atención cruzada desde la mera detección hasta la mitigación activa.

• Perspectiva Mecanística: Las visualizaciones confirman que MHSA funciona como un mecanismo de corrección dirigido. Concentra la atención en regiones relevantes para la tarea y reduce la entropía espacial, "dirigiendo" efectivamente al modelo lejos de patrones alucinatorios sin una perturbación generalizada de la estructura de atención.
• Practicidad: Al evitar el ajuste fino completo del modelo y minimizar la sobrecarga de inferencia, MHSA presenta una solución práctica y desplegable para mejorar la fiabilidad de los LVLM en aplicaciones del mundo real.
• Limitaciones: Los autores señalan que, aunque MHSA mejora significativamente las métricas, no es una panacea; se necesita trabajo futuro para explorar arquitecturas de generador más expresivas y una cobertura de modelos más amplia.

En resumen, MHSA aprovecha la correlación entre los patrones de atención y las alucinaciones para crear un marco ligero y basado en datos que reduce efectivamente las alucinaciones en tareas de LVLM tanto discriminativas como generativas, superando a los enfoques heurísticos y basados en entrenamiento existentes en términos de eficiencia y generalizabilidad.