Resumen Técnico: ADAPT (Alineación de la Dinámica de Atención con Ajuste de Preferencias)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) sufren frecuentemente de alucinaciones, generando descripciones o respuestas inconsistentes con la imagen de entrada. Aunque las estrategias de mitigación existentes se centran en ajustes basados en resultados —como la manipulación de las probabilidades de los tokens durante la inferencia (por ejemplo, el decodificación contrastiva) o la alineación de las distribuciones de salida mediante objetivos en tiempo de entrenamiento (por ejemplo, RLHF, DPO)—, estas pasan por alto en gran medida los mecanismos internos que impulsan estos fallos.

Este artículo identifica una firma interna crítica de la alucinación: la degradación progresiva de la atención cruzada texto-imagen durante la generación. Los autores observan que, a medida que avanza la generación, la atención del modelo se desplaza de un estado inicial con base visual hacia un estado posterior dominado por el prior (conocimiento previo). Esta degradación se manifiesta en tres patrones de fallo específicos:

1. Deriva y Sesgo (Drift and Bias): La atención se aleja de la evidencia visual relevante para el texto, volviéndose ya sea difusa (sin enfoque) o espacialmente sesgada (concentrada en regiones irrelevantes).
2. Reducción de la Capacidad de Respuesta: La tasa de cambio en la atención cruzada disminuye a medida que se generan nuevos tokens, lo que indica una falla al intentar reubicar la evidencia visual para el contexto subsiguiente.
3. Decaimiento del Valor (Value Decay): El valor de atención asignado a los tokens visuales disminuye significamente a través de las capas, debilitando las restricciones visuales y permitiendo que los priors del lenguaje dominen.

Consecuentemente, las alucinaciones se vuelven cada vez más probables en las etapas finales de la generación de textos largos.

Metodología: Marco de Trabajo ADAPT

Para abordar estas dinámicas internas, los autores proponen ADAPT (Alineación de la Dinámica de Atención con Ajuste de Preferencias), un marco que interviene directamente en la dinámica de la atención cruzada a través de tres etapas sinérgicas:

1. Mejora Visual de la Atención Cruzada (Pre-Inferencia)

El primer paso consiste en construir un Ancla Visual de Atención Cruzada ($A_{anchor}$) fiable a partir de la etapa inicial y fundamentada de la generación (los primeros $K$ tokens). Dado que la atención cruzada pura es ruidosa y propensa a "sumideros de atención" (attention sinks — sesgos posicionales independientes del contenido), los autores refinan los mapas de atención multicapa utilizando tres criterios complementarios:

• Consistencia y Suavidad: Cuantificada mediante relaciones de energía de alta frecuencia y regularizadores de Variación Total (TV) inversos para suprimir activaciones ruidosas y fragmentadas.
• Enfoque: Medido por la entropía de Shannon, ajustado dinámicamente según la semántica de la consulta para equilibrar entre el enfoque a nivel de objeto y el enfoque global.
• Corrección de Sesgo Espacial: Se deriva una máscara de debiasing promediando los mapas de atención sobre imágenes de ruido para identificar y suprimir los priors posicionales independientes del contenido.

El ancla resultante sirve como una referencia estable y relevante para la consulta que sirve para la supervisión descendente y se utiliza para crear imágenes "guiadas por el ancla" que mejoran el fundamento visual antes de que comience la generación completa.

2. Inferencia Supervisada por Atención (Tiempo de Inferencia)

Durante la decodificación, el marco monitorea la fidelidad de la distribución de atención cruzada actual ($A_t$) frente al ancla precalculada ($A_{anchor}$).

• Detección: Se calcula un índice de Concentración Modulada por el Ancla (AMC) ($S_{AMC}$) para medir la alineación. Si $S_{AMC}$ cae por debajo de un umbral $\tau$, esto indica una deriva de la atención (falta de enfoque o sesgo).
• Corrección: Cuando se detecta la deriva, se aplica un operador de dirección (steering) correctivo disperso a los logits de la atención. Este operador repondera la atención hacia las regiones consistentes con el ancla, atrayendo efectivamente al modelo de vuelta de los priors del lenguaje sin forzar un objetivo fijo y rígido.

3. DPO de Guía de Atención Visual (Tiempo de Entrenamiento)

Para alinear las preferencias intrínsecas del modelo con la evidencia visual, los autores introducen VAG-DPO. A diferencia del DPO estándar que contrasta respuestas textuales, VAG-DPO contrasta respuestas bajo diferentes condiciones de evidencia visual:

• Muestra Elegida (Chosen Sample): Una respuesta factual emparejada con una imagen visualmente mejorada (derivada del ancla), fortaleciendo el vínculo entre los tokens correctos y la evidencia visual saliente.
• Muestra Rechazada (Rejected Sample): Una respuesta alucinatoria emparejada con una imagen de ruido, creando una condición "ciega" donde el modelo no debería asignar una alta confianza al contenido no sustentado.

Este objetivo penaliza explícitamente la generación de alucinaciones de alta confianza basadas únicamente en los priors del lenguaje.

Contribuciones Clave

1. Perspectiva Diagnóstica: El artículo revela sistemáticamente un proceso de degradación de la atención en dos etapas (de Visualmente Fundamentada a Dominada por el Prior) e identifica tres patrones de fallo específicos (deriva, reducción de la capacidad de respuesta y decaimiento del valor) asociados con las alucinaciones.
2. Mecanismo de Refinamiento: Un método novedoso para refinar la atención cruzada en un ancla fiable utilizando tres criterios complementarios (espectral, suavidad, enfoque) y una corrección explícita de sesgo espacial.
3. Marco Integrado: El diseño de ADAPT, que acopla la corrección de la deriva de atención en línea durante la inferencia con la alineación de preferencias de guía de atención visual durante el entrenamiento.
4. Validación Empírica: Experimentos exhaustivos que demuestran que ADAPT reduce las tasas de alucinación entre un 40–60% en los principales backbones (LLaVA, Qwen), preservando las capacidades multimodales generales.

Resultados Experimentales

Los autores evaluaron ADAPT en cuatro bancos de pruebas de alucinación principales: Obj-Hal (métricas Chair), AMBER, MM-Hal y POPE.

• Rendimiento: El ADAPT completo logró resultados de Estado del Arte (SOTA) en todos los bancos de pruebas y backbones. Por ejemplo, en el modelo LLaVA-v1.5-7B, redujo el puntaje Chair de 7.8 a 3.8 y el puntaje de alucinación en AMBER de 36.4 a 15.2.
• Eficiencia: La variante libre de entrenamiento (ADAPT-TF) por sí sola superó a muchos métodos avanzados. El marco completo introdujo una sobrecarga de tiempo de ejecución modesta de solo 1.42x en comparación con el baseline, significativamente más eficiente que otras intervenciones en tiempo de inferencia como OPERA (7.20x).
• Generalización: El método mostró una fuerte capacidad de generalización a través de diferentes familias de modelos (variantes de 7B y 13B de LLaVA y Qwen) y mantuvo las capacidades multimodales generales (MME, MMBench) con una degradación mínima en comparación con el DPO estándar.
• Fundamentación (Grounding): Los anclajes visuales refinados demostraron un rendimiento superior en tareas de localización (RefCOCO/RefCOCOg), logrando una mayor precisión y mIoU que el baseline CLIP y otros métodos basados en atención.

Significado y Reivindicaciones

El artículo sostiene que ADAPT proporciona una nueva perspectiva basada en la atención para mitigar las alucinaciones. Al cambiar el enfoque de la manipulación de la salida basada en resultados hacia los comportamientos internos de la atención cruzada texto-imagen, los autores demuestran que las alucinaciones no son simplemente el resultado de datos de entrenamiento deficientes o estrategias de decodificación, sino una consecuencia de la degradación de la dinámica de la atención a lo largo del tiempo.

La importancia de este trabajo radica en:

• Intervención Basada en Mecanismos: Ir más allá del ajuste de salida de "caja negra" para intervenir directamente en los mecanismos de atención internos del modelo.
• Diseño Sinérgico: Demostrar que la combinación de la supervisión en tiempo de inferencia con el ajuste de preferencias en tiempo de entrenamiento produce resultados superiores en comparación con cualquiera de los dos enfoques por separado.
• Practicidad: Ofrecer una solución que es altamente efectiva en la reducción de alucinaciones y computacionalmente lo suficientemente eficiente para el despliegue práctico.

Los autores concluyen que explorar y corregir la dinámica interna de la atención es un camino práctico y efectivo hacia la construcción de MLLMs más fieles.