Resumen Técnico: Alineación Contrastiva Guiada por Doble Indicador en Modelos de Lenguaje de Gran Escala Multimodales

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) sufren frecuentemente de alucinaciones, generando respuestas que se desvían de la evidencia visual. Mientras que el razonamiento visual humano suele seguir un paradigma de "lo general a lo particular" (coarse-to-fine)—comenzando con una comprensión global de la escena y enfocándose gradualmente en las regiones relevantes para la pregunta—, los MLLMs suelen exhibir dos modos de falla específicos durante la inferencia:

1. Deriva de la Atención (Attention Drift): La atención visual del modelo se dispersa o se desplaza inesperadamente hacia regiones semánticamente irrelevantes para la consulta, rompiendo el enfoque de lo global a lo local.
2. Subuso de la Evidencia Visual (Underuse of Visual Evidence): La dependencia del modelo hacia las pistas visuales se degrada a medida que la red se profundiza, causando que la generación sea impulsada por los sesgos lingüísticos internos en lugar del contenido de la imagen.

Las estrategias de mitigación existentes, ya sean basadas en entrenamiento o sin entrenamiento, generalmente tratan la alucinación como un fenómeno monolítico. Carecen de mecanismos para diagnosticar la causa raíz específica (deriva vs. subuso) y aplicar estrategias de corrección uniformes que pueden no alinearse con el modo de falla real, lo que conduce a un rendimiento subóptimo o a la degradación de las predicciones correctas.

Metodología: DICA

Los autores proponen la Alineación Contrastiva Guiada por Doble Indicador (DICA), un marco de trabajo de inferencia sin entrenamiento que diagnostica y aborda explícitamente estos distintos modos de falla utilizando dos indicadores de información teórica.

1. Indicadores de Diagnóstico

DICA rastrea dos métricas durante el proceso de decodificación:

• Entropía de la Atención Visual (VAE): Mide la concentración de la atención visual sobre los tokens de la imagen. Una entropía alta indica una atención dispersa (potencial deriva), mientras que una entropía baja indica una atención enfocada.
• Correlación Salida-Imagen (OIC): Cuantifica la dependencia de la distribución de salida generada respecto a la entrada visual en comparación con un sesgo puramente textual. Una caída en la OIC indica que el modelo está ignorando la evidencia visual y dependiendo de los sesgos del lenguaje.

2. Mecanismo de Corrección de Doble Componente

DICA monitorea estos indicadores en tiempo real. Si un indicador supera un umbral predefinido, se activa una alineación contrastiva dirigida:

• Corrección de Deriva Guiada por VAE (VAE-GDC):

  • Disparador: Un aumento repentino en la VAE (que indica deriva de la atención).
  • Mecanismo: El modelo compara los estados ocultos de la ruta "Normal" (inferencia estándar) con una ruta "Descriptiva" (donde el modelo es instado a describir la imagen de forma general). La ruta Descriptiva mantiene intrínsecamente una distribución de atención más uniforme. DICA realiza una decodificación contrastiva sobre los estados ocultos, utilizando la ruta Descriptiva para calibrar los estados ruidosos y de alta entropía de la ruta Normal, restaurando así el enfoque en las regiones relevantes.

• Restauración de la Anclaje Guiada por OIC (OIC-GGR):

  • Disparador: Una disminución significativa en la OIC (que indica subuso de la evidencia visual).
  • Mecanismo: El sistema identifica una capa intermedia $l^*$ donde la distribución de atención visual diverge más significativamente de la capa final. Luego, realiza una decodificación contrastiva entre la predicción de la capa final y la predicción de la capa intermedia seleccionada. Esto fuerza la distribución de salida de vuelta hacia un estado que esté más alineado con la evidencia visual capturada en las capas anteriores, más ancladas a la realidad.

Contribuciones Clave

1. Identificación Empírica de Cuellos de Botella: El estudio identifica y valida sistemáticamente dos fuentes distintas de alucinación en los MLLMs: la deriva de la atención y el subuso de la evidencia visual, demostando que estas corresponden a anomalías específicas en las trayectorias de VAE y OIC.
2. Intervención Dirigida en Tiempo de Inferencia: DICA introduce un método que realiza la corrección de la distribución durante la inferencia sin requerir reentrenamiento del modelo ni cambios arquitectónicos. Distingue de manera única entre los modos de falla para aplicar correcciones específicas y adaptativas.
3. Evaluación Exhaustiva: Experimentos extensos a través de múltiples benchmarks (POPE, MME, CHAIR) y diversos backbones de modelos (LLaVA-1.5, Qwen-VL) demuestran que DICA supera consistentemente a las líneas base existentes, reduciendo significativamente las alucinaciones mientras mantiene una alta precisión en el razonamiento.

Resultados Experimentales

• Benchmark POPE: DICA alcanzó un rendimiento de vanguardia en las configuraciones de muestreo Random, Popular y Adversarial. En LLaVA-1.5 (AOKVQA/Popular), alcanzó un F1-score de 85.99, superando a todas las líneas base.
• Benchmark CHAIR: DICA redujo sustancialmente las alucinaciones de objetos en el subtitulado de imágenes. En LLaVA-1.5, redujo el puntaje CHAIR a nivel de oración a 41.8 y el de nivel de instancia a 11.5, manteniendo un alto nivel de recuperación (recall).
• Benchmark MME: DICA logró los puntajes totales más altos tanto en LLaVA-1.5 (661.5) como en Qwen-VL (648.3), mostrando una fortaleza particular en tareas de conteo de objetos y posicionamiento.
• Estudios de Ablación: Eliminar ya sea el componente VAE-GDC o el OIC-GGR resultó en caídas notables de rendimiento, confirmando que ambos módulos son indispensables. El estudio señala que la deriva de la atención (abordada por VAE-GDC) ocurre con más frecuencia que el subuso de la evidencia, lo que convierte a la corrección de la deriva en un componente fundamental.
• Eficiencia: Aunque DICA introduce una carga computacional moderada (aproximadamente 2.5 veces el costo de inferencia en comparación con la decodificación greedy debido a los flujos paralelos), elimina los altos costos de preparación de datos y entrenamiento asociados con los enfoques de ajuste fino supervisado o RLHF.

Significado y Reivindicaciones

El artículo sostiene que DICA valida la efectividad de la intervención guiada por indicadores para mejorar la fiabilidad de la inferencia multimodal. Al diagnosticar explícitamente si una alucinación proviene de la deriva de la atención o de una falta de anclaje visual, DICA evita las estrategias de corrección de "talla única" de trabajos anteriores. Los autores afirman que su enfoque fortalece eficazmente la dependencia del modelo hacia la evidencia visual, mitigando así las alucinaciones sin comprometer la fluidez generativa del modelo ni requerir modificaciones arquitectónicas.

El trabajo se presenta con modestia respecto a sus limitaciones: introduce latencia en comparación con la decodificación estándar, depende de umbrales fijos que pueden requerir ajuste para diferentes arquitecturas, y no puede compensar los puntos ciegos perceptuales inherentes al codificador de visión o al modelo de lenguaje base.