Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

Resumen Técnico: CAAC (Calibración de Atención Consciente de la Confianza)

1. El Problema: Alucinaciones en Modelos de Lenguaje-Visión Grandes (LVLMs)

Los modelos de lenguaje-visión grandes (LVLMs) han logrado un rendimiento impresionante en tareas multimodales, pero sufren de un problema crítico: las alucinaciones. Esto ocurre cuando el modelo genera contenido no fundamentado en la entrada visual, como describir objetos inexistentes o malinterpretar escenas.

El artículo identifica que las intervenciones actuales sin entrenamiento (training-free) luchan por mantener la precisión en escenarios de generación abierta y de largo formato. El análisis de los autores revela dos sesgos fundamentales que causan este problema:

• Sesgo de percepción espacial: El modelo distribuye la atención de manera desproporcionada en los tokens de la imagen, concentrándose excesivamente en un subconjunto pequeño de ellos (incluso en imágenes en blanco), ignorando otras áreas relevantes.
• Sesgo de modalidad: A medida que avanza la generación (especialmente en secuencias largas), el modelo tiende a depender cada vez más de sus priores lingüísticos (texto) y descuida la entrada visual, lo que lleva a un contenido desconectado de la imagen.

2. Metodología: El Marco CAAC

Los autores proponen CAAC (Confidence-Aware Attention Calibration), un marco unificado y sin entrenamiento (training-free) que recalibra dinámicamente la atención del LVLM basándose en la confianza del modelo. CAAC opera en dos pasos secuenciales dentro del módulo de auto-atención del decodificador:

A. Calibración de Tokens Visuales (VTC - Visual-Token Calibration)

• Objetivo: Mitigar el sesgo de percepción espacial.
• Mecanismo: Utiliza un vector de calibración derivado de una entrada de referencia (una imagen sin significado y una consulta genérica) para identificar el patrón de atención sesgado inherente del modelo.
• Proceso: Aplica una inversión a los pesos de atención de los tokens de imagen para contrarrestar la concentración excesiva. Se introduce un parámetro de suavizado ($\beta$) para equilibrar la corrección del sesgo con la preservación de la información visual original, evitando una uniformidad extrema que podría distorsionar la imagen.

B. Reescalado Adaptativo de Atención (AAR - Adaptive Attention Re-Scaling)

• Objetivo: Mitigar el sesgo de modalidad durante la generación autoregresiva.
• Mecanismo: Monitorea la confianza del modelo en cada paso de generación. Analiza la probabilidad del logit máximo ($p_t$) del token predicho.
• Proceso:
  • Si la confianza del modelo es alta ($p_t \geq p_{thr}$), no se realiza ninguna intervención.
  • Si la confianza es baja ($p_t < p_{thr}$), lo que indica un alto riesgo de alucinación, AAR calcula un factor de escala ($\lambda_t$) que aumenta dinámicamente los pesos de atención hacia los tokens de imagen.
  • Esto refuerza la conexión visual justo cuando el modelo está más inseguro, asegurando que la generación permanezca fundamentada en la imagen.

3. Contribuciones Clave

1. Análisis de Alucinaciones: Presentan un análisis novedoso utilizando mapas de relevancia que desvela las dos causas raíz de la generación sin fundamento: el sesgo espacial y el sesgo de modalidad.
2. Método de Mitigación (CAAC): Proponen un marco de calibración de atención adaptable que no requiere reentrenamiento del modelo, integrando VTC y AAR para abordar ambos sesgos simultáneamente.
3. Mejora de Rendimiento: Demuestran que CAAC reduce significativamente las tasas de alucinación en múltiples benchmarks, superando a los métodos más avanzados (SOTA), especialmente en tareas de generación de texto largo.

4. Resultados Experimentales

Los autores evaluaron CAAC en tres modelos LVLMs de 7B parámetros (InstructBLIP, LLaVA-1.5, LLaVA-NeXT) utilizando los benchmarks CHAIR, AMBER y POPE.

• Benchmark CHAIR (Descripción de imágenes): CAAC redujo la tasa de alucinación en un promedio del 4% en CHAIRs y del 1.8% en CHAIRi en comparación con la mejor línea base (OPERA), logrando las puntuaciones más bajas de alucinación en todos los modelos probados.
• Benchmark AMBER (Generación y discriminación):
  • En tareas de generación larga (512 tokens), las técnicas de decodificación contrastiva (como VCD y M3ID) mostraron un deterioro significativo, mientras que CAAC mantuvo un rendimiento superior.
  • CAAC obtuvo las puntuaciones más bajas en CHAIR y HAL (alucinaciones) en todas las configuraciones, manteniendo al mismo tiempo una puntuación COVER (cobertura/informatividad) alta y competitiva.
• Benchmark POPE (Evaluación discriminativa): Aunque diseñado para generación, CAAC también demostró robustez en tareas discriminativas, logrando puntuaciones de precisión y F1 dentro del 1% del mejor método (OPERA) y superando a otras líneas base.
• Eficiencia: El mecanismo de doble paso de CAAC introduce una latencia modesta, pero es más eficiente que los métodos de decodificación contrastiva que requieren dos pasadas por cada token; CAAC solo activa su segunda pasada en aproximadamente el 14% de los tokens.

5. Significado e Impacto

El trabajo de CAAC es significativo porque aborda la fiabilidad de los LVLMs en aplicaciones críticas (diagnóstico médico, navegación autónoma) donde la precisión factual es más importante que la exhaustividad del texto.

• Equilibrio entre Fidelidad y Completitud: CAAC logra un equilibrio superior entre reducir alucinaciones y mantener la cobertura del contenido. A diferencia de otros métodos que sacrifican la cobertura para reducir alucinaciones, CAAC preserva la integridad del texto generado.
• Eficacia en Generación Larga: Es particularmente efectivo en secuencias largas, donde los sesgos de modalidad suelen causar fallos catastróficos en otros métodos.
• Generalización: Al ser un método sin entrenamiento y agnóstico al modelo, se integra fácilmente en cualquier LVLM, ofreciendo una solución práctica y escalable para mejorar la seguridad y la confianza en sistemas multimodales.

En conclusión, CAAC representa un avance importante al utilizar la confianza del modelo como señal para regular dinámicamente la atención visual, asegurando que la generación de texto permanezca anclada a la realidad visual a lo largo de todo el proceso.