Resumen Técnico: Mitigación de Alucinaciones en Modelos Grandes de Visión y Lenguaje mediante Puertas de Ruta Causal

1. Declaración del Problema

Los Modelos Grandes de Visión y Lenguaje (LVLMs) sufren frecuentemente de alucinaciones, generando contenido fluido y plausible que carece de soporte en la imagen de entrada. Este problema socava la fiabilidad de los LVLMs en implementaciones del mundo real, particularmente en entornos críticos para la seguridad o de apoyo a la toma de decisiones.

El artículo identifica un modo de fallo específico: la competencia de rutas. Incluso cuando los tokens visuales reciben atención, la decisión final del token puede estar dominada por la ruta textual. En consecuencia, el decodificador sigue los priores lingüísticos (lo que es plausible) en lugar de la evidencia visual (lo que es visible). Las estrategias existentes de mitigación sin entrenamiento a menudo dependen de proxies basados en atención (por ejemplo, Ratio de Atención Visual, VAR) o reescalado grueso de cabezas. Los autores argumentan que estos son insuficientes porque:

• Una masa de atención alta no se traduce necesariamente en una contribución causal a la salida.
• La normalización softmax puede inflar espuriamente las cuotas de atención visual al debilitar la competencia textual sin anclar realmente la decisión.
• El reescalado grueso suprime tanto las rutas visuales como las textuales, dañando potencialmente el razonamiento genuinamente anclado.

2. Metodología: Puertas de Ruta Causal (CRG)

El método propuesto, Puertas de Ruta Causal (CRG), es una intervención sin entrenamiento, en tiempo de inferencia, que opera a nivel de token descomponiendo las cabezas de atención en rutas visuales y textuales distintas.

2.1. Descomposición de Ruta Interna de Cabeza

Los autores aprovechan la linealidad de las operaciones del Transformer para descomponer la salida de cada cabeza de atención $h$ en la capa $l$ en dos componentes aditivos:

• Ruta Visual ($O^{vis}_{l,h}$): La contribución derivada de los tokens visuales.
• Ruta Textual ($O^{txt}_{l,h}$): La contribución derivada de los tokens textuales.
  La salida total de la cabeza es $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. Efectos de Ruta Causal Alineados a la Decisión (CRE)

En lugar de depender de los pesos de atención, CRG mide el efecto causal de cada ruta sobre la puntuación de decisión $\ell$ del token actual (por ejemplo, log-probabilidad del token generado o margen de log-odds para preguntas binarias). Utilizando intervenciones do, los efectos se definen como:

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: El cambio en la puntuación cuando se elimina la ruta visual.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: El cambio en la puntuación cuando se elimina la ruta textual.

Un $\Delta$ positivo indica que la ruta apoya la decisión; un $\Delta$ negativo indica que se opone a la decisión.

2.3. Identificación de Conflictos e Índice de Dependencia Visual (VRI)

El método identifica conflictos de ruta donde las rutas visual y textual empujan la decisión en direcciones opuestas (los signos de $\Delta^{vis}$ y $\Delta^{txt}$ difieren).

• Conflicto-A (+, -): Visual apoya, Textual se opone.
• Conflicto-B (-, +): Visual se opone, Textual apoya (la marca distintiva de la alucinación donde los priores lingüísticos anulan la evidencia visual).

Para priorizar la intervención, los autores definen el Índice de Dependencia Visual (VRI):
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
Un VRI bajo indica que una cabeza está impulsada por texto (dominante en priores).

2.4. Estimación Eficiente e Intervención

• Aproximación de Una Pasa Adelante/Un Gradiente: Calcular los efectos do exactos requiere múltiples pasadas hacia adelante. CRG utiliza una aproximación de primer orden que requiere solo una pasada hacia adelante y una consulta de gradiente por token. Las estimaciones se derivan del producto interno de las salidas de ruta y el gradiente de la puntuación de decisión ($\nabla \ell$).
• Puerta Consciente de Conflictos:
  1. Seleccionar las $k$ cabezas principales con el VRI más bajo dentro de los conjuntos de conflicto.
  2. Aplicar una puerta de ruta textual ($g^{txt}_{l,h}$) para suprimir la contribución textual mientras se mantiene intacta la ruta visual ($g^{vis}_{l,h} = 1$).
  3. Supresión Diferenciada:
     • Conflicto-A: Supresión leve (rango de puerta [0.5, 1.0]) para estabilizar el ruido.
     • Conflicto-B: Supresión fuerte (rango de puerta [0, 0.5]) para cortar los priores lingüísticos que contradicen la evidencia visual.

3. Contribuciones Clave

1. Efectos Causales a Nivel de Ruta: Introducción de efectos causales alineados a la decisión para rutas visuales y textuales dentro de las cabezas de atención, superando los proxies correlacionales de atención.
2. Índice de Dependencia Visual (VRI): Una métrica normalizada para identificar cabezas dominadas por priores que impulsan alucinaciones.
3. Estimador Eficiente: Un estimador de primer orden que permite la selección de cabezas por paso con una sobrecarga computacional mínima (una pasada hacia adelante, un gradiente).
4. Intervención Consciente de Conflictos: Un mecanismo de puerta selectivo que suprime solo la ruta textual en cabezas en conflicto, preservando el anclaje visual.
5. Análisis Teórico: Demostración de que la masa de atención (VAR) no es un proxy suficiente para el anclaje visual relevante para la decisión debido al contenido de valor y los efectos de competencia softmax.

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks que abarcan configuraciones discriminativas (POPE, AMBER) y generativas (CHAIR, MMHal-Bench, MME) en tres modelos (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• Reducción de Alucinaciones: CRG redujo consistentemente los errores relacionados con alucinaciones. En el benchmark POPE, mejoró la precisión en un 6.3% a 7.0% sobre la decodificación regular y superó a bases fuertes como VCD, OPERA y VTI.
• Rendimiento Generativo: En CHAIR, CRG logró las tasas de alucinación más bajas (CS/CI) manteniendo una alta recuperación y solo un aumento modesto en la longitud de generación.
• Capacidad Multimodal: En MME, el método mejoró el rendimiento en categorías sensibles al anclaje (Existencia, Conteo, Posición, Color) y tareas de razonamiento de nivel superior, indicando que la reducción de alucinaciones no se produjo a costa del rendimiento multimodal general.
• Eficiencia: CRG incurrió en una sobrecarga de latencia de 2.27x (aprox. 139ms/paso) en comparación con la decodificación regular, lo cual es comparable a la Decodificación Contrastiva Visual (VCD) y significativamente más rápido que OPERA (7.12x). Crucialmente, no introdujo sobrecarga adicional de memoria pico en GPU (1.00x).

5. Significado y Afirmaciones

El artículo afirma que la alucinación en LVLMs es a menudo el resultado de una competencia de rutas desajustada donde los priores lingüísticos anulan la evidencia visual. Al exponer e intervenir en estas rutas internas, CRG ofrece una solución dirigida que:

• Restaura el Anclaje Visual: Permite que el modelo se base en la evidencia visual incluso cuando los priores lingüísticos sugieren una respuesta diferente.
• Evita la Supresión Indiscriminada: A diferencia de los métodos que reescalan cabezas enteras, CRG suprime selectivamente solo la ruta textual en cabezas en conflicto, preservando la vía visual.
• Proporciona Interpretabilidad: El uso de efectos causales y VRI ofrece un diagnóstico más claro de por qué un modelo alucina (es decir, cabezas específicas donde los priores textuales dominan la evidencia visual) en comparación con los proxies de masa de atención.

6. Limitaciones

Los autores señalan explícitamente varias limitaciones:

• Alcance: CRG apunta a alucinaciones mediadas por conflictos. No puede corregir errores donde ambas rutas visual y textual comparten el mismo sesgo (por ejemplo, un "plátano rosa" donde el propio codificador visual está sesgado) o errores dominados por fallos de percepción/OCR.
• Evidencia Débil: En casos de evidencia visual ambigua, el método puede volverse excesivamente conservador, suprimiendo priores lingüísticos útiles que podrían ayudar a adivinar.
• Requisito de Caja Blanca: El método requiere acceso a activaciones internas y gradientes, lo que lo hace inadecuado para APIs de código cerrado sin modificación.
• Sobrecarga: Aunque modesta, el cálculo de gradientes por token añade latencia, lo cual puede ser significativo para la generación de textos muy largos.