Resumen Técnico: Los MLLM lo aciertan, luego lo yerran: Rastrear y corregir el sesgo textual de las capas tardías

1. Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) exhiben un sesgo constante hacia la información textual cuando esta contradice la evidencia visual. Incluso cuando una imagen proporciona una prueba clara de un hecho (por ejemplo, un coche rojo), los MLLM suelen emitir la respuesta sugerida por el texto en conflicto (por ejemplo, "coche azul"). Este "reemplazo textual" (textual override) plantea riesgos significativos para aplicaciones críticas de seguridad, como el diagnóstico médico o la conducción autónoma, donde confiar en un texto erróneo por encima de la percepción visual puede conducir a errores graves.

Trabajos previos han documentado este fenómeno, pero no han aclarado el mecanismo subyacente. No está claro si el fallo proviene de una codificación visual inicial deficiente, de la pérdida de información durante la fusión transmodal, o del procesamiento correcto de los datos visuales seguido de su posterior sobrescritura por prioris textuales en las capas más profundas.

2. Metodología y Análisis

2.1 Rastreo por capas y Ratio de Dominancia Modal (MDR)

Para investigar el mecanismo de fallo, los autores rastrean las trayectorias de predicción a través de las capas del modelo. Proyectan los estados ocultos en cada capa $l$ a probabilidades de salida utilizando la cabezal del modelo de lenguaje. Introducen el Ratio de Dominancia Modal (MDR) para cuantificar la preferencia por la respuesta visual ($w_{vis}$) frente a la textual ($w_{text}$) en cada capa:
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• MDR Positivo: Preferencia por la respuesta visual.
• MDR Negativo: Preferencia por la respuesta textual.

2.2 El fenómeno del "Reemplazo Textual de Capa Tardía"

El análisis de las muestras de Conflicto-Incorrectas (donde el modelo falla) revela un patrón sorprendente:

1. Corrección Inicial: En las capas intermedias, el modelo asigna una mayor probabilidad a la respuesta visual correcta (MDR Positivo).
2. El Reemplazo: En las capas posteriores, el MDR cambia a negativo y el modelo desplaza su preferencia hacia la respuesta textual incorrecta.
3. Conclusión: La información visual se codifica con éxito, pero no logra sobrevivir al paso hacia adelante (forward pass) completo debido al procesamiento en las capas tardías.

2.3 Firma Direccional de la Corrección

Los autores observan que los cambios en la predicción ocurren tanto en casos exitosos como fallidos. Sin embargo, la dirección del cambio los distingue:

• Fallos (Conflicto-Incorrecto): El 85% de las transiciones se desplazan hacia el texto ($\Delta \text{MDR} < 0$).
• Éxitos (Conflicto-Correcto y No-Conflicto): El 89–91% de las transiciones se desplazan hacia la visión o permanecen estables ($\Delta \text{MDR} > 0$).

Esta asimetría direccional sugiere que las capas tardías a veces refinan las predicciones (beneficioso), pero otras veces suprimen la evidencia visual (perjudicial).

2.4 Decodificación de Referencia con Conciencia de Conflicto (CALRD)

Basándose en estos hallazgos, los autores proponen CALRD, un método de intervención en tiempo de inferencia que no requiere entrenamiento. No requiere conocimiento externo ni reentrenamiento.

Mecanismo de Detección:
CALRD identifica "reemplazos perjudiciales" utilizando dos señales derivadas de la capa de transición ($L_{trans}$), definida como la capa con el cambio de distribución más pronunciado (detectado mediante la Divergencia de Jensen-Shannon):

1. Confianza de Anclaje ($D_{conf}$): La probabilidad de la predicción superior en la capa de transición. Una confianza alta indica una preferencia intermedia fuerte.
2. Retención de la Predicción ($\rho$): La relación entre la probabilidad de la capa final y la de la capa de transición para el mismo token. Una retención baja indica que la predicción fue suprimida.

Lógica de Intervención:
Se calcula una fuerza de corrección $\lambda$:
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• Si existe una predicción con confianza ($D_{conf}$ alta) pero es suprimida ($\rho$ baja), $\lambda$ se vuelve grande.
• Si la predicción es estable o incierta, $\lambda$ permanece cerca de cero.

Estrategia de Decodificación:
Los logits de salida finales se ajustan mezclando los logits de la capa de transición con los de la capa final:
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
Esto restaura la respuesta fundamentada en la visión que estaba presente en las capas intermedias pero que fue sobrescrita en la salida final.

3. Contribuciones Clave

1. Descubrimiento Mecanicista: El artículo identifica el "reemplazo textual de capa tardía" como la causa principal de los fallos de conflicto visual-textual, demostrando que los modelos a menudo "aciertan" inicialmente antes de cambiar de opinión.
2. Predictor Direccional: Los autores muestran que la dirección de los cambios de predicción (hacia el texto vs. hacia la visión) es un predictor fiable de la corrección, distinguiendo los reemplazos perjudiciales de los refinamientos beneficiosos.
3. Método CALRD: Una estrategia de decodificación sin entrenamiento que recupera selectivamente las predicciones reemplazadas utilizando señales internas del modelo, preservando el rendimiento estándar mientras corrige los conflictos.
4. Benchmark de VQA con Conciencia de Conflicto: La construcción de un nuevo benchmark de diagnóstico (5,969 muestras) con anotaciones visuales-textuales explícitas para facilitar el análisis mecanicista del conflicto.

4. Resultados Experimentales

Los autores evaluaron CALRD en cinco MLLM (InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL) a través de diversas arquitecturas.

• Benchmarks de Conflicto: CALRD logró una mejora absoluta de hasta un 9.4% en tareas de conflicto (ej. PhD-icc y Conflict-VQA).
  • En PhD-icc, LLaVA-1.5 mejoró de 27.72% a 36.35% (+8.63%).
  • Las mejoras fueron generalmente mayores en modelos más débiles, ya que los modelos más fuertes ya resuelven más conflictos correctamente en sus capas tardías.
• Benchmarks Estándar (No-Conflicto): CALRD preservó o mejoró ligeramente el rendimiento en benchmarks de alucinación estándar (POPE y CHAIR, demostrando que el método no degrada indiscriminadamente el rendimiento en tareas sin conflicto.
• Comparación: CALRD superó a los métodos existentes basados en capas como DoLa y DeCo, que suelen aplicar correcciones uniformes y pueden degradar el rendimiento cuando el procesamiento de la capa tardía es en realidad beneficioso.
• Eficiencia: CALRD añade una sobrecarga mínima (~1.5ms/token y 80MB de memoria) en comparación con la decodificación vanilla, lo que lo hace práctico para el despliegue.

5. Significado y Reivindicaciones

El artículo reclama un cambio de perspectiva para mejorar la fiabilidad de los MLLM: en lugar de centrarse únicamente en enseñar a los modelos a "ver mejor" (mejor codificación visual), la fiabilidad puede mejorarse ayudando a los modelos a retener lo que ya han visto.

Los autores enfatizan que su método es modesto en su alcance:

• Aborda un modo de fallo específico (reemplazo de capa tardía) en lugar de todas las alucinaciones.
• Se basa en las propias representaciones internas del modelo, sin requerir bases de conocimiento externas ni datos de entrenamiento adicionales.
• La intervención es adaptativa; solo se activa cuando se detecta la firma específica de un reemplazo perjudicial (alta confianza + baja retención), asegurando que el procesamiento beneficioso de la capa tardía no se vea interrumpido.

El trabajo sugiere que la "confianza ciega en el texto" observada en los MLLM no es necesariamente una falta de comprensión visual, sino un fallo en la preservación de la información a través de la profundidad de la red. CALRD proporciona un mecanismo para recuperar esta información perdida.