Resumen Técnico: Replanteando la CD: Un estudio de reproducibilidad y extensión sobre la ineficacia del Decodificado Contrastivo para mitigar las alucinaciones de objetos en MLLM

1. Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) sufren de alucinaciones de objetos, donde los modelos generan salidas fluidas y coherentes que incluyen objetos, atributos o relaciones ausentes en la entrada visual. Este modo de falla refleja un débil anclaje visual (visual grounding) y plantea riesgos significados en dominios de alto riesgo como la conducción autónoma y la atención médica.

El Decodificado Contrastivo (CD) se ha propuesto como una estrategia de inferencia sin entrenamiento para mitigar estas alucinaciones. La idea central consiste en contrastar la distribución de salida de un modelo "experto" (condicionado a la entrada original) frente a un modelo "aficionado" más débil y propenso a las alucinaciones (condicionado a una entrada perturbada, como una imagen con ruido o una instrucción alterada). Los tokens favorecidos por el modelo aficionado son penalizados, lo que teóricamente suprime las alucinaciones. Aunque variantes de CD como el Decodificado Contrastivo Visual (VCD), el Decodificado de Instrucción Contrastiva (ICD) y el Decodificado de Auto-Introspección (SID) han reportado mejoras de rendimiento en benchmarks como POPE, trabajos recientes de Yin et al. (2026) cuestionaron si estas ganancias reflejan mejoras genuinas en el anclaje visual o si son meros artefactos de las restricciones de decodificación.

2. Metodología

Este estudio realiza una reproducibilidad y extensión rigurosa del análisis de Yin et al. (2026). Los autores evalúan modelos más nuevos (LLaVA-v1.5-7B/13B y Qwen2.5-VL-7B) a través de benchmarks discriminativos (POPE, MME) y generativos (CHAIR, NoCaps, LLaVA-Bench).

La metodología se estructura en torno a dos afirmaciones principales y varios experimentos de investigación novedosos:

A. Reproducción de las afirmaciones centrales

1. Sesgo Unidireccional: El estudio pone a prueba si las ganancias de CD surgen de un cambio unidireccional en la distribución de salida hacia respuestas "Sí", en lugar de una mejora en el reconocimiento de objetos.
2. Restricción de Plausibilidad Adaptativa (APC): El estudio verifica si la APC, un componente de CD que restringe la generación a tokens que probablemente están bajo la distribución del experto, degrada efectivamente el muestreo de CD hacia una aproximación de la búsqueda codiciosa (greedy search).

B. Experimentos de investigación extendidos

Para descomponer la naturaleza del rendimiento de CD, los autores introducen varios análisis novedosos:

• Análisis de Volteo (Flip Analysis): Descomposición de los cambios "No $\rightarrow$ Sí" en Verdaderos Positivos (correcciones genuinas) y Falsos Positivos (alucinaciones inyectadas) para calcular la precisión de volteo y la recuperación de TP (True Positives).
• Prueba de Estrés de Desequilibrio de Etiquetas: Evaluación de CD en subconjuntos de POPE con proporciones de etiquetas sesgadas (25/75 y 75/25 Sí/No) para determinar si las ganancias persisten cuando la métrica (Precisión Balanceada) es inmune a los cambios de umbral.
• Análisis de Similitud de Jaccard: Medición del solapamiento léxico entre el muestreo aumentado por APC y la decodificación codiciosa a través de varios umbrales de $\beta$ de APC para cuantificar el cambio hacia el comportamiento codicioso.

2. Análisis de Logits por Token: Análisis del ajuste contrastivo $d = E - A$ (logits del Experto menos el Aficionado) para determinar si el mecanismo suprime selectivamente los tokens alucinados o si los amplifica.

• Proxy de Ruido Gaussiano: Reemplazo de la rama del aficionado con ruido gaussiano para probar si la estructura específica del modelo aficionado es necesaria para los efectos de CD.
• Análisis de Lente de Capas (Layer-wise Logit-Lens): Uso de sondas lineales en las capas del transformador para determinar si el cambio de CD es selectivo (apuntando a las alucinaciones) o una traslación uniforme del margen de decisión.

3. Resultados Clave

Reproducción de las afirmaciones

• Sesgo Unidireccional Confirmado (con matices): Para VCD y SID, el estudio confirma un cambio unidireccional hacia salidas "Sí", particularmente en subconjuntos adversarios. Sin embargo, ICD exhibe una reversión, desplazándose hacia el "No" mientras permanece neutral en precisión, lo que sugiere que la dirección del cambio depende de la modalidad de la perturbación, no del paradigma CD en sí.
• La APC Degrada a Codicioso: El estudio confirma que la APC colapsa el muestreo en una decodificación de tipo codicioso. A medida que el umbral $\beta$ aumenta, la similitud de Jaccard entre las salidas aumentadas por APC y la búsqueda codiciosa aumenta significativamente, mientras que la similitud con el muestreo directo permanece plana. Con el $\beta=0.1$ por defecto utilizado por VCD, la salida ya está dominada por el sesgo codicioso.

Hallazgos Extendidos

• Ganancias Espurias vs. Corrección Genuina:
  • Precisión de Volteo: Los controles no visuales (Ajuste Basado en Prompts y Modificación de la Capa de Salida) logran una precisión de volteo comparable o superior a la de VCD y SID.
  • Recuperación de TP: Los controles no visuales corrigen una mayor proporción de errores de falsos negativos que los métodos CD.
  • Inyección de Alucinaciones: Los métodos CD introducen nuevas alucinaciones a tasas comparables a los controles no visuales.
• Sensibilidad al Desequilibrio de Etiquetas: Cuando se evalúan en conjuntos de datos sesgados (25/75 o 75/25), los métodos CD no logran mejorar la Precisión Balanceada. De hecho, su rendimiento a menudo se degrada respecto al baseline, indicando que sus ganancias en el POPE estándar se deben al desplazamiento del umbral de decisión para coincidir con el equilibrio de clases del conjunto de datos, en lugar de mejorar el anclaje visual.
• Ineficacia Mecanística:
  • Análisis de Logits: El ajuste contrastivo $d$ no suprime selectivamente los tokens alucinados. En LLaVA, amplifica tanto los tokens reales como los alucinados. En Qwen, penaliza los objetos reales más que las alucinaciones.
  • Validación de Proxy: Un proxy de ruido gaussiano (descartando la rama del aficionado por completo) produce un rendimiento en CHAIR estadísticamente indistinguible de los métodos CD reales, sugiriendo que la rama del aficionado no aporta ningún beneficio único.
  • Selectividad por Capas: Aunque la presencia de objetos es linealmente decodificable desde capas intermedias (Capa 8), el cambio de CD es no selectivo en todas las profundidades. Refuerza el "Sí" falso para la gran mayoría de las alucinaciones. Un simple sesgo escalar añadido al margen de decisión reproduce todo el incremento de POPE de CD, confirmando que el efecto es un cambio de umbral, no una corrección mecanística.

4. Contribuciones

El artículo realiza las siguientes contribuciones específicas:

1. Reproducción: Valida las afirmaciones centrales de Yin et al. (2026) en una suite de modelos más nueva (LLaVA-v1.5, Qwen2.5-VL) y en múltiples conjuntos de datos.
2. Descomposición de Ganancias: Proporciona evidencia granular (precisión de volteo, recuperación de TP, precisión balanceada) de que las mejoras reportadas de CD son artefactos espurios del desplazamiento de la distribución de salida en lugar de una mitigación genuina de alucinaciones.
3. Disección Mecanística: A través de análisis a nivel de logits y de capas, demuestra que CD no logra suprimir selectivamente las alucinaciones y, en su lugar, aplica una traslación uniforme al límite de decisión.
4. Baselines Novedosos: Introduce y valida un proxy de ruido gaussiano y somete a pruebas de estrés a CD bajo desequilibrios extremos de etiquetas, ofreciendo nuevas herramientas para auditar intervenciones en tiempo de inferencia.

5. Significado y Afirmaciones

El artículo concluye que las estrategias actuales de decodificado contrastivo no deben considerarse como una mitigación efectiva de alucinaciones.

• El "Espejismo" del Rendimiento: Se demuestra que las aparentes ganancias en benchmarks como POPE son "espurias", derivadas de un desplazamiento de la distribución de salida del modelo para coincidir mejor con el equilibrio de clases del conjunto de datos o de la colapso de la muestra por la APC hacia la búsqueda codiciosa.
• Falta de Anclaje Visual: El estudio demuestra que CD no mejora la capacidad del modelo para distinguir entre objetos presentes y ausentes. En algunos casos (ej. Qwen), penaliza activamente los objetos correctos mientras preserva las alucinaciones.
• Llamado al Rigor: Los autores argumentan que el campo debe ir más allá de las métricas de precisión agregada que son sensibles a los cambios de umbral. Proponen que las futuras intervenciones sin entrenamiento deben ser auditadas para la selectividad (¿apunta específicamente a las alucinaciones?) y la validez mecanística (¿corrige el proceso de generación subyacente?) en lugar de solo en las puntuaciones de los benchmarks.

El trabajo desafía a la comunidad a desarrollar enfoques más fiables para mitigar las alucinaciones, enfatizando que los actuales arreglos "sin entrenamiento" podrían ser simplemente un ajuste del límite de decisión en lugar de resolver el problema del anclaje.