Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

Resumen Técnico: Residual Decoding (ResDec)

1. El Problema: Alucinaciones en Modelos de Lenguaje y Visión Grandes (LVLMs)

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han demostrado un rendimiento excepcional en tareas multimodales, pero sufren de un problema crítico: las alucinaciones. Estas se definen como contenido generado que es gramaticalmente coherente pero carece de correspondencia o relevancia directa con la entrada visual.

El artículo identifica que la causa principal de estas alucinaciones son los priors de lenguaje (sesgos estadísticos adquiridos durante el pre-entrenamiento). Durante la generación autoregresiva, el modelo tiende a priorizar patrones lingüísticos y plantillas de diálogo sobre la evidencia visual. A medida que se generan tokens de guía (ej. "La respuesta es..."), la información visual se desvanece y los logits (puntuaciones de probabilidad) de los tokens alucinados pueden superar a los de los tokens verdaderos, llevando al modelo a elegir una respuesta incorrecta basada en la probabilidad lingüística en lugar de la visual.

2. Metodología: Residual Decoding (ResDec)

Los autores proponen ResDec, una estrategia de decodificación sin entrenamiento (training-free), plug-and-play, que utiliza información histórica para corregir los sesgos de los priores de lenguaje.

Mecanismo Central:
El método se basa en la observación de que la señal de la respuesta correcta ya está implícitamente contenida en la distribución de logits de los tokens anteriores antes de que el modelo decodifique explícitamente la respuesta final.

Pasos del Algoritmo:

1. Análisis de la Evolución Temporal (JSD):

   • Los autores analizan la evolución de las distribuciones de probabilidad de los tokens candidatos a lo largo del tiempo utilizando la Divergencia de Jensen-Shannon (JSD).
   • Observan un patrón en forma de "U" en la JSD a medida que avanza el contexto:
     • Fase 1 (PSAP): Pre-Claridad Semántica. La distribución es caótica y fluctuante.
     • Fase 2 (SAP): Anclaje Semántico. La JSD alcanza un mínimo (cerca de 0), indicando que la distribución de tokens se ha estabilizado y el modelo ha "anclado" la semántica correcta.
     • Fase 3 (EDP): Divergencia Expresiva. La JSD aumenta nuevamente a medida que el modelo busca variaciones lingüísticas, volviéndose susceptible a los priores de lenguaje.

2. Ventana de Agregación Histórica:

   • ResDec selecciona los logits de la Fase de Anclaje Semántico (SAP) y la Fase de Divergencia Expresiva (EDP), evitando la fase inicial inestable (PSAP).
   • Se define una ventana histórica $\Delta_t$ que agrupa estos pasos temporales estables.

3. Agregación Ponderada por Confianza:

   • En lugar de promediar simplemente, el método calcula una métrica de confianza ($C_i$) para cada paso histórico basada en la entropía de la distribución de tokens en ese momento.
   • Se calcula una señal residual ($\text{logit}^{res}$) agregando los logits históricos ponderados por su confianza. Esto crea un "flujo residual" que representa la semántica estable y visualmente fundamentada.

4. Fusión y Decodificación:

   • La señal residual se fusiona con los logits actuales del modelo mediante un parámetro de peso $\alpha$:
     $$\text{Logits}_{final} = (1-\alpha) \cdot \text{Logits}_{actual} + \alpha \cdot \text{Logits}_{residual}$$
   • Se aplica una truncación adaptativa ($\beta$) para filtrar tokens poco probables fuera del conjunto de vocabulario principal ($V_{head}$).

3. Contribuciones Clave

• Descubrimiento del Mecanismo de Alucinación: Demostraron que las alucinaciones ocurren cuando los tokens alucinados emergen en la distribución de logits durante la decodificación y superan a los tokens genuinos debido a la inestabilidad de los priores de lenguaje en ciertos momentos.
• Estrategia ResDec: Propusieron un método de decodificación eficiente que no requiere reentrenamiento, ni encoders externos, ni modelos contrastivos adicionales.
• Análisis de Estabilidad Semántica: Introdujeron el uso de la Divergencia de Jensen-Shannon para identificar dinámicamente las fases de "anclaje semántico" donde la información visual es más fiable.
• Bajo Costo Computacional: ResDec requiere un solo paso de inferencia (forward pass) y utiliza logits generados naturalmente, incurriendo en una sobrecarga de latencia y memoria casi nula (solo un 0.02x más lento que la decodificación greedy estándar).

4. Resultados Experimentales

Los autores evaluaron ResDec en tres LVLMs modernos (LLaVA-1.5, InstructBLIP, Qwen2.5-VL) y once benchmarks diversos.

• Reducción de Alucinaciones:

  • En el benchmark POPE (evaluación de objetos), ResDec superó consistentemente a la decodificación regular y a métodos SOTA (como VCD, OPERA, DoLa), logrando mejoras promedio del 7.84% en precisión y 8.01% en F1.
  • En CHAIR (alucinaciones en descripciones de imágenes), redujo significativamente la tasa de alucinaciones de objetos (CHAIRS) y de instancias (CHAIRI).
  • En HallusionBench, demostró una mayor robustez contra preguntas engañosas visuales y semánticas.

• Rendimiento General:

  • ResDec mejoró el rendimiento en benchmarks integrales como MME, MMBench, MMVP y ScienceQA, indicando que la mitigación de alucinaciones no sacrifica la capacidad de razonamiento multimodal.
  • Por ejemplo, en MMVP, ResDec superó a la decodificación regular en un 11.65% en Qwen2.5-VL.

• Eficiencia:

  • Comparado con otros métodos de mitigación, ResDec tiene la menor latencia y el menor costo de memoria, siendo casi tan rápido como la decodificación greedy estándar.

5. Significado e Impacto

Este trabajo es significativo porque aborda el problema de las alucinaciones en LVLMs desde una perspectiva de decodificación en lugar de requerir costosos ajustes de modelo o reentrenamiento.

• Generalización: Al ser un método sin entrenamiento, es aplicable a cualquier LVLM existente sin necesidad de datos adicionales.
• Eficiencia: Resuelve el dilema entre la mitigación de alucinaciones y el costo computacional, ofreciendo una solución práctica para la implementación en producción.
• Interpretabilidad: Proporciona una comprensión más profunda de cómo evolucionan las señales visuales y lingüísticas dentro del modelo durante la generación, revelando que la "verdad" visual a menudo está latente en los logits históricos antes de ser corrompida por los priores de lenguaje.

En conclusión, ResDec establece un nuevo estado del arte (SOTA) en la mitigación de alucinaciones, logrando un equilibrio óptimo entre precisión, generalización y eficiencia computacional.