VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

1. El Problema: Alucinaciones en Modelos de Lenguaje Visuales (VLMs) Médicos

Los Modelos de Lenguaje Visuales (VLMs) aplicados a la medicina (como LLaVA-Med, CheXagent y MedGemma) han demostrado capacidades notables en tareas como la respuesta a preguntas visuales (VQA) y la generación de informes radiológicos. Sin embargo, sufren de un problema crítico: alucinaciones.

• Causa: Los modelos tienden a generar respuestas basadas en priors lingüísticos (patrones estadísticos aprendidos durante el entrenamiento) en lugar de depender de la evidencia visual real.
• Consecuencia: En escenarios clínicos de alto riesgo, esto puede llevar a diagnósticos erróneos o decisiones clínicas inapropiadas.
• Fallo de métodos existentes: Estrategias de decodificación diseñadas para VLMs de propósito general (como Visual Contrastive Decoding - VCD, DoLA y OPERA) a menudo fallan en el dominio médico. En algunos casos, degradan el rendimiento en más del 6% debido a la naturaleza única de las preguntas médicas: respuestas más cortas, vocabulario especializado y la necesidad crítica de precisión anatómica, donde una corrección agresiva puede ser perjudicial.

2. Metodología: VGS-Decoding

Los autores proponen VGS-Decoding, un método libre de entrenamiento (training-free) diseñado específicamente para mitigar alucinaciones durante la inferencia.

Insight Clave

La premisa fundamental es observar el comportamiento de los tokens bajo degradación visual:

• Tokens con anclaje visual (Grounded): Su probabilidad disminuye cuando la información visual se degrada (ruido), ya que dependen de la evidencia de la imagen.
• Tokens alucinados: Su probabilidad se mantiene o aumenta cuando la imagen se degrada, ya que su generación se basa en priors lingüísticos y no en el contenido visual.

Componentes del Método

1. Generación de Imagen Distorsionada: Se crea una versión distorsionada de la imagen de entrada ($V'$) añadiendo ruido Gaussiano y de Poisson.
2. Cálculo del Visual Grounding Score (VGS):
   • Se ejecuta el modelo dos veces: una con la imagen original ($V$) y otra con la distorsionada ($V'$).
   • Se obtienen las distribuciones de probabilidad de los tokens para ambas imágenes: $P_{orig}$ y $P_{dist}$.
   • Se calcula el VGS para cada token $t$ como la diferencia normalizada:
     $$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$$
   • Interpretación del VGS:
     • Positivo (+): Token visualmente anclado (probabilidad baja con ruido).
     • Negativo (-): Token potencialmente alucinado (probabilidad estable o alta con ruido).
     • Cerca de cero: Token independiente de la imagen (palabras funcionales).
3. Reponderación Adaptativa (Reweighting):
   • Se ajustan las probabilidades originales multiplicándolas por un factor basado en el VGS:
     $$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$$
   • Donde $\alpha$ controla la fuerza de la corrección y $\delta$ evita probabilidades cero.
   • Esto amplifica los tokens con VGS positivo y suprime los negativos, sin alterar significativamente los tokens neutros.

3. Contribuciones Clave

• Identificación de fallos en métodos generales: Demostraron que las técnicas de mitigación de alucinaciones estándar (VCD, DoLA, OPERA) a menudo empeoran el rendimiento en benchmarks médicos.
• Nueva Métrica (VGS): Introducción de una métrica cuantitativa, acotada en $[-1, +1]$ y interpretable, que mide la dependencia visual a nivel de token.
• Método Eficiente y Sin Entrenamiento: VGS-Decoding no requiere reentrenamiento del modelo y solo añade una sobrecarga de inferencia de 2x (dos pasadas forward), siendo mucho más eficiente que métodos que requieren búsqueda por haz (beam search) compleja.
• Control Adaptativo por Token: A diferencia de métodos de resta con pesos fijos, VGS ajusta la corrección dinámicamente para cada token según su grado de anclaje visual.

4. Resultados Experimentales

El método fue evaluado en dos benchmarks médicos (VQA-RAD y MIMIC-Diff-VQA) y tres modelos diversos (LLaVA-Med, CheXagent, MedGemma).

• Rendimiento Consistente: VGS-Decoding es el único método que mejoró consistentemente el rendimiento en todos los modelos y conjuntos de datos probados.
• Mejoras Significativas:
  • Logró una mejora global de hasta +9.12% en MedGemma en MIMIC-Diff-VQA.
  • Mejoró la recuperación en preguntas abiertas en +8.98%.
  • En VQA-RAD, superó a los baselines en todas las combinaciones de modelo-dataset.
• Comparación con Baselines: Mientras que VCD y OPERA mostraron caídas de rendimiento de hasta -5.93% y -5.25% respectivamente en ciertos escenarios, VGS-Decoding evitó estas degradaciones.
• Estudios de Ablación: Se confirmó que tanto la métrica VGS como la reponderación multiplicativa son necesarias; usar solo la métrica o solo la reponderación fija (estilo VCD) no es suficiente.

5. Significado e Impacto

• Viabilidad Clínica: Al ser un método libre de entrenamiento y con una sobrecarga computacional manejable (2x), es práctico para su despliegue en entornos clínicos reales donde la precisión es vital.
• Seguridad: Reduce el riesgo de "sesgo de automatización" y diagnósticos erróneos causados por alucinaciones, aumentando la confianza en la IA médica.
• Generalización: Demuestra que las soluciones para VLMs deben adaptarse al dominio específico (medicina) en lugar de aplicar técnicas genéricas, estableciendo un nuevo estándar para la mitigación de alucinaciones en este campo.

En resumen, el artículo presenta una solución elegante y efectiva que utiliza la sensibilidad a la degradación visual como un mecanismo de control para distinguir entre conocimiento visual real y alucinaciones lingüísticas, mejorando significativamente la fiabilidad de los VLMs médicos.