VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

1. Il Problema: Allucinazioni nei Modelli Linguistici Visivi Medici (Medical VLMs)

I modelli Vision-Language (VLM) medici, come LLaVA-Med o CheXagent, sono strumenti potenti per l'assistenza clinica (es. risposta a domande su immagini radiologiche, generazione di referti). Tuttavia, soffrono di un problema critico: le allucinazioni.

• Natura del problema: I modelli tendono a generare risposte clinicamente plausibili ma fattualmente errate, basandosi su priori linguistici (pattern statistici appresi durante l'addestramento) piuttosto che sull'evidenza visiva reale.
• Rischi: In contesti medici ad alto rischio, questo può portare a diagnosi errate e decisioni cliniche inappropriate.
• Limiti delle soluzioni attuali: Metodi esistenti per mitigare le allucinazioni in VLM generici (come Visual Contrastive Decoding - VCD, DoLA, OPERA) spesso falliscono nel dominio medico. In alcuni casi, degradano le prestazioni del modello (fino al -6%) perché le risposte mediche sono brevi, usano vocaboli specialistici e richiedono una precisione anatomica estrema, dove correzioni aggressive possono essere dannose.

2. Metodologia: VGS-Decoding

Gli autori propongono VGS-Decoding, un metodo senza addestramento (training-free) che opera durante l'inferenza per ridurre le allucinazioni.

Insight Chiave

L'osservazione fondamentale è che i token "allucinati" e quelli "visivamente radicati" (grounded) reagiscono diversamente quando l'informazione visiva viene degradata:

• Token visivamente radicati: La loro probabilità diminuisce quando l'immagine viene distorta, poiché perdono il supporto visivo necessario.
• Token allucinati: La loro probabilità rimane stabile o aumenta anche con immagini distorte, poiché sono guidati dai priori linguistici e non dal contenuto visivo.

Il Visual Grounding Score (VGS)

Per quantificare questa dipendenza visiva, viene introdotto il VGS, una metrica calcolata confrontando le distribuzioni di probabilità del modello su un'immagine originale ($V$) e su una versione distorta ($V'$).
La distorsione $V'$ viene ottenuta aggiungendo rumore Gaussiano e di Poisson all'immagine originale.

La formula del VGS per un token $t$ è:
$$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$$

• VGS > 0: Il token è visivamente fondato (la probabilità scende con il rumore).
• VGS < 0: Il token è potenzialmente un'allucinazione (la probabilità sale o resta stabile con il rumore).
• VGS $\approx$ 0: Il token è indipendente dalla visuale (es. parole funzionali).

Meccanismo di Decodifica Adattiva

A differenza dei metodi contrastivi fissi (che usano sottrazioni in log-space), VGS-Decoding utilizza un re-weighting moltiplicativo adattivo:
$$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$$
Dove:

• $\alpha$ è un parametro di forza del re-weighting.
• $\delta$ è una costante piccola per evitare probabilità nulle.

Questo approccio amplifica i token con VGS positivo (fondati visivamente) e sopprime quelli con VGS negativo (allucinazioni), mantenendo invariati i token neutri, preservando così la coerenza linguistica.

3. Contributi Chiave

1. Identificazione del fallimento dei metodi generici: Dimostrazione empirica che le tecniche di mitigazione delle allucinazioni standard (VCD, DoLA, OPERA) spesso peggiorano le prestazioni nei benchmark medici a causa delle specificità del dominio.
2. Nuova Metrica (VGS): Introduzione di un punteggio visivo normalizzato nell'intervallo $[-1, +1]$ che quantifica la dipendenza visiva a livello di singolo token.
3. Metodo Training-Free: VGS-Decoding non richiede ri-addestramento del modello, è applicabile a qualsiasi VLM medico esistente e introduce un overhead computazionale limitato (circa 2x rispetto alla decodifica greedy standard, poiché richiede due passaggi in avanti: uno sull'immagine originale e uno su quella distorta).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark medici (VQA-RAD e MIMIC-Diff-VQA) e tre modelli diversi (LLaVA-Med, CheXagent, MedGemma).

• Prestazioni Generali: VGS-Decoding è l'unico metodo che migliora costantemente tutte le combinazioni modello-dataset.
  • Miglioramento massimo: +9.12% di accuratezza complessiva su MedGemma (MIMIC-Diff-VQA).
  • Recall a risposta aperta: +8.98% di miglioramento.
• Confronto con Baseline:
  • Metodi come VCD e OPERA hanno mostrato cali di prestazioni fino al -5.93% e -5.25% rispettivamente su alcuni modelli.
  • VGS-Decoding ha mantenuto o migliorato le prestazioni anche su modelli altamente specializzati come CheXagent, dove altri metodi hanno causato degradazione.
• Ablation Study: L'analisi dimostra che sia la metrica VGS che il meccanismo di re-weighting moltiplicativo sono essenziali; l'uso di pesi fissi (stile VCD) senza VGS adattivo porta a risultati inferiori.
• Efficienza: L'overhead è di circa 2x il tempo di inferenza, molto inferiore rispetto a metodi che richiedono beam search complesso (come OPERA).

5. Significato e Impatto

Il lavoro è significativo per l'adozione clinica dei VLM perché:

• Affidabilità: Offre un modo pratico per ridurre le allucinazioni senza richiedere dati di addestramento aggiuntivi o ri-addestramento costoso.
• Specificità di Dominio: Riconosce che le soluzioni "one-size-fits-all" non funzionano in medicina e propone un approccio adattato alle esigenze di precisione anatomica e terminologica.
• Deployabilità: Essendo un metodo di inferenza pura con overhead computazionale gestibile, è pronto per essere integrato in sistemi di supporto decisionale clinico reali.

In sintesi, VGS-Decoding rappresenta un passo avanti cruciale verso VLM medici più sicuri e affidabili, trasformando la vulnerabilità alle allucinazioni in un segnale controllabile attraverso la degradazione visiva intenzionale.