VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

Probleemstelling

Medische Vision-Language Models (VLM's) zijn krachtige tools voor klinische toepassingen, zoals het beantwoorden van visuele vragen (VQA) en het genereren van radiologieverslagen. Een kritiek probleem is echter dat deze modellen vaak hallucineren: ze genereren klinisch plausible maar feitelijk onjuiste antwoorden die niet worden ondersteund door het visuele bewijsmateriaal. In plaats daarvan vertrouwen ze te veel op taalkundige priors (statistische patronen geleerd tijdens training).

In medische scenario's, waar precisie in anatomische locaties en pathologische bevindingen cruciaal is, kunnen deze hallucinaties leiden tot misdiagnoses en gevaarlijke klinische beslissingen. Bestaande methoden voor hallucinatiemitigatie (zoals Visual Contrastive Decoding - VCD, DoLA, en OPERA), die succesvol zijn in algemene domeinen, blijken vaak falen in medische VQA. Ze kunnen de prestaties zelfs met meer dan 6% verslechteren, omdat medische antwoorden vaak korter zijn, een gespecialiseerde vocabulaire hebben en agressieve correcties schadelijk kunnen zijn.

Methodologie: VGS-Decoding

De auteurs stellen VGS-Decoding (Visual Grounding Score Guided Decoding) voor, een trainingsvrije methode die hallucinaties tijdens de inferentie (decoding) mitigeert. De kern van de methode rust op een fundamenteel inzicht:

1. Gedrag van tokens:

   • Visueel verankerde tokens (die echt gebaseerd zijn op het beeld): Hun waarschijnlijkheid daalt wanneer de visuele informatie wordt verstoord.
   • Hallucinerende tokens (die gebaseerd zijn op taalkundige priors): Hun waarschijnlijkheid blijft gelijk of stijgt zelfs wanneer het beeld wordt verstoord, omdat ze niet afhankelijk zijn van visuele input.

2. Het Visual Grounding Score (VGS) concept:

   • De methode creëert een versie van de invoerafbeelding ($V'$) door ruis toe te passen (combinatie van Gaussische en Poisson-ruis).
   • Het model genereert twee kansverdelingen: één voor de originele afbeelding ($P_{orig}$) en één voor de verstoorde afbeelding ($P_{dist}$).
   • De VGS wordt berekend als de genormaliseerde verschil tussen deze twee distributies voor elk token:
     $$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$$
   • Deze score ligt tussen -1 en +1:
     • Positieve VGS: Het token is visueel verankerd (kans daalt bij verstoring).
     • Negatieve VGS: Het token is waarschijnlijk een hallucinatie (kans blijft stabiel of stijgt).
     • Nabij nul: Het token is visueel onafhankelijk (bijv. functiewoorden).

3. Adaptieve Herweging (Reweighting):

   • In plaats van een vaste aftrek (zoals bij VCD), past VGS-Decoding een multiplicatieve herweging toe op de oorspronkelijke kansen:
     $$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$$
   • Hierbij is $\alpha$ de sterkte van de correctie en $\delta$ een kleine constante om nul-kansen te voorkomen.
   • Tokens met een hoge positieve VGS worden versterkt, tokens met een negatieve VGS worden onderdrukt, en neutrale tokens blijven grotendeels ongewijzigd. Dit biedt per-token adaptieve controle.

Belangrijkste Bijdragen

1. Identificatie van falen: De auteurs tonen aan dat bestaande hallucinatiemitigatiemethoden (VCD, DoLA, OPERA) vaak slecht presteren op medische VQA-datasets en de prestaties kunnen verslechteren.
2. Nieuwe Metriek (VGS): Introductie van de Visual Grounding Score, een interpreteerbare, genormaliseerde metriek die de visuele afhankelijkheid van elk token kwantificeert.
3. Trainingsvrije Oplossing: VGS-Decoding vereist geen extra training of fine-tuning, wat het direct toepasbaar maakt voor bestaande modellen.
4. Per-token Adaptiviteit: In tegenstelling tot vaste contrastieve methoden, biedt VGS-Decoding dynamische, per-token correctie die de coherentie van de taal behoudt terwijl hallucinaties worden onderdrukt.

Resultaten

De methode werd geëvalueerd op twee medische VQA-benchmarks (VQA-RAD en MIMIC-Diff-VQA) met drie verschillende medische VLM's (LLaVA-Med, CheXagent, en MedGemma).

• Consistente Verbetering: VGS-Decoding is de enige methode die consistent prestatieverbeteringen oplevert voor alle geteste modellen en datasets.
• Prestatieverbetering:
  • Tot +9,12% verbetering in de algehele nauwkeurigheid (op MedGemma).
  • Tot +8,98% verbetering in recall voor open-ended vragen.
  • Op VQA-RAD behaalde VGS-Decoding de beste resultaten in 6 van de 6 model-dataset combinaties.
• Vergelijking met Baselines: Bestaande methoden zoals VCD en OPERA leidden vaak tot prestatiedalingen (tot -5,93%), terwijl VGS-Decoding zelfs de prestaties van goed gekalibreerde modellen (zoals CheXagent) behield of licht verbeterde.
• Efficiëntie: De methode introduceert slechts een 2x overhead in inferentietijd (twee forward passes per stap), wat aanzienlijk lager is dan beam-search gebaseerde methoden zoals OPERA. Er is geen extra trainingstijd nodig.

Significantie

VGS-Decoding biedt een praktische en effectieve oplossing voor een van de grootste obstakels bij de klinische implementatie van VLM's: hallucinaties. Door gebruik te maken van het fundamentele verschil in gedrag tussen visueel gebaseerde en taalkundig gebaseerde tokens, biedt de methode een robuuste, domeinspecifieke aanpak die niet afhankelijk is van kostbare hertraining. De lage rekenkosten en de compatibiliteit met diverse modelarchitecturen maken het een sterke kandidaat voor directe integratie in klinische workflows om de veiligheid en betrouwbaarheid van AI-gestuurde diagnosehulpmiddelen te vergroten.