Beyond Accuracy: Evaluating Visual Grounding In Multimodal Medical Reasoning

1. Probleemstelling

Recente ontwikkelingen in Large Vision Language Models (LVLMs) voor medische toepassingen, zoals MedVLThinker, maken gebruik van Reinforcement Learning met Verifieerbare Beloningen (RLVR). Hoewel deze modellen vaak een hogere nauwkeurigheid (accuracy) behalen op medische VQA-benchmarks (Visual Question Answering), is er een kritieke onzekerheid: gebruiken deze modellen daadwerkelijk visuele informatie voor hun redenering, of exploiteren ze tekstuele patronen ("shortcuts") in de trainingsdata?

Het artikel stelt dat huidige evaluatieprotocollen, die zich uitsluitend op nauwkeurigheid richten, falen in het meten van causale visuele afhankelijkheid. Een model kan een correct antwoord geven en een complexe medische visuele redenering genereren, terwijl het antwoord feitelijk onafhankelijk is van de ingevoerde afbeelding. Dit vormt een groot risico voor de klinische implementatie, waar betrouwbare visuele analyse essentieel is.

2. Methodologie

De auteurs introduceren een counterfactueel evaluatiekader om de causale rol van visuele informatie te isoleren. Ze testen drie varianten van het model Qwen2.5-VL-7B:

1. Baseline: Vooraf getraind zonder medische fine-tuning.
2. RL(text): Getraind via RLVR op tekst-only medische QA-data.
3. RL(image): Getraind via RLVR op beeld-tekst medische QA-data.

De evaluatie vindt plaats op vier benchmarks: PathVQA, PMC-VQA, SLAKE en VQA-RAD. Voor elk voorbeeld worden drie condities gegenereerd:

• Real: Originele afbeelding en vraag.
• Blank: Vraag met een uniforme grijze afbeelding (geen visuele input).
• Shuffled: Vraag met een willekeurige, niet-gerelateerde afbeelding uit dezelfde dataset.

Op basis van deze condities worden nieuwe grounding-metrics geïntroduceerd:

• Visual Reliance Score (VRS): Het verschil in nauwkeurigheid tussen real en shuffled afbeeldingen. Een negatieve score betekent dat het model beter presteert met de verkeerde afbeelding dan met de juiste (tekst-shortcut).
• Image Sensitivity (IS): De frequentie waarmee het model zijn antwoord verandert bij een gewijzigde afbeelding, ongeacht of het antwoord correct is. Een lage IS (<50%) duidt op een gebrek aan visuele afhankelijkheid.
• Hallucinated Visual Reasoning Rate (HVRR): Een nieuwe metric die gevallen detecteert waarin het model visuele claims maakt (bijv. "er is een massa zichtbaar"), maar toch een antwoord geeft dat identiek blijft ongeacht de afbeelding. Dit meet "gehallucineerde" visuele redenering.

3. Belangrijkste Bijdragen

• Grounding-gevoelige metrics: De introductie van VRS, Blank Drop (BD) en Image Sensitivity (IS) om te begrijpen hoe modellen tekst-shortcuts exploiteren.
• HVRR-metric: Een nieuwe maatstaf voor het detecteren van "hallucinaties" waarbij modellen visuele taal genereren zonder de afbeelding daadwerkelijk te gebruiken.
• Empirisch bewijs van degradatie: Het aantonen dat RLVR, ondanks het verbeteren van de nauwkeurigheid, de visuele grounding van modellen verslechtert.

4. Resultaten

De resultaten tonen een duidelijke disconnectie tussen nauwkeurigheid en visuele grounding:

• Verlies van Visuele Sensitiviteit: Het RL(image) model, getraind op beeld-tekst data, bereikt de hoogste nauwkeurigheid, maar de Image Sensitivity (IS) daalt naar 39,8% (vergeleken met 48,2% bij de baseline). Dit betekent dat bijna 60% van de antwoorden volledig onafhankelijk is van de inhoud van de afbeelding.
• Negatieve Visuele Afhankelijkheid: Op de PathVQA-benchmark behaalt het RL(text) model (geen beeldtraining) een negatieve VRS (-0,09). Het presteert beter met verkeerde afbeeldingen dan met de juiste, wat aantoont dat het model sterk afhankelijk is van tekstuele correlaties die door de juiste visuele input worden verstoord.
• VRS vs. IS Dissociatie: Op VQA-RAD bereiken beide RL-varianten dezelfde nauwkeurigheid (63%), maar via verschillende mechanismen. Het RL(text) model behoudt 81% van zijn prestatie met lege afbeeldingen (tekst-shortcuts), terwijl het RL(image) model een IS van slechts 29% heeft. Interessant genoeg verbetert de VRS voor RL(image) terwijl de IS verslechtert, wat aantoont dat VRS alleen geen betrouwbare maatstaf is voor grounding.
• Gehallucineerde Redenering: Modellen genereren visuele claims in 68-74% van de antwoorden. Echter, in 38-43% van deze gevallen is de redenering "onground" (HVRR). Het RL(image) model toont de hoogste kans op gehallucineerde redenering (60,9%): wanneer het visuele taal gebruikt, is het antwoord vaak nog steeds onafhankelijk van de feitelijke afbeelding.

5. Betekenis en Conclusie

De studie concludeert dat RLVR-objectives die alleen gericht zijn op nauwkeurigheid, leiden tot "shortcut exploitation". Modellen leren de taal van medische visuele redenering te imiteren zonder de visuele input daadwerkelijk te analyseren. Dit wordt aangeduid als modality-specific reasoning collapse.

De implicaties zijn ernstig voor de klinische toepassing:

1. Huidige benchmarks bevatten te veel tekstuele hints die modellen kunnen misbruiken.
2. Een hoge nauwkeurigheid garandeert niet dat een model visueel onderbouwd is.
3. Voor veilige klinische deploy is het noodzakelijk om evaluatieprotocollen te gebruiken die grounding-aware zijn (met metrics zoals IS en HVRR) en trainingsdoelen te ontwikkelen die expliciete visuele afhankelijkheid eisen, in plaats van alleen het maximaliseren van de score.

Kortom: vooruitgang in medische LVLMs vereist een verschuiving van "accuracy-only" naar "grounding-aware" evaluatie en training.