🤖 AI

Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

Dit artikel auditert vijf frontier vision-language-modellen op medische VQA en onthult dat slechte anatomische grounding en format-compliance-falen in self-grounding-pipelines het klinische vertrouwen ernstig ondermijnen, terwijl supervised fine-tuning aantoont dat VQA-prestatiekloven effectief kunnen worden aangepakt via domeinadaptatie.

Oorspronkelijke auteurs: Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van uiterst intelligente, super-slimme assistenten inhuurt om artsen te helpen bij het lezen van medische röntgenfoto's en CT-scans. Deze assistenten zijn "Vision-Language Models" (VLM's) – AI-systemen die beelden kunnen zien en erover kunnen praten. De grote vraag die dit artikel stelt is: Kunnen we deze assistenten vertrouwen om precies aan te geven waar een probleem zit (zoals een tumor) voordat ze proberen een diagnose te stellen?

De onderzoekers behandelden deze AI-assistenten als nieuwe werknemers en onderwierpen ze aan een strenge "audit" (een prestatiebeoordeling) om te zien waar ze falen. Hier is wat ze ontdekten, eenvoudig uitgelegd:

1. Het "Aanwijzen"-Probleem (Perceptie)

Stel je voor dat je een student vraagt om op een gigantische wereldkaart naar een specifieke, kleine sproet te wijzen. Zelfs de slimste studenten van de klas haalden het verkeerd.

De Bevinding: Toen de AI-modellen probeerden een kader te trekken rond specifieke lichaamsdelen (zoals een lever) of ziekten (zoals longkanker) op medische beelden, waren ze daar vreselijk slecht in.
De Analogie: Het is alsof je iemand vraagt om een specifiek zandkorreltje op een strand te vinden, en diegene trekt gewoon een enorm kader om het hele strand.
De Cijfers: Het beste model in de test slaagde er maar in om het kader ongeveer 19% van de tijd correct te trekken. Nog erger: ze verwarden vaak "links" en "rechts" (bijvoorbeeld wijzend naar de linkerlong van de patiënt terwijl het probleem aan de rechterkant zat). In de geneeskunde is het verwarren van links en rechts een gevaarlijke fout.

2. De "Twee-Stappen"-Ramp (Pipeline-instorting)

De onderzoekers testten een specifieke werkwijze: Eerst de AI vragen het probleem te vinden en een kader te trekken. Tweede, de AI vragen om alleen binnen dat kader te kijken en een diagnose te stellen.

De Bevinding: Dit twee-stappenproces maakte de AI slechter, niet beter.
De Analogie: Stel je voor dat je een chef-kok vraagt om eerst een specifiek ingrediënt in een voorraadkast te vinden, en vervolgens een maaltijd te bereiden met alleen dat ingrediënt. Als de chef het verkeerde ingrediënt pakt (of de zak laat vallen), is de maaltijd bedorven.
Wat Er Gebeurde: Omdat de AI slecht was in stap één (de plek vinden), werd stap twee (diagnose stellen) een ramp. Voor sommige modellen daalde de nauwkeurigheid tot bijna nul.
De "Formaat"-Glitch: Sommige modellen raakten zo in de war door de complexe instructies van het twee-stappenproces dat ze helemaal ophielden met correct antwoorden. Ze slaagden er niet in de regels te volgen voor het opschrijven van de coördinaten van het kader, waardoor het hele systeem crashte.

3. De "Magische Brillen"-Test (Oracle Grounding)

Om uit te vinden of de AI gewoon slecht was in denken of gewoon slecht in zien, deden de onderzoekers een speciale test. Ze gaven de AI het perfecte kader (getekend door een menselijk expert) en vroegen het om de afbeelding te diagnosticeren op basis van dat perfecte kader.

De Bevinding: Toen de AI de juiste locatie kreeg, schoot zijn diagnosevaardigheid omhoog.
De Analogie: Het is alsof je de verwarde chef het exacte juiste ingrediënt geeft. Plotseling kan hij een perfecte maaltijd bereiden.
De Conclusie: De "hersenen" (redenering) van de AI zijn eigenlijk in orde. Het probleem zit in zijn "ogen" (perceptie). Als we het deel dat de plek vindt kunnen fixen, wordt de diagnose veel beter.

4. De "Training"-Oplossing (Fine-Tuning)

Tot slot probeerden de onderzoekers de AI te fixen door haar extra huiswerk te geven. Ze namen een van de modellen en trainden het specifiek op duizenden medische vragen en antwoorden.

De Bevinding: Deze "gespecialiseerde training" maakte de AI veel beter in het beantwoorden van medische vragen. Het werd een van de besten in het geven van correcte antwoorden.
De Haken en Ogen: Hoewel de AI beter werd in antwoorden, hebben de onderzoekers niet getest of het beter werd in aanwijzen (het perceptieprobleem). We weten dus dat training helpt voor de antwoorden, maar we weten nog niet of het de gevaarlijke "links/rechts"-verwarring of het slechte kader-trekken oplost.

Samenvatting

Het artikel concludeert dat hoewel deze AI-modellen slim zijn in praten en redeneren, ze momenteel onbetrouwbaar zijn in het aanwijzen.

De Knelpunt: Je kunt de AI niet vertrouwen om de diagnose te sturen als het eerst niet nauwkeurig het probleem kan aanwijzen.
De Hoop: Als we het "aanwijzen"-gedeelte kunnen fixen (misschien door een gespecialiseerd hulpmiddel te gebruiken dat alleen plekken vindt en dat vervolgens aan de AI doorgeeft), zou het systeem zeer betrouwbaar kunnen worden.
De Realiteitscheck: Op dit moment is het in een echt ziekenhuis riskant om deze modellen te vertrouwen om het probleem te vinden en vervolgens een diagnose te stellen, omdat ze voortdurend de locatie verkeerd hebben.

1. Probleemstelling

Het inzetten van Vision-Language Models (VLM's) in klinische settings vereist meer dan alleen hoogwaardige redeneervermogens; het vraagt om nauwkeurige visuele grounding (het vermogen om anatomische structuren en pathologieën binnen een afbeelding te lokaliseren). Hoewel frontier VLM's uitblinken in redeneren, is hun prestatie op gespecialiseerde medische input slecht gekarakteriseerd wat betreft:

Perceptie: Kan het model specifieke gebieden (bijv. een tumor of orgaan) nauwkeurig lokaliseren in een complexe medische afbeelding?
Pijplijn-integratie: Leidt een "self-grounding"-pijplijn (waarbij het model eerst een gebied lokaliseert en vervolgens een vraag beantwoordt op basis van dat crop) tot prestatieverlies door localisatiefouten of fouten in het naleven van het formaat?
Betrouwbaarheid: Huidige benchmarks vertrouwen vaak op geaggregeerde scores, waardoor specifieke faalmodi zoals "laterale verwarring" (verwarring tussen links/rechts) niet worden blootgelegd, wat kan leiden tot klinisch gevaarlijke fouten.

2. Methodologie

De auteurs voerden een uitgebreide audit uit van vijf frontier VLM's (Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V en Qwen 2.5 VL) over drie standaard Medical VQA-datasets: VQA-RAD, SLAKE en PathVQA.

Experimentele Opstelling

De evaluatie volgde een tweestaps-pijplijn (Figuur 1 in het paper) om drie verschillende configuraties te testen:

Directe VQA: Het model beantwoordt de vraag met de volledige afbeelding in één stap.
Self-Grounding VQA: Het model wordt gevraagd eerst een omlijstingsvak (bounding box) voor het relevante gebied te genereren en gebruikt vervolgens dat ingeknipte gebied om de vraag te beantwoorden.
Oracle GT-Grounding VQA: Het model krijgt ground-truth omlijstingsvakken (van SLAKE-annotaties) om de afbeelding te croppen voordat het antwoordt. Dit dient als bovengrens om te bepalen of het pijplijnc concept werkt als perceptie perfect zou zijn.

Evaluatiemetrics

VQA-prestaties: Gesloten-antwoord nauwkeurigheid en open-antwoord recall (met behulp van regelgebaseerde matching met synoniemuitbreiding en laterale checks).
Grounding-prestaties: Mean Intersection over Union (IoU), Dice-coëfficiënt en Accuracy@0.5 (percentage voorspellingen met IoU $\ge$ 0,5).
Formaatnaleving: Analyse van parse-fouten (onvermogen om de coördinaten van het omlijstingsvak uit de output van het model te extraheren).

Follow-up Fine-Tuning

Om te testen of domeinadaptatie de kloof kan overbruggen, voerden de auteurs Supervised Fine-Tuning (SFT) uit op Qwen 2.5 VL (7B) met behulp van gecombineerde trainingsdata van VQA-RAD, SLAKE en PathVQA.

3. Belangrijkste Bijdragen

Perceptie-audit: Constructie van een dedicated visuele grounding-benchmark afgeleid van SLAKE, die aantoont dat zelfs de beste frontier-modellen slechte localisatie vertonen in medische beeldvorming.
Pijplijn-integratie-audit: Aantonen dat "self-grounding" (lokaliseren en vervolgens beantwoorden) consequent de VQA-nauwkeurigheid verslechtert voor alle modellen, gedreven door zowel onnauwkeurige localisatie als ernstige fouten in het naleven van het formaat.
Oracle-grounding-diagnostiek: Bewijs dat het vervangen van voorspelde vakken door ground-truth-annotaties de VQA-prestaties herstelt en verbetert, waardoor het falen wordt geïsoleerd tot de perceptiemodule en niet tot de decompositiestrategie zelf.
Toekomstgericht remedie: Aantonen dat gerichte SFT op een sterk open-source model (Qwen 2.5 VL) de VQA-niveau-kloof aanzienlijk verkleint, met state-of-the-art recall op SLAKE, hoewel de perceptieknelpunt alleen door SFT niet wordt opgelost.

4. Belangrijkste Resultaten

A. Perceptiekloof (Grounding)

Slechte Localisatie: Alle modellen presteerden slecht op de grounding-taak. Het beste model, Qwen 2.5 VL, behaalde slechts 0,23 mean IoU en 19,1% Acc@0.5.
Systematische Fouten:
- Laterale Verwarring: Modellen verwarden vaak links en rechts in thoraxröntgenfoto's.
- Schaal-mismatch: Modellen gebruikten standaard grote omlijstingsvakken voor kleine laesies (bijv. longkanker), vaak het hele orgaan of een kwadrant van de afbeelding bedekkend.
- Generalisatiefout: Zelfs modellen die ingebouwde grounding aanprijzen (GLM-4.5V) scoorden slechter dan algemene redeneermodellen, wat aangeeft dat grounding-functies niet goed overdragen naar fijnmazige medische taken.

B. Pijplijnverslechtering (Self-Grounding)

Catastrofaal Ineenstorten: Self-grounding verslechterde de prestaties voor elk model.
- Gemini 2.5 Pro: De nauwkeurigheid daalde van 39,9% naar 0,0% (gesloten antwoord). Dit werd gedreven door een parse-foutpercentage van 98,9% op de tweestaps-prompt.
- GPT-5: De nauwkeurigheid daalde van 67,6% naar 19,3%, met een parse-foutpercentage van 70,3%.
Correlatie: De ernst van de verslechtering correleerde met de grounding-kwaliteit (IoU), hoewel formaatnaleving een dominante factor was voor sommige modellen.

C. Oracle-herstel

Wanneer ze werden voorzien van Ground-Truth (GT) omlijstingsvakken, verbeterden alle modellen hun VQA-prestaties in vergelijking met zowel directe als self-grounding-baselines.
Gemini 2.5 Pro herstelde van bijna nul naar 44,3% nauwkeurigheid, zijn directe VQA-baseline overtreffend. Dit bevestigt dat het redeneervermogen intact is, maar dat de perceptie (localisatie) het knelpunt is.

D. Impact van Fine-Tuning

Qwen 2.5 VL (SFT) behaalde de hoogst gerapporteerde SLAKE open-antwoord recall (85,5%) onder vergelijkbare methoden, presterend beter dan LLaVA-Med en andere baselines.
Dit bewijst dat de VQA-niveau-kloof hanteerbaar is via domeinadaptatie. Echter, aangezien SFT alleen werd geëvalueerd op VQA-metrics, blijft het onduidelijk of deze adaptatie het onderliggende perceptie-/grounding-knelpunt heeft opgelost.

5. Betekenis en Conclusie

Grounding als Knelpunt: De studie identificeert visuele grounding-kwaliteit als de primaire betrouwbaarheidsbeperking voor medische VQA in de SLAKE-bounding-box-setting. Huidige VLM's missen de ruimtelijke precisie die nodig is om grounding te gebruiken als een betrouwbare tussenstap.
Risico's van Pijplijnen: Vertrouwen op "self-grounding"-pijplijnen met huidige frontier-modellen is riskant, omdat dit een hoog risico introduceert op formatineenstorting en localisatiefouten die de algehele prestatie verslechteren.
Toekomstige Richtingen: De auteurs suggereren:
1. Hybride Architecturen: Het ontkoppelen van perceptie en redeneren door gebruik te maken van gespecialiseerde, domein-geadaptede grounding-modules (bijv. fine-tuned Grounding DINO of SAM) om betrouwbare ruimtelijke input te leveren aan VLM's.
2. Gefragmenteerde Analyse: Het stratificeren van faalanalyse per orgaantype, laesieschaal en laterale kant.
3. Adaptatie tijdens Inferentie: Het verkennen van reinforcement learning op het moment van inferentie om perceptie te verbeteren zonder extra trainingsdata.

Kortom, hoewel frontier VLM's sterke redeneervermogens bezitten, maakt hun onvermogen om medische structuren nauwkeurig te lokaliseren "self-grounding"-pijplijnen onbetrouwbaar. Betrouwbare medische AI vereist ofwel gespecialiseerde perceptiemodules of aanzienlijke verbeteringen in de ruimtelijke redeneervermogens van de VLM's zelf.