An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Technische Samenvatting: Een geautomatiseerde, contaminatie-gecontroleerde VQA-benchmark voor het evalueren van vision-language modellen op 3D oncologische beeldvorming

Probleemstelling
Vision-language modellen (VLM's) worden steeds vaker toegepast op medische beeldvorming, maar hun betrouwbaarheid in klinische settings blijft slecht gekarakteriseerd. Bestaande publieke benchmarks voor medische visuele vraag-en-antwoordsystemen (VQA) lijden onder twee kritieke gebreken:

1. Data-contaminatie: Grootschalige datasets komen vaak terecht in de pretraining-corpora van VLM's, wat betekent dat hoge scores kunnen wijzen op het memoriseren van beeld-vraagparen in plaats van werkelijke visuele perceptie.
2. Alleen tekst-oplosbaarheid: Veel benchmark-items kunnen correct worden beantwoord met enkel de vraagtekst en taalprioriteiten, waarbij de noodzaak om de afbeelding te analyseren wordt omzeild.

Bovendien presenteren oncologische beeldvorming unieke uitdagingen: studies zijn volumetrisch (3D), wat interpretatie over meerdere coupes en sequenties vereist, terwijl de meeste huidige VLM's slechts 2D-inputs accepteren. Bestaande benchmarks slagen er niet in om onderscheid te maken tussen beeld-afhankelijke prestaties en prestaties die gedreven worden door dataset-vertrouwdheid of vraagtekst-aanwijzingen.

Methodologie
De auteurs presenteren een geautomatiseerde, agent-gestuurde pipeline die ontworpen is om contaminatie-gecontroleerde multiple-choice VQA-benchmarks te genereren direct vanuit gekoppelde private radiologieverslagen en 3D oncologische beeldvorming.

• Databron: De pipeline maakt gebruik van private, single-institution radiologieverslagen en 3D-beeldvorming (CT en MRI) uit vier oncologische cohorten: lever CT, lever MRI, long CT en hersen MRI (2.509 gevallen in totaal voor de hoofdbenchmark). Een vijfde, volledig private in-house hersen MRI-cohort werd identiek gegenereerd maar gereserveerd voor de publieke/private contaminatie-ablatie-studie (Tabel 3) en uitgesloten van de totale aantallen van de hoofdbenchmark. Omdat deze bronverslagen privaat zijn en geen deel uitmaken van publieke pretraining-data, zijn de gegenereerde vragen gegarandeerd vrij van instance-niveau contaminatie.
• Vraaggeneratie: Het systeem produceert twee complementaire typen vragen:
  1. Schema-gestuurd (RADS-stijl): Vragen worden deterministisch gevuld vanuit door clinici beoordeelde schema's, geworteld in gevestigde rapportagekaders (LI-RADS, Lung-RADS, en een RANO-gealigneerd hersenschema). Dit waarborgt gestandaardiseerde, visueel-beantwoordbare vragen.
  2. Verslag-afgeleid: Vragen worden gegenereerd door een taalmodel op basis van de bevindingen en impressie van de radioloog, en vervolgens gefilterd door een "rapport-gegronde controle" om te waarborgen dat het antwoord expliciet wordt ondersteund door de brontekst.
• Beeldbewerking: Voor 2D-input modellen worden 3D-volumes gerenderd als 12×12 composiet-montages van 144 axiale coupes (ongeveer 128×128 pixels per coupe).
• Evaluatieprotocol: Vijf hedendaagse VLM's werden geëvalueerd in een zero-shot setting: twee frontier closed-source modellen (Claude Opus 4.6, GPT-5.2), één open-weights frontier model (Qwen3-VL-30B), en twee medische specialisten (MedGemma1.0-27B, MedGemma1.5-4B).
• Ablatie-studies: Om visuele afhankelijkheid te isoleren, werden de modellen opnieuw geëvalueerd waarbij de afbeelding werd vervangen door een lege input ("blind" conditie). Daarnaast werd een publieke hersen-cohort (PDGM) vergeleken met een gematchte private in-house hersen-cohort om de vertrouwwdheid met de beeldverdeling te testen.
• Statistische Rigor: De studie maakt gebruik van case-geclusterde bootstrapping voor betrouwbaarheidsintervallen en multiplicity-gecontroleerde testen (Benjamini-Hochberg FDR-correctie en Two One-Sided Tests [TOST] voor equivalentie) om genu genuine effecten te onderscheiden van ruis.

Belangrijkste Resultaten

• Variabele Prestaties: Geen enkel model was betrouwbaar over alle cohorten heen. De accuratesies varieerden van nabij de random baseline (0.28) tot 0.81. De rangschikking van modellen varieerde significant per cohort en vraagtype.
• Beeld-onafhankelijkheid: Voor verschillende hoog-presterende configuraties had het verwijderen van de afbeelding weinig effect op de accuratesse.
  • Op Hersen MRI (zowel publiek als privaat) en Long CT vertoonden frontier modellen (bijv. Claude Opus 4.6) minimale dalingen in accuratesse wanneer afbeeldingen werden verwijderd, wat suggereert dat hun prestaties zwaar leunen op taalprioriteiten of vraagtekst-signalen in plaats van visueel bewijs.
  • Daarentegen vertoonde MedGemma1.0-27B significante dalingen op Lever CT en MRI wanneer blind getest, wat duidt op een sterkere visuele afhankelijkheid in die specifieke contexten.
• Publieke vs. Private Hersenbeelden: Op RADS-stijl vragen scoorden frontier modellen 0.17–0.19 hoger op publieke (PDGM) hersenbeelden vergeleken met gematchte private beelden, wat duidt op potentiële vertrouwwdheid met publieke datasets. Echter, op verslag-afgeleide vragen was de prestatie ononderscheidbaar tussen de publieke en private cohorten.
• Taakmoeilijkheid: Modellen hadden aanzienlijke moeite met kwantitatieve of gegradeerde oordelen (bijv. laesiegrootte, Lung-RADS categorie, massaeffect-gradatie), waarbij de accuratesse nauwelijks boven toeval uitkwam. In contrast hiermee werden kwalitatieve herkenningstaken (bijv. aanwezigheid/afwezigheid van bevindingen) met veel hogere accuratesse uitgevoerd.
• Statistische Bevindingen: Na FDR-correctie overschreden 37 van de 40 accuratiewaarnemingen het toevalsniveau. Echter, equivalentietesten toonden aan dat voor veel hoog-scorende modellen op specifieke taken (bijv. Hersen MRI verslag-afgeleid), het verschil tussen de zichtbare en blinde prestatie statistisch gelijk was aan nul binnen een marge van ±0.05.

Betekenis en Claims
Het artikel claimt geen definitieve model-leaderboard te bieden, maar demonstreert dat een vernieuwbare, privaat gegenereerde benchmark effectief het onderscheid kan maken tussen beeld-afhankelijke prestaties en vraagtekst- en dataset-vertrouwwdheidseffecten.

• Klinische Implicaties: Huidige VLM's, inclusen medische specialisten, zijn nog niet betrouwbare lezers van volumetrische oncologische studies wanneer ze in gereduceerde 2D-formaten worden gepresenteerd. Headline-accuratesies kunnen visuele competentie overschatten, vooral voor taken die oplosbaar zijn via taalprioriteiten (bijv. long CT, hersen MRI).
• Taakbeperkingen: Het onvermogen van modellen om ruimtelijke metingen (grootte, ernst-gradatie) te verwerken in vergelijking met eenvoudige herkenning, suggereert dat huidige 2D-input systemen minder geschikt zijn voor management-sturende taken die steunen op precieze kwantificering.
• Methodologische Bijdrage: De auteurs stellen de pipeline beschikbaar als een open 'agent skill', waardoor instellingen in staat zijn om contaminatie-gecontroleerde benchmarks te regenereren op hun eigen private data. Dit verschuift evaluatie van statische publieke artefacten naar private, vernieuwbare in-house tests, waarmee het cruciale probleem van data-lekken in medische AI-evaluatie wordt aangepakt.

De studie concludeert dat hoewel VLM's veelbelovend zijn, hun visuele redeneervermogen in complexe, volumetrische oncologische settings beperkt blijft en sterk afhankelijk is van de specifieke beeldmodaliteit en het type vraag. De voorgestelde benchmark biedt een rigoureus kader om deze beperkingen te identificeren en de inzet van modellen te voorkomen die vertrouwen op memorisatie in plaats van perceptie.