⚡ electrical engineering

NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding

NeuroQA is een grootschalige, op afbeeldingen gebaseerde benchmark die bestaat uit bijna 57.000 vraag-antwoordparen afgeleid van 3D-hersenen-MRI-volumes uit 12 datasets en vijf klinische domeinen, ontworpen om 3D medisch visueel redeneren rigoureus te evalueren en tekst-only shortcuts te elimineren door middel van strikte op afbeeldingen gebaseerde protocollen en expertverificatie.

Oorspronkelijke auteurs: Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey Trang (Stanford University), Mohammad Asadi (Stanford University), Merryn Daniel (Stanford University), Gustavo Chau Loo Kung (Stanford University), Ken Chang (Stanford University), Pavan Pinkesh Shah (Stanford University), Adam Turnbull (Stanford University), Kyan Younes (Stanford University), Seena Dehkharghani (Stanford University), Ehsan Adeli (Stanford University)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een hersenscan te lezen. De robot is ongelooflijk slim; hij heeft miljoenen medische leerboeken gelezen en kent de namen van elk deel van de hersenen. Maar er is een addertje onder het gras: wanneer je hem een 3D-hersenscan laat zien en vraagt: "Is hier een tumor?", kijkt de robot misschien niet echt naar de scan. In plaats daarvan raadt hij misschien alleen op basis van de woorden in je vraag of de naam van de patiëntengroep waarop hij is getraind. Het is als een student die het antwoordblad van een toets heeft uit het hoofd geleerd zonder ooit het materiaal te bestuderen.

Dit artikel introduceert NEUROQA, een nieuwe, enorme "toets" die specifiek is ontworpen om robots te stoppen met valsspelen en hen te dwingen daadwerkelijk naar de 3D-hersenen afbeeldingen te kijken.

Hieronder wordt het artikel uiteengezet, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De "Alleen-tekst" Valstrik

Eerdere tests voor medische AI waren als het geven van een meerkeuzetoets aan een student, waarbij de vragen zo waren geschreven dat ze de antwoorden verraadden.

Het 2D-probleem: De meeste oude tests lieten de AI slechts een platte, 2D-schijf van een hersenen zien (zoals een enkele pagina uit een boek). Maar echte hersenscans zijn 3D-volumes (zoals een heel boek). Je kunt het hele verhaal niet begrijpen door slechts één pagina te lezen.
Het "Shortcut"-probleem: Het artikel vond dat als je de afbeelding uit deze oude tests verwijderde, de AI nog steeds 70–99% van de antwoorden goed had! Dit betekent dat de AI de hersenen niet "zag"; hij raakte alleen op basis van tekstpatronen (bijvoorbeeld: "Als de vraag 'Parkinson's' noemt, is het antwoord meestal 'Ja'").

2. De Oplossing: NEUROQA (De "Eerlijke" Toets)

De auteurs hebben een nieuwe benchmark gebouwd genaamd NEUROQA (56.953 vragen van 12.977 echte patiënten). Denk hierbij aan een strenge, valsspelwerende toets met drie speciale regels:

De 3D-regel: Elke vraag wordt geleverd met het hele 3D-hersenvolume, niet slechts een platte schijf. De AI moet door de hersenen navigeren in de 3D-ruimte, net als een arts dat doet.
De "Geen-afbeelding"-stress test: Om te bewijzen dat de AI echt kijkt, voeren ze een test uit waarbij ze de afbeelding verbergen. Als de score van de AI aanzienlijk daalt wanneer de afbeelding weg is, bewijst dit dat de AI daadwerkelijk de afbeelding gebruikte. Als de score hoog blijft, raadt de AI alleen op basis van tekst.
Het "Menselijk Plafond": Ze vergelijken de AI niet alleen met willekeurig gissen; ze vergelijken hem met echte menselijke artsen. Twee artsen (een radiologie-resident en een neurochirurgie-resident) maakten dezelfde toets met behulp van een 3D-viewer. Hun gemiddelde score was ongeveer 49%. Dit stelt een "menselijk visueel limiet" in. Als een AI een lagere score behaalt dan een mens die naar hetzelfde beeld kijkt, heeft hij de taak nog niet onder de knie.

3. De Twee Soorten Vragen

De toets heeft twee soorten vragen, wat een cruciaal onderscheid is:

Afbeelding-gebaseerd (De "Kijk-en-Zie" Vragen): Dit zijn dingen die je alleen door naar de 3D-scan te kijken kunt opmerken, zoals "Is de linkerzijde van de hersenen kleiner dan de rechter?" of "Welke kleur heeft deze vlek op de scan?"
Afbeelding-geïnformeerd (De "Reken-en-Context" Vragen): Deze vereisen het kennen van specifieke cijfers die je niet met je ogen kunt zien. Bijvoorbeeld: "Is het volume van dit hersendeel onder de 5e percentiel?" Je kunt niet met het blote oog een precieze milliliter-meting aflezen. Het "correcte" antwoord komt uit een computercalculatie (FreeSurfer), niet alleen uit menselijk zicht. Dit test of de AI precieze gegevens kan extraheren, en niet alleen maar raadt.

4. De Resultaten: De AI Strijdt Nog Steeds

De auteurs testten de slimste AI-modellen van vandaag (zoals de nieuwste versies van GPT, Gemini en Claude) op deze toets.

De Valsspel-check: Ze hebben de vragen opgeschoond zodat als je de afbeelding verwijdert, de AI slechts ongeveer 44,6% goed zou krijgen (wat nauwelijks beter is dan willekeurig gissen). Dit bewijst dat de toets eerlijk is en de antwoorden niet verraadt.
De AI-prestatie: Zelfs de beste AI-modellen scoorden slechts ongeveer 47,5% op de gesloten vragen (Ja/Nee en Meerkeuze).
De Menselijke Prestatie: De menselijke artsen scoorden ongeveer 48,9%.
De Conclusie: Op dit moment slaan de beste AI-modellen de menselijke artsen niet, en in sommige gevallen scoren ze lager dan de alleen-tekst-basislijn. Dit betekent dat de AI nog niet betrouwbaar "kijkt" naar de 3D-hersenen beter dan een mens kan, en ook niet de precieze kwantitatieve gegevens extraheren die nodig zijn voor een diagnose.

5. Hoe Ze Het Bouwden (De "Fabriek")

Om ervoor te zorgen dat de toets perfect was, gebruikten ze geen AI om de vragen te genereren (wat circulaire logica zou zijn). In plaats daarvan bouwden ze een deterministische pijplijn.

Stel je een fabrieksassemblagelijn voor met 38 strenge regels.
Ze namen echte patiëntgegevens en voerden ze door deze machine.
Menselijke experts (artsen) beoordeelden de vragen om ervoor te zorgen dat ze medisch zinvol waren.
Ze verwijderden alle "aanwijzingen" in de tekst die de AI zouden kunnen laten raden zonder te kijken.
Het resultaat is een "gouden standaard" dataset waarbij elk antwoord wiskundig is geverifieerd tegen de daadwerkelijke scangegevens van de patiënt.

Samenvatting

NEUROQA is een enorme, eerlijke toets voor medische AI. Het dwingt de AI om naar volledige 3D-hersenscans te kijken en bewijst dat, op dit moment, zelfs de slimste AI-modellen nog steeds worstelen met het begrijpen van deze scans even goed als een menselijke arts kan. Het artikel beweert niet dat de AI klaar is voor ziekenhuizen; in plaats daarvan biedt het een duidelijke, meetbare manier om bij te houden wanneer AI eindelijk leert de hersenen op de juiste manier te "zien".

Technische Samenvatting: NEUROQA

Probleemstelling

Huidige benchmarks voor medische Visual Question Answering (VQA) slagen er niet in om het begrip van 3D-hersenen-MRI adequaat te evalueren. Bestaande bronnen zijn overwegend beperkt tot 2D-slices (bijvoorbeeld VQA-RAD, PathVQA) of beperkt tot enkele klinische domeinen, waardoor ze het van nature volumetrische en contextafhankelijke karakter van klinisch hersenen-MRI-lectuur niet vastleggen. Bovendien lijden eerdere benchmarks aan "shortcut-exploitatie", waarbij modellen hoge nauwkeurigheid bereiken door te vertrouwen op tekst-priors, cohortnamen of bias in antwoordposities in plaats van visueel bewijs. Zoals aangetoond door Asadi et al., behouden geavanceerde Vision-Language Models (VLM's) vaak 70–99% van hun nauwkeurigheid wanneer afbeeldingen worden verwijderd, wat aangeeft dat benchmark-scores het ware beeldbegrip kunnen overschatten. Daarnaast maakt het ontbreken van een menselijke visuele basis het moeilijk om onderscheid te maken tussen modelfouten en de inherente perceptieve grenzen van visuele inspectie.

Methodologie

NEUROQA is een grootschalige, op afbeeldingen gebaseerde benchmark die deze hiaten adresseert via een rigoureuze, deterministische constructiepijplijn.

Data-samenstelling: De benchmark omvat 56.953 vraag-antwoordparen over 12.977 proefpersonen uit 12 neuroimaging-datasets, variërend in leeftijd van 5 tot 104 jaar en vijf klinische domeinen (Alzheimer, Parkinson, tumoren, witte-stofdysplasie en neuroontwikkeling).
3D-volumetrische grounding: In tegenstelling tot eerdere 2D-benaderingen is elk item gekoppeld aan een volledig 3D-volume in MNI-152-ruimte.
Redeneringscategorieën: De 203 vraagtemplates zijn georganiseerd in 11 categorieën, onderverdeeld in:
- Op afbeeldingen gebaseerd (131 templates): Beantwoordbaar via directe visuele inspectie op een standaard 3-vlakkenviewer (bijvoorbeeld Modus, Anatomie, Locatie, Signaal).
- Op afbeeldingen geïnformeerd (72 templates): Waarheid afgeleid van kwantitatieve volumetrie (FreeSurfer) of klinische instrumenten (bijvoorbeeld CDR, UPDRS), die niet alleen door visuele inspectie kunnen worden hersteld (bijvoorbeeld Diagnose, Ernst, Redenering).
Constructiepijplijn: Een deterministische pijplijn met 38 regels (seed=42) reduceerde een initiële pool van 2,7 miljoen kandidaten tot de definitieve set zonder gebruik te maken van Large Language Models (LLM's) voor generatie. Het proces omvatte:
- Expertreview: Twee rondes met domeinexperts en clinici om lateralisatieconventies, signaalformuleringen en diagnostische kaders te corrigeren.
- Machine-geverifieerde audits: Zeven rondes geautomatiseerde controles voor sessie-uitlijning, leeftijdsconsistentie en integriteit van afbeeldingspaden.
- Eliminatie van shortcuts: De laatste fase handhaafde antwoordbalans (50/50 voor Ja/Nee, uniforme 25% voor MCQ-posities) en verwijderde dominante templates. Dit verlaagde de tekst-only nauwkeurigheid van >80% naar 44,6%, waardoor deze binnen 5,1 procentpunten van de floor van willekeurige kans (39,5%) kwam.
Release-architectuur: Een tweelaags releasesysteem regelt data-governance:
- Niveau 1 (Openbaar): Directe release van 19.262 vraag-antwoordparen uit zes permissief gelicenseerde datasets.
- Niveau 2 (DUA): Deterministische generatiescripts voor 37.691 paren uit zes datasets die beperkt zijn door Data Use Agreements, waardoor reproduceerbare generatie mogelijk is voor onderzoekers met toegang.
Evaluatieprotocol: Modellen worden geëvalueerd op een vastgehouden publieke testset (5.524 items) en een privé testset (5.581 items). Het protocol omvat:
- Tekst-only baseline: Het meten van nauwkeurigheid zonder afbeeldingsinput om shortcut-afhankelijkheid te kwantificeren.
- Clinici-baseline: Twee onafhankelijke clinici evalueerden een bevroren subset van 100 items op een 3-vlakken NIfTI-viewer.
- Op afbeeldingen gebaseerd protocol: Een raamwerk met drie stress-tests (nauwkeurigheid zonder afbeelding, fabricagepercentage, hallucinatiepercentage) om te certificeren dat prestatiewinst voortkomt uit beeldbegrip in plaats van tekst-priors.

Belangrijkste bijdragen

Grootste 3D-hersenen-MRI-benchmark: NEUROQA is de grootste publiek gedocumenteerde benchmark voor 3D-hersenen-MRI QA, met 56.953 paren, 12 datasets en end-to-end behoud van de volumetrische structuur.
Shortcut-auditing: Door auditing op template-niveau en verfijning van de antwoordverdeling slaagde de benchmark erin de tekst-only nauwkeurigheid te verlagen tot bijna willekeurige niveaus (44,6%), waardoor ervoor wordt gezorgd dat resterende nauwkeurigheid toe te schrijven is aan beeldinhoud.
Visuele baselines voor clinici: De studie vestigt een menselijke visuele referentie, waarbij clinici een gemiddelde gesloten-formaat nauwkeurigheid van 48,9% behaalden op een bevroren subset. Dit definieert een perceptieve plafond voor visuele inspectie alleen.
Reproduceerbare tweelaags release: De architectuur ondersteunt open toegang terwijl strikte data-governance voor beperkte datasets wordt gehandhaafd via deterministische generatiepijplijnen.
Op afbeeldingen gebaseerd protocol: Een gestandaardiseerde methode om te verifiëren dat modelprestaties niet worden gedreven door tekst-priors, fabricage of hallucinatie.

Resultaten

Modelprestaties: Op de publieke testitems met gesloten formaat (Ja/Nee + Meerkeuze) bereikte de beste zero-shot VLM (Gemini-3.1-Pro) 47,5% nauwkeurigheid, en een supervised 3D CNN-baseline bereikte 43,7%.
Vergelijking met baselines: Zowel de beste VLM als de supervised baseline presteerden onder de floor van tekst-only meerderheidstemplate van 49,4% en het clinici-gemiddelde van 48,9%.
Weerstand tegen shortcuts: De tekst-only nauwkeurigheid van 44,6% vertegenwoordigt een shortcut-marge van slechts +5,1 procentpunten boven willekeurige kans, de laagste onder vergeleken medische VQA-benchmarks.
Clinici-analyse: Clinici presteerden goed op direct zichtbare categorieën (bijvoorbeeld Modus op 100%), maar bereikten een plateau bij op afbeeldingen geïnformeerde categorieën (bijvoorbeeld Redenering op ~28,6%), wat bevestigt dat de grondwaarheid voor deze categorieën niet visueel herstelbaar is.
Inter-rater overeenstemming: De overeenstemming tussen clinici was matig (Cohen's $\kappa$ = 0,40), met significante divergentie in categorieën die een multimodale werkwijze of precieze ruimtelijke redenering vereisen.

Betekenis en claims

Het artikel claimt dat NEUROQA een rigoureuze standaard vestigt voor het evalueren van 3D-hersenen-MRI-begrip door beeldgedreven prestaties expliciet te scheiden van afhankelijkheid van tekst-priors. Door aan te tonen dat huidige state-of-the-art VLM's en supervised 3D CNN's er niet in slagen de tekst-only floor of de visuele clinici-baseline te overtreffen, benadrukt de benchmark een aanzienlijke kloof tussen huidige AI-capaciteiten en de eisen voor klinisch onderbouwd 3D-redeneren.

De auteurs stellen dat NEUROQA niet bedoeld is om claims te ondersteunen over klinische implementatie, prognose of behandelplanning, maar eerder om een transparante evaluatiecultuur te bieden waar claims van neuroimaging-capaciteit moeten overleven controles op shortcuts, fabricage en hallucinatie. De benchmark is ontworpen om in principe oplosbaar te zijn door modellen die kwantitatieve informatie kunnen extraheren uit 3D-volumes die verder gaan dan wat voor het menselijk oog zichtbaar is, met name in op afbeeldingen geïnformeerde categorieën.