GazeVaLM: A Multi-Observer Eye-Tracking Benchmark for Evaluating Clinical Realism in AI-Generated X-Rays

Probleemstelling

De synthetische generatie van medische beelden (via generatieve AI zoals diffusion-modellen) is een cruciale tool geworden om data-schaarste, privacyproblemen en class-imbalance in de klinische AI-ontwikkeling op te lossen. Hoewel deze modellen beelden van hoge visuele kwaliteit kunnen produceren, ontbreekt het aan een robuuste validatie voor klinische authenticiteit.

• De Kloof: Bestaande evaluatiemethoden vertrouwen op computationele metrics (zoals FID en IS) die statistische gelijkenis meten, maar niet detecteren of een beeld klinisch geloofwaardig is voor een ervaren radioloog. Beelden kunnen goede scores behalen op deze metrics terwijl ze subtiele artefacten bevatten die voor een mens onmiddellijk onrealistisch zijn.
• Het Tekort: Er is geen bestaand dataset dat vastlegt hoe experts visueel omgaan met zowel echte als synthetische medische beelden tijdens beoordelingen, noch is er een benchmark voor directe vergelijking tussen menselijke en AI-perceptie op dit gebied.

Methodologie

De auteurs introduceren GazeVaLM, een publieke benchmark die oogbewegingen (eye-tracking) combineert met klinische beoordeling. Het onderzoek volgt een vierstaps-pijplijn:

1. Generatie van Stimuli:

   • Synthetische borstfoto's (X-rays) werden gegenereerd met RoentGen, een vision-language diffusion model, getraind op vrije tekst-radiologierapporten uit de MIMIC-CXR dataset.
   • Er werden 30 echte en 30 synthetische beelden geselecteerd, waarbij elke synthetische afbeelding een exacte "echte" tegenhanger heeft (gebaseerd op hetzelfde rapport).
   • De beelden dekken vijf pathologie-categorieën: normaal, atelectase, cardiomegalie, pleurale effusie en longontsteking.
   • Onafhankelijke radiologen filterden beelden met grove anatomische vervormingen of tekst-artefacten.

2. Oogvolgingsstudie (Human Observers):

   • Deelnemers: 16 erkende radiologen (met ervaring variërend van 0 tot 20+ jaar) uit diverse specialisaties.
   • Opstelling: Gebruik van een EyeLink 1000 Plus tracker.
   • Taken: Elke radioloog voerde twee taken uit op dezelfde 60 beelden (in willekeurige volgorde):
     • Taak 1 (Diagnostische Beoordeling): Radiologen beschreven pathologieën zonder te weten dat er synthetische beelden tussen zaten (natuurlijke diagnostische blik).
     • Taak 2 (Visual Turing Test - VTT): Radiologen moesten classificeren of een beeld echt of synthetisch was en hun visuele aanwijzingen rapporteren.

3. LLM Evaluatie:

   • Zes state-of-the-art multimodale Large Language Models (LLMs) werden getest onder identieke voorwaarden: GPT 5.2 Thinking, Gemini 3 Pro, Claude Sonnet 4.5 Thinking, Grok 4.1, Llama 4 en DeepSeek 3.2.
   • De modellen kregen dezelfde taken (diagnose en authenticiteitsclassificatie) en leverden gestructureerde JSON-outputs met diagnoses, labels en betrouwbaarheidsscores.

4. Data Verwerking:

   • De dataset bevat ruwe oogsamples, fixatiemaps, scanpaths, salientiedichtheidskaarten, gestructureerde diagnostische labels en authenticiteitsoordelen.

Belangrijkste Bijdragen

• Eerste Multi-Observator Benchmark: GazeVaLM is het eerste dataset dat oogbewegingen van experts vastlegt tijdens zowel diagnostische interpretatie als authenticiteitsbeoordeling van AI-genereren X-rays.
• Gekoppelde Evaluatie: Het biedt een directe vergelijking tussen menselijke experts en zes LLMs op dezelfde stimuli en taken.
• Pupillometrie als Marker: De studie identificeert pupillometrische maatregelen als een robuust, impliciet signaal voor waargenomen authenticiteit.
• Open Data: De volledige dataset (960 oogopnames, stimuli, en modelvoorspellingen) is publiek beschikbaar via Hugging Face.

Resultaten

1. Oogbewegingsstatistieken (Gaze Metrics):

• Taak-effect: Diagnostische taken leiden tot ongeveer 2,8x meer fixaties en 3x langere kijktijden dan de VTT-taak, wat wijst op een diepere exploratiestrategie bij diagnose.
• Authenticiteitseffect: Pupillometrie toont het sterkste onderscheid. Echte beelden veroorzaken een grotere gemiddelde pupilvergrooting en een zwakkere samentrekking dan synthetische beelden. Synthetische beelden leiden tot een significante pupilsamentrekking (constrictie), wat suggereert dat dit een onbewust cognitief signaal is van onrealisme.
• Scanpaths: Bij de VTT-taak zijn saccades (ogenbewegingen) iets groter en sneller, wat past bij een meer globale zoekstrategie onder tijdsdruk.

2. Prestaties van LLMs vs. Mensen:

• Menselijke Prestatie: Radiologen behaalden een nauwkeurigheid van 80,1% in het onderscheiden van echt vs. synthetisch.
• LLM Prestatie: Alle zes LLMs presteerden onder de menselijke benchmark. De beste (GPT 5.2 Thinking) haalde 71,7%, terwijl DeepSeek 3.2 op het niveau van toeval (50%) bleef.
• Oververtrouwen: Ondanks lagere nauwkeurigheid rapporteerden de LLMs consequent hoge betrouwbaarheidsscores (confidence scores), wat wijst op een systematische oververtrouwing in hun authenticiteitsoordelen.

Betekenis en Toekomstperspectief

GazeVaLM vult een kritieke lacune in de validatie van generatieve AI voor medische beeldvorming. Door oogbewegingen en pupilreacties te koppelen aan klinische labels, biedt het een nieuwe manier om de "klinische realisme" van AI-beelden te meten, verder dan puur statistische metrics.

• Toepassingen: De dataset ondersteunt onderzoek in oogbewegingsmodellering, mens-AI-alignement, en de kwantificering van onzekerheid.
• Beperkingen: De dataset is beperkt tot frontale borstfoto's gegenereerd door één model (RoentGen) en een cohort van radiologen van één instelling.
• Toekomst: Verdere uitbreiding naar andere beeldvormingsmodaliteiten, diverse generatieve architecturen en multi-site observer-populaties wordt aanbevolen.

Samenvattend stelt GazeVaLM onderzoekers in staat om te begrijpen hoe experts en AI-systemen medische beelden waarnemen en interpreteren, wat essentieel is voor de verantwoorde ontwikkeling van AI in de gezondheidszorg.