RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering

Probleemstelling

Het interpreteren van radiologische onderzoeken vereist de integratie van complexe visuele patronen met klinisch redeneren. Hoewel Vision-Language Models (VLMs) sterke prestaties laten zien op algemene multimodale benchmarks, blijven er aanzienlijke beperkingen bestaan in de medische domein:

1. Schaal en Modaliteit: Bestaande medische VQA-datasets (zoals VQA-RAD en SLAKE) zijn vaak klein, beperkt tot röntgenfoto's (X-ray) of biomedische illustraties, en missen de complexiteit van CT- en MRI-scans.
2. Teksgebaseerde shortcuts: Veel bestaande datasets bevatten linguïstische biases of "shortcuts". Modellen kunnen vaak het juiste antwoord geven op basis van de vraagtekst alleen, zonder de afbeelding daadwerkelijk te interpreteren.
3. Evaluatieproblemen: Het automatisch evalueren van vrije tekst-radiologieverslagen is moeilijk vanwege de zwakke correlatie tussen standaard meetmaten en klinische correctheid. VQA biedt een gestructureerder alternatief, maar huidige benchmarks dekken niet voldoende de nuances van fijnmazige pathologie-identificatie.

Methodologie

De auteurs introduceren RadImageNet-VQA, een groot dataset- en benchmarkframework specifiek ontworpen voor CT- en MRI-examens.

Dataset Constructie:

• Bron: De dataset is gebaseerd op het RadImageNet-dataset, een expert-gecurateerde verzameling medische afbeeldingen.
• Omvang: Het bevat 750.000 afbeeldingen (CT en MRI) gekoppeld aan 7,5 miljoen QA-stalen.
• Drie Kernaaken:
  1. Anatomieherkenning: Identificatie van het afgebeelde lichaamsdeel.
  2. Abnormaliteitsdetectie: Bepalen of er een afwijking aanwezig is.
  3. Fijnmazige Pathologie-identificatie: Het onderscheiden van specifieke ziekten binnen een anatomisch context (de meest uitdagende taak).
• Formaten: De dataset ondersteunt open-ended vragen, gesloten vragen (ja/nee) en meerkeuzevragen (MC).
• Shortcuts minimaliseren:
  • Vragen zijn gegenereerd met prompt-gebaseerde templates om diversiteit te garanderen.
  • Bij meerkeuzevragen zijn "distractors" (foutieve opties) zorgvuldig gekozen uit klinisch plausibele ziekten van hetzelfde gebied om het antwoord niet te makkelijk te maken.
  • De optie "geen pathologie gezien" is systematisch opgenomen om te voorkomen dat modellen automatisch aannemen dat er altijd iets mis is.

Evaluatie en Training:

• Benchmark: Een gestratificeerde testset van 1.000 afbeeldingen met 9.000 QA-paren.
• Evaluatiemethode: Voor open-ended antwoorden wordt gebruikgemaakt van een "LLM-as-a-judge" framework (gevalideerd met menselijke annotatie) om de nauwkeurigheid te bepalen.
• Fine-tuning: De auteurs fine-tunen diverse state-of-the-art VLMs (zoals LLaVA-OneVision, Qwen2.5-VL, en medische modellen zoals Lingshu en MedGemma) op de trainingsset. Ze vergelijken ook het gebruik van medisch voorgetrainde visuele encoders (MedSigLIP) versus algemene encoders (SigLIP).

Belangrijkste Bijdragen

1. RadImageNet-VQA Dataset: De publicatie van een schaalbaar dataset met 750K afbeeldingen en 7,5M QA-paren, specifiek gericht op CT en MRI, wat een aanzienlijke stap voorwaarts is ten opzichte van eerdere X-ray-dominante datasets.
2. Gestructureerde Benchmark: Een zorgvuldig samengestelde testset die drie radiologische taken dekt en verschillende vraagformaten omvat, met een focus op het elimineren van linguïstische shortcuts.
3. Uitgebreide Evaluatie: Een grondige analyse van de prestaties van zowel algemene als medisch gespecialiseerde VLMs, inclusief zero-shot en fine-tuning experimenten.
4. Analyse van Shortcuts: Een kwantitatief bewijs dat RadImageNet-VQA vrij is van de tekstuele biases die in eerdere datasets voorkwamen.

Resultaten

• Zero-shot Prestaties:
  • Anatomieherkenning: Wordt bijna volledig opgelost door huidige modellen (prestaties >90% voor veel modellen).
  • Pathologie-identificatie: Blijft een grote bottleneck. Zelfs de beste modellen scoren vaak onder de 30% op open-ended pathologie-vragen. Fijnmazige ziekteherkenning is nog steeds een onopgelost probleem.
  • Algemene vs. Medische Modellen: Algemene modellen (zoals InternVL3.5) presteren vaak beter of vergelijkbaar met medisch gespecialiseerde modellen, wat suggereert dat schaal en brede visueel-taal pretraining cruciaal zijn.
• Tekst-only Analyse:
  • Wanneer de afbeelding wordt verwijderd, daalt de nauwkeurigheid van modellen op RadImageNet-VQA tot bijna willekeurig niveau (2-10%). Dit bevestigt dat het dataset succesvol is in het elimineren van tekstuele shortcuts.
  • In tegenstelling hiermee kunnen modellen op oudere datasets (zoals VQA-RAD) nog steeds 11-33% correcte antwoorden geven zonder afbeelding.
• Fine-tuning Effect:
  • Fine-tuning op RadImageNet-VQA leidt tot aanzienlijke verbeteringen (+19,5% tot +22,5% gemiddeld) voor alle model-families.
  • Visuele Encoder: Het gebruik van medisch voorgetrainde encoders (MedSigLIP) biedt geen voordeel ten opzichte van algemene encoders (SigLIP) voor deze specifieke VQA-taken.
  • Medische Vooropleiding: Modellen die al medisch voorgetraind waren (zoals Lingshu) convergeren naar vergelijkbare prestaties als algemene modellen na fine-tuning, wat aangeeft dat de radiologische supervisie tijdens de fine-tuning de belangrijkste drijvende kracht is.

Betekenis en Conclusie

RadImageNet-VQA biedt een robuust fundament voor de ontwikkeling en evaluatie van medische Vision-Language Models. De dataset demonstreert dat:

1. Huidige VLMs goed zijn in het herkennen van anatomie, maar worstelen met de subtiele, fijnmazige details van pathologieherkenning.
2. Linguïstische shortcuts een groot probleem zijn in bestaande benchmarks, en dat RadImageNet-VQA een oplossing biedt door deze te minimaliseren.
3. Fine-tuning op grote, hoogwaardige CT/MRI-datasets essentieel is voor vooruitgang, meer dan het gebruik van specifieke medisch voorgetrainde visuele encoders.

Dit werk markeert een belangrijke stap naar betrouwbaardere AI-systemen voor radiologie die echt visueel redeneren in plaats van op tekstuele patronen vertrouwen.