NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders

Probleemstelling

Neurologische aandoeningen zoals multiple sclerose (MS), beroerte (stroke) en hersentumoren vormen een grote uitdaging voor de volksgezondheid. De nauwkeurige interpretatie van neurobeelden (MRI en CT) is cruciaal voor diagnose en klinische besluitvorming. Hoewel traditionele deep learning-modellen (zoals CNN's en U-Net) goed presteren in geïsoleerde taken zoals lesie-segmentatie, missen ze vaak het vermogen tot redeneren en het integreren van beeldinformatie met een bredere klinische context.

Recente vooruitgang in multimodale grote taalmodellen (MLLMs) biedt nieuwe kansen voor beeldondersteuning. Echter, hun betrouwbaarheid, kalibratie en operationele afwegingen in de neurologie zijn onvoldoende onderzocht. Bestaande benchmarks richten zich vaak op algemene visuele vraag-antwoordtaken (VQA) en missen gestructureerde, klinisch relevante outputvelden die nodig zijn voor echte diagnostische ondersteuning. Er is een gebrek aan gestandaardiseerde evaluaties die kijken naar diagnostische redenering, outputbetrouwbaarheid en kosten-efficiëntie onder realistische omstandigheden.

Methodologie: NeuroVLM-Bench

De auteurs introduceren NeuroVLM-Bench, een systematisch en rigoureus benchmarkframework voor het evalueren van 20 toonaangevende MLLMs op 2D-neurobeelden.

1. Dataset:

• De benchmark bestaat uit een gecurateerde collectie van publiek beschikbare MRI- en CT-datasets.
• Aandoeningen: Hersentumoren (gliomen, meningiomen, etc.), multiple sclerose, beroerte (ischemisch en hemorragisch), andere afwijkingen (abcessen, cysten, tumor-mimickers) en normale controles.
• Totaal: Ongeveer 29.538 samples, met gestructureerde labels voor primaire diagnose, subdiagnose, beeldmodaliteit, MRI-sequentie en anatomisch vlak.

2. Evaluatieprotocol (Vier fasen):
Om selectiebias te voorkomen en stabiliteit te garanderen, wordt een gefaseerde aanpak gebruikt:

• Fase 0 (Calibratie): Vastleggen van hyperparameters (temperatuur=0.0, top-p=1.0) en het definitieve prompt-schema.
• Fase 1 (Screening): Evaluatie van 20 modellen op 30% van de data om de top-11 kandidaten te selecteren.
• Fase 2 (Stabiliteit): Evaluatie van de top-11 op 45% van de data om stabiliteit te verifiëren; selectie van de top-6.
• Fase 3 (Generalisatie): Definitieve evaluatie op een strikt vastgehouden testset (25%) met zowel zero-shot als few-shot prompting (4 voorbeelden per klasse).

3. Prompting en Output:
In plaats van open vragen, gebruiken de auteurs het Unified Neuro-Imaging Prompting Protocol (UNIPP). Modellen moeten een gestructureerd JSON-antwoord genereren met de volgende velden:

• Metadata: Modaliteit (MRI/CT), gespecialiseerde sequentie (T1, T2, FLAIR, T1C+), anatomisch vlak (axiaal, sagittaal, etc.).
• Diagnostiek: Primaire diagnose en gedetailleerde subdiagnose.
• Kwantitatief: Zekerheidsniveau (confidence).

4. Prestatiemetrics:
Evaluatie vindt plaats langs vier dimensies:

• Discriminatie: Macro-F1 (met straf voor abstentie), accuracy, precisie, recall, AUC.
• Betrouwbaarheid: Validiteit van JSON-output en abstentie-ratio.
• Kalibratie: Expected Calibration Error (ECE) en Brier Score.
• Efficiëntie: Token-gebruik, latentie en geschatte kosten per inferentie.

Belangrijkste Bijdragen

1. NeuroVLM-Bench: Het eerste uitgebreide benchmark dat zich specifiek richt op neurologische aandoeningen met een focus op gestructureerde, klinisch zinvolle output in plaats van algemene VQA.
2. Gestandaardiseerd Protocol: Een vier-fasen evaluatie die fairness, stabiliteit en generalisatie garandeert, inclusief vergelijking van zero-shot en few-shot learning.
3. Multi-dimensionale Evaluatie: Een framework dat niet alleen kijkt naar nauwkeurigheid, maar ook naar kalibratie, output-validiteit en operationele kosten, wat essentieel is voor klinische implementatie.
4. Uitgebreide Vergelijking: Evaluatie van 20 state-of-the-art modellen, waaronder proprietaire systemen (Gemini, GPT, Claude), open-weight modellen (LLaMA, Qwen) en medisch gespecialiseerde modellen (MedGemma).

Resultaten

Algemene Prestaties:

• Technische attributen: Taken zoals het herkennen van de beeldmodaliteit en het anatomische vlak zijn voor bijna alle modellen "opgelost" (nabij perfecte scores).
• Diagnostisch redeneren: Klinisch betekenisvolle taken, vooral het voorspellen van de subdiagnose (bijv. type tumor of type beroerte), blijven aanzienlijk moeilijker.
• Top-modellen:
  • Gemini 2.5 Pro en GPT-5 Chat behalen de sterkste algehele diagnostische prestaties.
  • Gemini 2.5 Flash biedt de beste balans tussen prestatie en computerefficiëntie.
  • Onder open-weight modellen presteert MedGemma 1.5 4B het beste, vooral met few-shot prompting, en benadert de zero-shot prestaties van sommige proprietaire modellen.

Per Aandoening:

• Tumoren: De meest betrouwbare taak; modellen presteren hier zeer goed (F1 > 0.90 voor topmodellen).
• Beroerte: Matig oplosbaar; prestaties variëren sterk per model. Few-shot prompting helpt hier aanzienlijk.
• Multiple Sclerose (MS): Blijft de meest uitdagende categorie, zelfs voor de beste modellen. De subtiele laesies en de noodzaak van 3D-context maken 2D-slice analyse beperkt.
• Andere afwijkingen: Zeer moeilijk door de zeldzaamheid en heterogeniteit; veel modellen falen hier.

Few-Shot Prompting:

• Few-shot prompting (4 voorbeelden) verbetert de prestaties voor veel modellen, vooral bij de primaire diagnose en beroerte.
• Echter, dit gaat ten koste van een significante toename in token-gebruik, latentie en kosten.
• Bij sommige modellen (zoals Qwen 2.5-VL) leidt few-shot prompting zelfs tot een prestatiedaling, wat aangeeft dat extra context niet altijd helpt en soms redenering kan destabiliseren.

Betrouwbaarheid en Kalibratie:

• Veel modellen vertonen een mismatch tussen hun zelfgerapporteerde zekerheid en de werkelijke nauwkeurigheid (hoge ECE).
• Sommige modellen (zoals LLaMA 3.2 Vision) vertonen extreme abstentie (weigeren om een antwoord te geven) of genereren ongeldige JSON-output, wat ze ongeschikt maakt voor klinische workflows.

Betekenis en Conclusie

De studie concludeert dat huidige multimodale LLMs nog niet klaar zijn als algemene neurologische diagnostici. Ze tonen echter veelbelovende resultaten in specifieke assistieve rollen, zoals het triageren van tumoren.

• Klinische Implicatie: Modellen moeten niet als "one-size-fits-all" oplossing worden gezien. Er is behoefte aan "specialist-aware" routing, waarbij specifieke gevallen worden gestuurd naar modellen die daar empirisch goed in zijn (bijv. een model dat goed is in beroerte detectie voor acute vasculaire pathologie).
• Beperkingen: De benchmark is gebaseerd op 2D-slices, terwijl veel neurologische aandoeningen 3D-context vereisen. Ook ontbreekt klinische metadata (geschiedenis, symptomen) in de input.
• Toekomst: Verdere onderzoek richt zich op volumetrische (3D) redenering, integratie van klinische metadata, en domain-specific fine-tuning om de kloof tussen technische prestaties en klinische bruikbaarheid te overbruggen.

NeuroVLM-Bench biedt een cruciaal fundament voor de veilige, schaalbare en verantwoorde integratie van AI in de neurologische beeldvorming en klinische besluitvorming.