MedGemma vs GPT-4: Open-Source and Proprietary Zero-shot Medical Disease Classification from Images

Titel: MedGemma vs GPT-4: Vergelijking van Open-Source en Proprietary Zero-shot Medische Ziekteclassificatie op Basis van Beelden

1. Probleemstelling

Chronische ziekten vormen een wereldwijde uitdaging, waarbij traditionele diepe leermodellen (zoals CNN's) vaak functioneren als "black boxes" zonder transparante redenering. Hoewel algemene Large Language Models (LLMs) zoals GPT-4 indrukwekkende prestaties leveren in natuurlijke taalverwerking, blijken ze tekort te schieten in medische contexten. Deze algemene modellen:

• Lijden onder "hallucinaties" (het genereren van onjuiste feiten).
• Ontbreken specifieke klinische grondslagen en kennis van medische richtlijnen.
• Hebben moeite met het interpreteren van complexe medische afkortingen en subtiele beeldkenmerken.
• Kunnen niet worden fijn afgestemd (fine-tuned) op specifieke medische datasets vanwege hun proprietary aard, wat hun bruikbaarheid voor hoog-risico klinische beslissingen beperkt.

Er is een kritiek gebrek aan directe vergelijkingen tussen gespecialiseerde, open-source agentische AI-modellen (zoals MedGemma) en geavanceerde, algemene multimodale modellen (zoals GPT-4) in diagnostische taken.

2. Methodologie

De studie vergelijkt twee fundamenteel verschillende AI-architecturen op zes verschillende ziekte-datasets:

• MedGemma-4b-it: Een open-source, medisch gespecialiseerd multimodaal model (gebaseerd op de Gemma-architectuur) dat is voorgeïmplementeerd op medische corpora (PubMed, klinische notities, medische richtlijnen en beelden).
  • Training: Het model is fijn afgestemd (fine-tuned) met Low-Rank Adaptation (LoRA) op specifieke trainingsdata.
  • Architectuur: Gebruikt een Vision Transformer (ViT-B/16) als feature extractor (768-dimensionele embeddings) die wordt gekoppeld aan de classificatiekoppen van MedGemma.
  • Hardware: Getraind op een NVIDIA A100 GPU-cluster.
• GPT-4: Een proprietary, algemeen multimodaal model (175 miljard parameters).
  • Aanpak: Gebruikt uitsluitend zero-shot prompting (geen fine-tuning mogelijk) via natuurlijke taalprompts voor beeldclassificatie.

Datasets:
Er zijn zes datasets gebruikt die verschillende medische modaliteiten omvatten:

1. Huidkanker: HAM10000 (10.015 beelden, 7 klassen).
2. Alzheimer: OASIS MRI (86.437 beelden, 4 klassen op basis van dementie-ernst).
3. Borstkanker: CBIS-DDSM (3.568 mammografie-beelden, 3 klassen).
4. Cardiovasculaire ziekte: ECG-afbeeldingen (11.148 beelden, 4 klassen).
5. Longontsteking (Pneumonia): Chest X-rays (5.856 beelden, 2 klassen).
6. Chronische Nierziekte: CT-scans (12.446 beelden, 4 klassen).

Preprocessing: Beelden zijn genormaliseerd naar 224x224 pixels, geschaald en versterkt (rotatie, spiegeling, intensiteitsaanpassing) om overfitting te voorkomen.

3. Belangrijkste Bijdragen

• Empirische Vergelijking: De studie biedt een rigoureuze kwantitatieve vergelijking tussen een gespecialiseerd, open-source model (MedGemma) en een state-of-the-art, gesloten model (GPT-4) in medische beeldclassificatie.
• Validatie van Domain-Specific Fine-tuning: Het bewijst dat het aanpassen van een model op specifieke medische data (via LoRA) essentieel is om hallucinaties te minimaliseren en de diagnose-accuraatheid te verhogen.
• Uitgebreide Evaluatie: In plaats van slechts één ziekte te testen, wordt een breed scala aan pathologieën (van huid tot neurologie en radiologie) geëvalueerd, wat de generaliseerbaarheid van de bevindingen onderstreept.
• Analyse van Foutpatronen: Door middel van confusiematrices en classificatierapporten wordt inzicht gegeven in waarom algemene modellen falen (bijv. lage sensitiviteit voor kanker) versus gespecialiseerde modellen.

4. Resultaten

De resultaten tonen een duidelijke en consistente superioriteit van het fijn afgestemde MedGemma-model ten opzichte van GPT-4:

• Algemene Prestaties:

  • MedGemma: Gemiddelde testnauwkeurigheid van 80,37%.
  • GPT-4: Gemiddelde testnauwkeurigheid van 69,58%.
  • Het prestatieverschil ligt overal tussen de 10% en 14%.

• Specifieke Datasets:

  • Longontsteking: MedGemma behaalde 81,71% (hoogste score), terwijl GPT-4 69,91% haalde. MedGemma had een recall van 83,6% voor longontsteking, cruciaal voor het vermijden van gemiste infecties.
  • Alzheimer: MedGemma scoorde 80,44% tegenover 71,16% voor GPT-4. MedGemma presteerde beter in het onderscheiden van de ernstige stadia van dementie.
  • Borstkanker: MedGemma toonde een hoge sensitiviteit voor maligne gevallen (F1-score 81,6%), terwijl GPT-4 hier 71,5% haalde.
  • Huidkanker: Hoewel beide modellen moeite hadden met de AKIEC-klasse, presteerde MedGemma significant beter bij de Melanocytic Nevus (NV) klasse (93,8% precisie vs 88,9% bij GPT-4).

• Kwalitatieve Observaties:

  • GPT-4 leek te vertrouwen op sequentiële memorisatie van prompts en beelden in plaats van diep visueel feature-herkenning, wat leidde tot fouten bij complexe, hoge-resolutie kenmerken.
  • MedGemma toonde een robuustere "diagnostische redenering" en minder hallucinaties in klinisch hoog-risico scenario's.

5. Betekenis en Conclusie

De studie concludeert dat domain-specifieke aanpassing (fine-tuning) onmisbaar is voor de implementatie van AI in de kliniek. Hoewel GPT-4 een breed kennisbasis heeft en makkelijk toegankelijk is, is het niet geschikt voor hoog-risico medische beslissingen zonder specifieke training.

• Klinische Relevantie: Gespecialiseerde modellen zoals MedGemma kunnen dienen als betrouwbare "expert companions" voor artsen, waarbij ze transparante en evidence-based redeneringen bieden.
• Toekomstperspectief: Ondanks beperkingen in rekencapaciteit en datasetgrootte, positioneert de flexibiliteit en efficiëntie van MedGemma (via LoRA) het als een veelbelovend instrument voor real-world klinische deployering.
• Aanbeveling: Toekomstig onderzoek moet focussen op grootschalige klinische validatie, ethische overwegingen en de integratie van hallucinatie-bewuste trainingsstrategieën om veilige en interpreteerbare AI-systemen te garanderen.

Kortom, de paper bevestigt dat voor medische beeldclassificatie een gespecialiseerd, open-source model dat is getraind op medische data, aanzienlijk beter presteert dan een krachtig, maar algemeen, proprietary model dat alleen via prompts wordt gebruikt.