Benchmarking and Adapting On-Device LLMs for Clinical Decision Support

1. Probleemstelling

Hoewel Large Language Models (LLMs) veelbelovend zijn voor klinische besluitvorming, wordt hun implementatie in de praktijk belemmerd door drie hoofdbezwaren:

• Privacy en Governance: Propriëtaire, in de cloud gehoste modellen vereisen het verzenden van gevoelige patiëntgegevens naar externe servers, wat in strijd is met data-governancebeleid in veel zorginstellingen.
• Ressourcenbeperkingen: State-of-the-art open-source modellen (bijv. DeepSeek-R1 met 671B parameters) zijn te groot voor lokale implementatie op standaard klinische hardware, waardoor fine-tuning en inferentie onbetaalbaar duur worden.
• Kosten en Controle: Propriëtaire modellen ontberen transparantie en brengen hoge operationele kosten met zich mee, terwijl huidige open-source alternatieven vaak enorme rekenkracht vereisen (multi-GPU-clusters) die niet beschikbaar zijn in typische klinieken.

Het artikel beantwoordt de vraag: Kunnen kleinere, on-device LLMs (die draaien op enkele consument-GPU's) klinische redeneerprestaties bereiken die vergelijkbaar zijn met geavanceerde propriëtaire modellen, en kunnen ze effectief worden aangepast via fine-tuning voor specifieke klinische taken?

2. Methodologie

A. Modelselectie

De studie benchmarkt drie families van on-device modellen tegen toonaangevende propriëtaire en open-source baselines:

• On-Device Modellen:
  • gpt-oss: 20B en 120B parameters (geoptimaliseerd voor respectievelijk 16GB en 80GB consument-GPU's).
  • Qwen3.5: 9B, 27B en 35B parameters.
  • Gemma 4: 31B parameters.
• Baselines:
  • Propriëtaire: GPT-5.1, GPT-5-mini, Gemini 3.1 Pro.
  • Open-source: DeepSeek-R1 (671B).

B. Benchmarktaken & Datasets

Drie representatieve klinische scenario's werden geëvalueerd met zero-shot inferentie (k=3 zelfconsistentie):

1. LLM als Generalist (Algemene Diagnose):
   • Dataset: 207 radiologische casusrapporten uit de Eurorad-bibliotheek (2025 gevallen om datalekken te voorkomen).
   • Taak: Selecteer de juiste diagnose uit een verstrekte differentiaaldiagnoselijst op basis van klinische geschiedenis en beeldvormingsbevindingen.
2. LLM als Specialist (Oogheelkunde):
   • Dataset: 130 meerkeuzevragen (39 diagnoses, 91 beheer) die zes oogheelkundige subspecialisaties bestrijken.
   • Taak: Multi-label classificatie (selecteer alle juiste antwoorden).
3. LLM als Klinisch Judge:
   • Dataset: 1.315 gevallen met scores van menselijke experts over vijf specialismen (Interne Geneeskunde, Neurologie, Chirurgie, Gynaecologie, Kindergeneeskunde).
   • Taak: Simuleer menselijke experts om bestaande diagnoses/behandelplannen te scoren op een 1–5 Likert-schaal.

C. Aanpassingsstrategie (Fine-tuning)

Om aanpasbaarheid te testen, hebben de auteurs gpt-oss-20b en Qwen3.5-35B gefine-tuned:

• Datacuratie: Gebruik van een groter, architecturaal overeenkomend model uit dezelfde familie (gpt-oss-120b en Qwen3.5-122B) om hoogwaardige Chain-of-Thought (CoT) redeneersporen te genereren voor 1.895 historische Eurorad-cases.
• Techniek: Low-Rank Adaptation (LoRA) met specifieke targeting van lineaire lagen en expert-lagen.
• Inferentie-optimalisatie:
  • gpt-oss-20b: Gebruik van Group Beam Search (13 beams) om diverse redeneerpaden te verkennen.
  • Qwen3.5-35B: Gebruik van standaard autoregressieve generatie met temperatuur 0.7.

D. Foutanalyse

• Taxonomie: Onjuiste voorspellingen werden ingedeeld in vijf categorieën: mismatch in oppervlaktevorm,zelfde ziektefamilie, plausibele differentiaaldiagnose, off-topic/hallucinatie, en leeg/weigering.
• Upper-bound analyse: Berekening van "pass@3" nauwkeurigheid om het theoretische plafond te bepalen als het beste antwoord van drie runs werd geselecteerd.

3. Belangrijkste Bijdragen

1. Uitgebreide Benchmarking: De eerste systematische evaluatie van on-device LLMs (bereik 5B–120B) tegen geavanceerde propriëtaire modellen voor algemene diagnose, specialistische zorg en simulatie van klinische oordeelsvorming.
2. Aanpasbaarheidskader: Aangetoond dat fine-tuning van on-device modellen met behulp van redeneersporen van grotere, familie-overeenkomende modellen de prestaties aanzienlijk verbetert zonder het geheugengebruik te vergroten.
3. Foutkarakterisering: Een gedetailleerde analyse die aantoont dat de meeste fouten "plausibele differentiaaldiagnoses" zijn (klinisch onderbouwd maar onjuiste keuzes) in plaats van hallucinaties, wat suggereert dat de modellen correct redeneren maar specifieke kennis missen.
4. Privacy-bewarend Pad: Geverifieerd dat nauwkeurige klinische AI lokaal kan draaien op consumenthardware (enkele GPU), waardoor de noodzaak voor clouddatatransmissie wordt geëlimineerd.

4. Belangrijkste Resultaten

Prestatievergelijking (Zero-Shot)

• Algemene Diagnose:
  • Gemma 4 31B behaalde de hoogste basisnauwkeurigheid voor on-device (86,5%), beter dan GPT-5-mini (84,5%) en dichtbij GPT-5.1 (89,4%).
  • Qwen3.5-35B bereikte 84,1%, gelijk aan GPT-5-mini en hoger dan DeepSeek-R1 (81,6%).
  • gpt-oss-20b behaalde 80,7%, vergelijkbaar met DeepSeek-R1 ondanks een parameteraantal dat ongeveer 30x kleiner is.
• Oogheelkunde (Specialist):
  • gpt-oss-120b behaalde 77,7% algehele nauwkeurigheid, beter dan GPT-5.1 (76,9%) en GPT-5-mini (67,7%).
  • Modellen presteerden consequent beter op diagnostische taken dan op beheertaken.
• Klinisch Oordeel:
  • On-device modellen (Qwen3.5 en Gemma 4) behaalden een mediane diagnostische fout van 0,00, perfect in lijn met menselijke expertconsensus, gelijkend op de beste propriëtaire modellen.

Impact van Fine-tuning

• gpt-oss-20b: Nauwkeurigheid steeg van 80,7% naar 86,5%, beter dan DeepSeek-R1 en GPT-5-mini.
• Qwen3.5-35B: Nauwkeurigheid steeg van 84,1% naar 87,9%, waardoor de kloof met GPT-5.1 (89,4%) slechts 1,5 procentpunt bedraagt.
• Efficiëntie: Fine-tuning verbeterde de nauwkeurigheid zonder het geheugengebruik te vergroten (bleef ~18–20 GB voor 4-bit kwantisatie), terwijl DeepSeek-R1 ~386 GB vereist.

Inzichten uit Foutanalyse

• Plausibele Differentiaaldiagnoses: 87,2% van alle fouten over modellen heen waren "plausibele differentiaaldiagnoses" (selecteren van een geldige maar onjuiste diagnose uit de lijst). Slechts 5% waren mismatchen in oppervlaktevorm.
• Hallucinaties: Off-topic/hallucinerende fouten waren beperkt tot de kleinste modellen (Qwen3.5 9B/27B). Alle modellen ≥ 20B parameters (inclusief gefine-tuned modellen) produceerden nul off-topic fouten.
• Herstelbare Prestaties: Upper-bound analyse toonde aan dat tot 93,2% nauwkeurigheid haalbaar is voor Qwen3.5-35B via betere strategieën voor antwoordselectie.
• Moeilijke Cases: De resterende onopgeloste gevallen (ongeveer 11%) waren zeldzame histopathologische subtypes of syndromen, wat een "kennisfrontier" vertegenwoordigt in plaats van een architecturale mislukking.

5. Betekenis

• Haalbaarheid van Lokale AI: De studie bewijst dat hoogwaardige klinische besluitvorming geen enorme cloud-infrastructuur vereist. Compacte modellen (5–20 GB) kunnen, bij juiste aanpassing, de prestaties van veel grotere propriëtaire systemen evenaren of overtreffen.
• Privacy en Soevereiniteit: Door inferentie op het apparaat mogelijk te maken, kunnen zorginstellingen strikte data-soevereiniteit handhaven, voldoen aan regelgeving (bijv. HIPAA, GDPR) zonder de diagnostische kwaliteit te compromitteren.
• Kosteneffectiviteit: De mogelijkheid om kleine modellen te fine-tunen met redeneersporen van grotere familieleden biedt een schaalbare, goedkope weg voor ziekenhuizen om AI aan te passen aan hun specifieke patiëntdemografie en ziekteprevalenties.
• Betrouwbaarheid: De bevinding dat grotere on-device modellen geen hallucinaties produceren en perfect overeenkomen met menselijke expertscoring, suggereert dat ze veilige kandidaten zijn voor "second-opinion"-systemen en geautomatiseerd audit in klinische workflows.

Concluderend stelt het artikel vast dat on-device LLMs een praktische, nauwkeurige en privacy-bewarende alternatief zijn voor cloud-gebaseerde propriëtaire systemen voor klinische besluitvorming, mits ze zorgvuldig worden geselecteerd (bijv. Gemma 4, Qwen3.5) en worden aangepast via gerichte fine-tuning.