Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Deze vergelijkende evaluatie toont aan dat, hoewel fijn afgestemde generalistische grote taalmodellen over het algemeen onderpresteren ten opzichte van gespecialiseerde klinische fundamentele modellen bij gestructureerde EHR-ziekterisicovoorspelling, door LLM's gegenereerde embeddings gekoppeld aan lichtgewicht classifiers superieure prestaties kunnen behalen op zowel de AUROC- als de AUPRC-maatstaven.

De kern

Stel je voor dat je probeert te voorspellen wie in de toekomst ziek kan worden door hun medische geschiedenis te bekijken. Jarenlang hebben artsen en datawetenschappers gespecialiseerde "experts" gebruikt om dit te doen. Denk aan deze experts als Klinische Fundamentele Modellen (CFMs). Ze zijn als meesterkoks die hun hele leven alleen hebben gekookt met gestructureerde ingrediënten (zoals labcodes, diagnosenummers en medicatielijsten). Ze weten precies hoe ze deze specifieke ingrediënten moeten mengen om uitkomsten zoals hartfalen of alvleesklierkanker te voorspellen.

Onlangs is een nieuw type AI aangekomen: Grote Taalmodellen (LLMs). Deze zijn als generalistische genieën. Ze hebben bijna alles op internet gelezen—boeken, nieuws, code en gesprekken. Ze zijn ongelooflijk slim in het begrijpen van taal en context, maar ze hebben hun hele leven niet specifiek medische dossiers bestudeerd.

De grote vraag die dit artikel stelt is: Kunnen deze generalistische genieën de gespecialiseerde meesterkoks verslaan bij het voorspellen van ziekterisico's met behulp van gestructureerde medische data?

Hier is wat de onderzoekers vonden, eenvoudig uiteengezet:

1. De "Fine-Tuning"-Race: Gespecialiseerd versus Generalistisch

De onderzoekers namen beide soorten modellen en gaven hen een specifieke taak: hartfalen voorspellen bij patiënten met diabetes en alvleesklierkanker bij anderen. Ze "fine-tuneden" ze, wat neerkomt op het geven van een crashcursus in de specifieke regels van het spel.

• Het Resultaat: Op grote datasets (duizenden patiënten) wonnen de gespecialiseerde koks (CFMs) nog steeds, maar slechts met een piepklein, bijna onzichtbaar verschil.
  • Analogie: Stel je een race voor tussen een Formule 1-auto (CFM) en een zeer snelle sportwagen (LLM). De F1-auto kwam als eerste over de streep, maar slechts met een fractie van een seconde voorsprong.
  • De Haken: De F1-auto (CFM) was veel goedkoper en sneller te trainen. De sportwagen (LLM) had veel meer brandstof (rekenkracht) en tijd nodig om klaar te zijn, maar verloor nauwelijks.

2. De "Embedding"-Truc: De Beste Verrassing

De onderzoekers probeerden een derde aanpak. In plaats van de LLM's de regels van het spel te laten leren (fine-tuning), vroegen ze de LLM's gewoon de medische geschiedenis van de patiënt te lezen en een samenvatting te schrijven (het creëren van een "embedding"). Vervolgens gaven ze die samenvatting aan een zeer eenvoudige, basale rekenmachine (een "lightweight classifier") om de uiteindelijke voorspelling te doen.

• Het Resultaat: Deze combinatie won de race met overmacht.
  • Analogie: In plaats van het genie op te leiden tot arts, vroegen ze het genie om een perfecte, beknopte biografie van de patiënt te schrijven. Vervolgens gaven ze die biografie aan een slimme stagiair met een eenvoudige checklist. De stagiair, gewapend met de perfecte samenvatting van het genie, deed betere voorspellingen dan de gespecialiseerde koks of de gefinetunedde genieën.
  • Specifiek: Met behulp van een model genaamd Qwen3 om de samenvatting te schrijven en een eenvoudige rekenmachine om deze te lezen, behaalden ze de hoogste nauwkeurigheidscores (in sommige gevallen meer dan 90%).

3. De "Kleine" Specialist

Ze testten ook een "Klinisch LLM" (Me-LLaMA), wat een generalistisch genie is dat wat medische boeken heeft gelezen.

• Het Resultaat: Dit model presteerde even goed als de enorme generalistische modellen, hoewel het veel kleiner was. Het bewees dat je niet altijd het grootste brein nodig hebt om de klus te klaren als je de juiste medische training hebt.

4. De Afweging

Het artikel benadrukt een belangrijke afweging:

• Gespecialiseerde Modellen (CFMs): Snel te trainen, goedkoop om te draaien en zeer betrouwbaar. Ze zijn de "werkpaarden" van de kliniek.
• Generalistische Modellen (LLMs): Ze kunnen de specialisten evenaren of zelfs verslaan, maar ze zijn duur en traag te trainen. Als je ze echter alleen gebruikt om de data te "samenvatten" (de embedding-truc) in plaats van ze volledig te trainen, worden ze ongelooflijk krachtig en efficiënt.

De Conclusie

Het artikel concludeert dat generalistische AI-modellen gespecialiseerde medische modellen zeker kunnen evenaren bij het voorspellen van ziekterisico's. Sterker nog, het gebruik van een generalistisch model alleen om de data te "samenvatten" voor een eenvoudige rekenmachine was de meest succesvolle methode van allemaal.

De auteurs waarschuwen echter dat, omdat generalistische modellen zo duur zijn om te trainen en hun prestaties een beetje "wankel" kunnen zijn (soms geweldig, soms niet), we de gespecialiseerde modellen nog niet moeten weggooien. De beste toekomst zou een samenwerking kunnen zijn: het gebruik van het vermogen van de generalist om te begrijpen en samen te vatten, gecombineerd met de efficiëntie van het gespecialiseerde model.

Kortom: De generalistische AI is een briljante student die het medisch examen met vlag en wimpel kan halen, maar de gespecialiseerde AI is de bekwame arts die er sneller en goedkoper komt. De slimste zet? Laat de student de notities schrijven en laat een eenvoudig gereedschap ze beoordelen.

Technische samenvatting

1. Probleemstelling

De zorgsector vertrouwt steeds meer op voorspellende modellen die gebruikmaken van gestructureerde elektronische gezondheidsdossiers (EHR) voor klinische besluitvorming. Er zijn twee onderscheiden klassen van AI-modellen ontstaan:

• Klinische Basismodellen (CFM's): Gespecialiseerde modellen (bijv. Med-BERT, CLMBR) die vooraf zijn getraind op enorme, heterogene gestructureerde EHR-datasets. Ze zijn geoptimaliseerd voor het modelleren van patiënttrajecten en hebben superieure prestaties getoond bij ziektevoorspelling.
• Algemene Grote Taalmodellen (LLM's): Modellen (bijv. LLaMA, Mistral) die vooraf zijn getraind op brede, diverse tekstdata. Hoewel ze aanpasbaar zijn, blijft het onduidelijk of ze gespecialiseerde CFM's kunnen evenaren of overtreffen wanneer ze worden toegepast op gestructureerde EHR-data voor ziekterisicovoorspelling, vooral gezien de rekenkosten en uitdagingen bij datarepresentatie.

De studie adresseert de lacune in directe, head-to-head vergelijkingen tussen deze twee modelklassen op real-world, multi-site EHR- en claims-data.

2. Methodologie

Datasets en Taken

De studie evalueerde de prestaties op twee binaire classificatietaken:

1. Diabetische Hartfalen (DHF): Het voorspellen van het risico op hartfalen bij patiënten met diabetes.
2. Pancrascarcinoom (PaCa): Het voorspellen van een diagnose van pancreaskanker.

Vier datasets werden gebruikt om robuustheid en reproduceerbaarheid te waarborgen:

• DHF-EHR & PaCa-EHR: Multi-site gestructureerde EHR-data van Amerikaanse zorgsystemen.
• PaCa-Claims: Patiëntspecifieke claims-data.
• PaCa-EHRSHOT: Een open-source, single-institution benchmark dataset (3.810 patiënten).

Data werd verwerkt op drie niveaus van granulariteit:

• D: Alleen diagnosecodes.
• DMP: Diagnose-, Medicatie- en Procedurerecodes.
• ALL: Alle beschikbare gestructureerde data (inclusief demografie, vitale functies, laboratoriumwaarden).

Geëvalueerde Modellen

De studie vergeleek drie categorieën modellen:

1. Klinische Basismodellen (CFM's):
   • Med-BERT (v2): Encoder-gebaseerd, vooraf getraind op >50 miljoen patiënttrajecten (diagnoses, medicatie, procedures).
   • CLMBR: Decoder-transformer gebaseerd, vooraf getraind op 2,57 miljoen patiënten.
2. Algemene & Klinische LLM's (Gefinetuned):
   • Algemeen: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • Klinische LLM: Me-LLaMA (gefinetuned op klinische tekst).
   • Techniek: Alle LLM's werden gefinetuned met Parameter-Efficient Fine-Tuning (PEFT/LoRA) en kwantisatie.
3. LLM Embedding Benadering (Zonder Finetuning):
   • Het gebruik van LLM's (DeepSeek, Qwen3, GPT-OSS, MedGemma, etc.) puur als encoders om patiënttraject-embeddings te genereren, gevolgd door lichtgewicht classifiers (Logistische Regressie, MLP).

Data Preprocessing & Input

• CFM's: Gestructureerde codes werden hervormat volgens hun specifieke vooraftrainingspijplijnen.
• LLM's: Gestructureerde EHR-data werd gesequencet tot tekstprompts. Twee formaten werden getest: CPLLM en LLaMA2-EHR. Het laatste (met inachtneming van gebeurtenisfrequenties) leverde betere resultaten op.
• Embeddings: Voor de aanpak zonder finetuning werden de eerste 4.096 tokens van de patiëntgeschiedenis gebruikt om embeddings te genereren.

Evaluatiemetrieken

• AUROC: Oppervlakte onder de Receiver Operating Characteristic-curve (hoofdmetriek).
• AUPRC: Oppervlakte onder de Precision-Recall-curve (kritiek voor onevenwichtige datasets).
• Efficiëntie: Finetuning-tijd en rekenresources.

3. Belangrijkste Bijdragen

1. Eerste Groot-Schalige Vergelijking: Leverde de eerste head-to-head benchmark van open-weight LLM's tegen CFM's die in enorme schaal vooraf zijn getraind (tientallen miljoenen patiënten) voor ziekterisicovoorspelling.
2. Analyse van Serialisatiestrategie: Evalueerde de impact van het converteren van gestructureerde EHR-data naar tekst, waarbij bleek dat het LLaMA2-EHR-formaat (met diagnostische frequentie) andere formaten overtrof.
3. Nieuw Embedding Paradigma: Toonde aan dat het gebruik van LLM's als bevroren encoders om patiëntrepresentaties te genereren, gekoppeld aan eenvoudige classifiers, in specifieke scenario's zowel gefinetunde LLM's als gefinetunde CFM's overtreft.
4. Reproduceerbaarheidskader: Publiceerde een uitgebreide codebase (LLM2Predict) en evaluatiekader om toekomstige benchmarking te ondersteunen.

4. Belangrijkste Resultaten

Prestaties bij Finetuning (Grote Cohorten >30k patiënten)

• CFM's vs. Gefinetunde LLM's: Op grote EHR- en claims-cohorten presteerden gefinetunde CFM's (Med-BERT) iets, maar statistisch significant beter dan gefinetunde LLM's met <1% in AUROC.
  • Voorbeeld (DHF-EHR): Med-BERT + Bi-GRU (85,39%) vs. LLaMA-3.1-70B (84,73%).
• Klinische LLM's: Me-LLaMA presteerde vergelijkbaar met veel grotere algemene LLM's (bijv. LLaMA-3.1-70B), wat suggereert dat domeinspecifieke vooraftraining effectief is zelfs met kleinere parameteraantallen.
• Efficiëntie: CFM's waren aanzienlijk sneller te finetunen (<1 uur) in vergelijking met LLM's (4 tot 190 uur, afhankelijk van modelgrootte).

Open-Source Cohort (PaCa-EHRSHOT)

• AUROC: Gefinetunde LLM's (LLaMA-3.1-70B) behaalden iets hogere AUROC's dan CFM's, maar het verschil was niet statistisch significant (86,1% vs. 85,3%, p=0,27).
• AUPRC: CFM's presteerden significant beter dan LLM's in AUPRC, wat wijst op een betere omgang met klassenonevenwichtigheid.
  • Med-BERT v2: 55,9% AUPRC.
  • LLaMA-3.1-70B: 41,1% AUPRC.

De "Embedding + Classifier" Benadering (Beste Totaal)

• Verrassende Bevinding: De beste totale prestatie werd zonder finetuning van de LLM's behaald.
• Methode: Het gebruik van LLM's (specifiek Qwen3 en GPT-OSS) om patiënttraject-embeddings te genereren, gevolgd door een eenvoudige Logistische Regressie of MLP.
• Prestaties:
  • AUROC: Overschreed 90% (Qwen3 8B Embedding + Tekst: 90,8%).
  • AUPRC: Bereikte 66% (GPT-OSS 20B: 66,1%).
• Deze benadering overtrof zowel gefinetunde CFM's als gefinetunde LLM's op de EHRSHOT-dataset.

5. Betekenis en Conclusie

• Algemeen vs. Gespecialiseerd: Hoewel gespecialiseerde CFM's zeer concurrerend en efficiënt blijven voor finetuning op grote gestructureerde datasets, hebben algemene LLM's het potentieel om ze te evenaren of te overtreffen, vooral wanneer ze worden gebruikt als kenmerkextractors (encoders) in plaats van generatieve modellen.
• Rekenkundige Trade-off: Finetuning van LLM's is rekenkundig duur (40x langer dan CFM's) en levert marginale winsten op ten opzichte van CFM's in AUROC, vaak ten koste van een lagere AUPRC.
• Optimale Strategie: De studie suggereert dat voor gestructureerde EHR-risicovoorspelling de meest effectieve en efficiënte strategie misschien het gebruik is van moderne LLM's om hoogwaardige patiëntembeddings te genereren, die vervolgens worden ingevoerd in lichtgewicht classifiers. Dit vermijdt de enorme kosten van finetuning terwijl het gebruik wordt gemaakt van de vooraf getrainde kennis van de LLM.
• Toekomstige Richtingen: De auteurs raden aan om door LLM's gegenereerde embeddings te integreren in CFM-trainingpijplijnen om de sterke punten van beide benaderingen te combineren. Ze benadrukken ook de noodzaak van verder onderzoek naar multi-class taken, ongestructureerde data (klinische notities) en hybride architecturen.

Beperkingen: De studie richtte zich op binaire classificatie; resultaten zijn mogelijk niet generaliseerbaar naar regressie- of multi-class taken. Bovendien was de evaluatie beperkt tot gestructureerde data, waardoor de prestaties op ongestructureerde klinische notities onverkend blijven.