Enhancing Medical Knowledge in Large Language Models via Supervised Continued Pretraining on Clinical Notes

Dit artikel beschrijft hoe een open-source instructiemodel via gesuperviseerde doorvoorttraining op 500.000 geanonimiseerde medische notities van Cedars-Sinai aanzienlijk betere prestaties levert op klinische taken zoals diagnosevoorspelling en hartstilstanddetectie dan grotere, niet-medisch getrainde modellen, zonder in te leveren op algemene kennis.

De kern

Stel je voor dat een grote taalmodel (LLM) als een extreem slimme, maar nogal algemene student is. Deze student heeft miljoenen boeken gelezen, weet alles over geschiedenis, wiskunde en dagelijkse gesprekken, en kan prachtige verhalen schrijven. Maar als je hem vraagt: "Wat betekent dit specifieke symptoom in een patiëntendossier?", dan schudt hij met zijn hoofd. Hij heeft namelijk nooit echte medische dossiers gezien. De toegang tot die dossiers is namelijk streng beveiligd om de privacy van patiënten te beschermen.

Dit onderzoek is als een intensieve medische stage voor die slimme student.

Hier is wat de onderzoekers hebben gedaan, vertaald in alledaags taal:

1. Het Probleem: De "Allesweter" die niets van geneeskunde afweet

De onderzoekers wilden een AI maken die echt kan helpen in het ziekenhuis. Maar de beste openbare AI-modellen zijn getraind op internetteksten, niet op medische dossiers. Het is alsof je een chef-kok aanstelt die alleen kookboeken uit de bibliotheek heeft gelezen, maar nooit in een echte keuken heeft gewerkt. Hij weet de theorie, maar niet de praktijk.

2. De Oplossing: Een "Geheime Kookles" met 500.000 recepten

De onderzoekers (van Cedars-Sinai in de VS) kregen toestemming om 500.000 anoniem gemaakte dossiers van de spoedeisende hulp te gebruiken. Ze hebben deze dossiers "gezuiverd" (alle namen en nummers zijn vervangen door symbolen, zodat niemand de patiënt herkent).

Ze namen een bestaand, compact AI-model (Qwen3-4B) en gaven het een specifieke taak:

• De Input: Het model kreeg het verhaal van de patiënt (klachten, onderzoek, tests).
• De Taak: Het moest het stukje schrijven dat artsen normaal gesproken schrijven: de Medische Beslissing (MDM). Dit is het stukje waar de arts uitlegt: "Ik denk dat het X is, omdat Y, en we gaan Z doen."

Het model leerde door te kijken naar duizenden voorbeelden van hoe echte artsen dit deden. Het was alsof je de student urenlang laat kijken naar hoe een meester-chef een gerecht bereidt, en hem dan laat proberen hetzelfde te doen.

3. De Resultaten: Van Student naar Pro

Na deze training gebeurde er iets interessants:

• De Stijl: De AI begon te schrijven precies zoals een arts. Korte, krachtige zinnen, zonder onnodig gezwets. Artsen die de teksten beoordeelden vonden: "Hey, dit klinkt als een van onze collega's!" De AI leerde de "taal" van het ziekenhuis.
• De Diagnose: Toen ze de AI vroegen om een diagnose te raden op basis van symptomen, deed hij het veel beter dan het ongetrainde model. Zelfs beter dan veel grotere modellen die geen medische training hadden gehad.
• De Hartstilstand: Ze testten of de AI ook andere dingen kon, zoals het opsporen van meldingen over hartstilstanden. Aanvankelijk was de AI een beetje "verward" (hij dacht dat er overal een hartstilstand was), maar met een korte extra training kon hij dit probleem oplossen en werd hij zelfs de beste in de klas.

4. Het Nadeel: De "Vergetelheid" en de "Korte Weg"

Er was echter een prijs voor deze specialisatie.

• Vergetelheid: Door zich te focussen op medische dossiers, werd de AI op sommige algemene onderwerpen (zoals wiskundige raadsels) iets minder goed. Het was alsof de student zo veel medische termen heeft geleerd dat hij even de naam van de hoofdstad van Frankrijk vergeet.
• De "Korte Weg" (Collapse): De AI leerde soms te veel op de "korte weg". In plaats van stap-voor-stap te redeneren (zoals een mens), begon hij soms zinnen te herhalen of direct een antwoord te geven zonder de tussenstappen uit te leggen. In de geneeskunde is dat gevaarlijk: je wilt weten waarom een arts tot een diagnose komt, niet alleen wat de diagnose is.

5. De Conclusie: Een Belofte, maar nog geen Voltooid Werk

Dit onderzoek toont aan dat je een AI kunt "specialiseren" in de geneeskunde zonder dat hij volledig zijn algemene kennis verliest. Het is een enorme stap in de richting van AI die echt in ziekenhuizen kan helpen.

Maar het is nog niet perfect. De AI is nu als een beginnende arts die de theorie en de stijl van de senior arts heeft overgenomen, maar soms nog niet diep genoeg nadenkt. De onderzoekers zeggen: "We hebben de basis gelegd, maar we moeten nog werken aan het 'redeneren' en het vermijden van fouten, zodat we deze AI veilig in de praktijk kunnen inzetten."

Kortom: Ze hebben een slimme computer getraind met echte ziekenhuisdossiers. Hij schrijft nu als een arts en raadt diagnoses beter, maar hij moet nog leren om net zo diep na te denken als een mens, zodat hij geen gevaarlijke fouten maakt.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) vertonen momenteel beperkte professionele medische kennis. Hoewel ze prestaties tonen op synthetische medische benchmarks (zoals MedQA), falen ze vaak in realistische klinische scenario's vanwege de ambiguïteit, inconsistenties en de longitudinale aard van echte patiëntdata. De belangrijkste oorzaak is de onvoldoende blootstelling aan domeinspecifieke data tijdens het pre-training, omdat toegang tot Elektronische Gezondheidsrecords (EHR) beperkt is door privacywetgeving. Bestaande open-source modellen, getraind op algemene publieke tekst, missen de nuance van echte klinische conceptrelaties. Er is een urgent behoefte aan modellen die getraind zijn op gediagnosticeerde EHR-data, zonder dat dit ten koste gaat van hun algemene taalvaardigheden.

Methodologie

De auteurs hebben een end-to-end training- en evaluatiepijplijn ontwikkeld om een instruct-getuned LLM te specialiseren voor klinische taken.

• Data: Er zijn ongeveer 500.000 gediagnosticeerde klinische notities van de Emergency Department (ED) van het Cedars-Sinai Health System gebruikt. De data is verwerkt via een rigoureuze de-identificatie (vervanging van PHI en cijfers). De dataset is opgesplitst in training (510k), validatie en testsets.
• Model: Er is gekozen voor het Qwen3-4B Instruct model. Dit is een compact, open-source model dat al getraind is op redeneringstaken.
• Trainingstrategie (Supervised Fine-Tuning - SFT):
  • Het model is getraind om de "Medical Decision Making" (MDM) sectie van een ED-notitie te genereren op basis van de patiëntpresentatie (anamnese, lichamelijk onderzoek, diagnostiek).
  • Om catastrofaal vergeten (catastrophic forgetting) te voorkomen, is 10% van de training bestaande uit algemene domeinvoorbeelden (uit datasets zoals Databricks Dolly 15K, Super-NaturalInstructions en LMSYS-Chat-1M).
  • De training vond plaats op één compute-node met acht A100 GPU's gedurende 172 uur, met een leersnelheid van 1e-5 en een maximale sequentielengte van 6.050 tokens.
• Evaluatie:
  1. Kwalitatieve Evaluatie: Twee erkende ED-artsen hebben gegenereerde MDM's beoordeeld op basis van de PDQI-9-schaal (nauwkeurigheid, volledigheid, bruikbaarheid, consistentie, begrijpelijkheid).
  2. Kwantitatieve Evaluatie (In-domein):
     • Diagnosevoorspelling: Voorspellen van ICD-codes op basis van de presentatie.
     • Detectie van hartstilstand in het ziekenhuis: Een taak die verder verwijderd ligt van MDM-generatie, om generalisatie te testen.
  3. Benchmark Evaluatie (Out-of-domein): Testen op 20 benchmarks (HELM-Lite en MedHELM) om te meten of algemene kennis en redeneervermogen behouden blijven.

Belangrijkste Bijdragen

1. Focus op Klinisch Redeneren: In plaats van generieke samenvattingen, richt de studie zich specifiek op de MDM-sectie, wat de kern vormt van het diagnostisch denkproces onder onzekerheid.
2. Systematische Multi-As Evaluatie: De studie biedt een uitgebreide evaluatie die niet alleen kijkt naar prestaties op de trainingsdoelstelling, maar ook naar transfer naar verre taken (hartstilstanddetectie) en de impact op algemene taalvaardigheden.
3. Reproduceerbaar Framework: Het biedt een schaalbaar en reproduceerbaar kader voor het ontwikkelen van klinisch onderbouwde LLMs binnen academische zorginstellingen, gebaseerd op een compact model (4B parameters) in plaats van alleen enorme modellen.

Resultaten

• Kwaliteit van MDM: Het fijngetunede model produceerde MDM's die qua stijl en leesbaarheid sterk leken op die van artsen en door de beoordelaars vaak als "bruikbaarder" en "comprehenzibeler" werden beoordeeld dan het basismodel. Het model leerde echter ook de neiging van artsen om kort en soms onvolledig te zijn (lagere score op volledigheid) en vertoonde soms hallucinaties (lagere interne consistentie).
• Diagnosevoorspelling: Het model presteerde aanzienlijk beter dan het basismodel (Qwen3-4B) en zelfs beter dan veel grotere modellen (Qwen3-32B en Llama-3.1-405B). De micro-strict F1-score steeg met 3,9 punten en de micro-overlapping F1-score met 16 punten.
• Hartstilstanddetectie: Zonder extra training presteerde het model matig (F1 10%). Na specifieke SFT op deze taak overtrof het alle concurrenten, inclusief een 100x groter model, met een F1-score van 0,89. Echter, zonder deze extra training vertoonde het model "label collapse" (het voorspelde bijna altijd een hartstilstand), wat wijst op een overgeneralisatie van de MDM-training.
• Algemene Vaardigheden: Het model behield zijn algemene kennis op de meeste benchmarks (7/12 algemene en 5/9 biomedische taken bleven binnen een acceptabel bereik of verbeterden). Er was echter sprake van een daling in prestaties op taken die multi-stap redenering vereisen (zoals GSM8K en MedQA).

Significantie en Discussie

De studie toont aan dat supervised continued pretraining op klinische notities effectief is om medische kennis in te bouwen zonder de algemene taalvaardigheden volledig te verliezen. Dit is een cruciale stap richting modellen die veilig in de kliniek kunnen worden ingezet.

Echter, de studie waarschuwt voor belangrijke valkuilen:

• Collapse-fenomenen: Het model vertoonde "mode collapse" (herhaling van zinnen) en "label collapse" (voorspellen van dezelfde uitkomst), wat extra zorgvuldige fine-tuning vereist.
• Verlies van Redeneerketen (Chain-of-Thought): Door de supervisie alleen op de eindantwoorden te baseren, verloor het model zijn vermogen om expliciete redeneerstappen te genereren (de <thought> tags werden leeg of kort). Dit is kritiek voor klinische toepassing, waar transparantie en onderbouwing essentieel zijn.
• Toekomstperspectief: De auteurs pleiten voor het gebruik van Reinforcement Learning with Human Feedback (RLHF) en het expliciet trainen op Chain-of-Thought data om de kwaliteit en betrouwbaarheid te verhogen. Ook wordt aangedrongen op het behouden van numerieke waarden (zoals laboratoriumwaarden) in de training, wat nu door de-identificatie verloren gaat.

Concluderend biedt deze studie een bewezen pad voor het ontwikkelen van institutionele, EHR-informeerde modellen, maar benadrukt het dat naïeve supervisie niet voldoende is voor veilige, volledige klinische deployering zonder aanvullende strategieën voor redenering en stabiliteit.