A Foundation Model for Intensive Care: Unlocking Generalization across Tasks and Domains at Scale

Dit onderzoek introduceert ICareFM, een transformer-gebaseerd fundamenteel model dat is getraind op meer dan één miljard datapunten van 16 kritische zorg-datasets wereldwijd en dat zonder lokale aanpassing of hertraining generaliseert over verschillende ziekenhuizen en klinische taken, waarbij het de prestaties van lokaal getrainde modellen en traditionele scores overtreft.

De kern

Stel je voor dat elke ziekenhuisafdeling voor intensieve zorg (IC) een eigen taal spreekt. In het ene ziekenhuis wordt de bloeddruk elke minuut gemeten, in het andere elke vijf minuten. In het ene ziekenhuis wordt een medicijn "A" genoemd, in het andere "B".

Voor een computermodel is dit een nachtmerrie. Normaal gesproken moet je voor elk ziekenhuis een nieuw, uniek model bouwen, alsof je voor elke stad in Nederland een andere navigatie-app moet programmeren omdat de straten er anders uitzien. Dit kost enorm veel tijd, geld en data, en kleine ziekenhuizen kunnen dit vaak niet betalen.

Deze paper introduceert ICareFM: een "supermodel" dat dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Alles-kunnende Reiziger" (Het Basismodel)

Stel je voor dat je een jonge studentarts hebt die niet in één ziekenhuis werkt, maar die 16 verschillende ziekenhuizen in drie continenten (Amerika, Europa, Azië) heeft bezocht. Hij heeft daar meer dan 1,1 miljoen patiënten gezien en heeft een enorme hoeveelheid ervaring opgedaan.

In plaats van dat deze studentarts alleen weet hoe hij in zijn eigen ziekenhuis moet werken, heeft hij geleerd om de onderliggende patronen van ziekte te begrijpen. Hij weet dat als het hart langzaam gaat kloppen en de zuurstof daalt, de patiënt in gevaar is – ongeacht of dit in Berlijn, New York of Zürich gebeurt.

Dit is wat ICareFM doet: het is een fundamenteel model (een "foundation model") dat is getraind op een enorme, gestandaardiseerde dataset. Het heeft geleerd om de "taal" van de menselijke fysiologie te spreken, ongeacht welke ziekenhuis-apparatuur de data genereert.

2. De "Magische Zelfsticker" (Generalisatie)

Het meest indrukwekkende deel is dat dit model niet opnieuw hoeft te worden getraind als het naar een nieuw ziekenhuis gaat.

• Het oude probleem: Als je een model naar een nieuw ziekenhuis bracht, moest je het eerst "leren" met duizenden lokale patiëntendata. Dit was als een auto die in Nederland rijdt, maar als je hem naar Frankrijk brengt, moet je eerst de wielen vervangen en de motor opnieuw afstellen.
• Het nieuwe wonder (Dual Zero-Shot): ICareFM rijdt direct door. Je kunt het in een nieuw ziekenhuis zetten en het werkt direct. Het kan voorspellen of een patiënt binnen 8 uur in shock raakt, of dat de nieren falen, zonder dat het ziekenhuis ook maar één patiëntendata heeft gebruikt om het te "leren".

Het model zegt eigenlijk: "Ik heb dit al duizenden keren gezien in andere ziekenhuizen. Ik weet hoe dit eruit ziet, zelfs als jullie apparatuur anders is."

3. De "Rekenmachine voor Vragen" (Flexibiliteit)

Vroeger moest je een model bouwen voor één specifieke vraag, bijvoorbeeld: "Wanneer sterft de patiënt?". Als je later wilde weten: "Wanneer stijgt de bloedsuiker?", moest je een heel nieuw model bouwen.

ICareFM werkt als een slimme rekenmachine. Je kunt er vragen aan stellen in gewone taal (via een chatbot) of met specifieke regels:

• "Wat is de kans dat de bloeddruk onder de 65 zakt binnen 8 uur?"
• "Wat is de kans dat de urineproductie stopt binnen 24 uur?"

Het model heeft geen nieuwe training nodig; het past zijn kennis direct toe op jouw specifieke vraag. Het is alsof je een universele vertaler hebt die elke taal (elk ziekenhuis) en elk onderwerp (elk medisch probleem) begrijpt.

4. De "Kopieer- en Plak-Strategie" (Adaptatie)

Soms heeft een ziekenhuis wel wat data, maar niet genoeg om een eigen model te bouwen. De onderzoekers tonen aan dat ICareFM een gigantische voorsprong heeft.

Stel je voor dat een lokaal ziekenhuis een eigen model wil bouwen. Ze moeten dan ongeveer 15.000 patiënten hebben om even goed te presteren als ICareFM dat doet zonder enige lokale training.

• Zonder ICareFM: Een ziekenhuis moet 15.000 patiënten verzamelen en maandenlang trainen.
• Met ICareFM: Ze kunnen het model direct gebruiken (gratis en direct werkend) of het met heel weinig data (bijvoorbeeld 100 patiënten) nog iets "finetunen" om het perfect op hun eigen situatie af te stemmen.

Dit is een enorme besparing voor kleine ziekenhuizen die niet over de data-rijkdom van grote academische centra beschikken.

5. De "Vertaler" (Samenwerking met AI)

Het model is technisch complex, maar de onderzoekers hebben het gekoppeld aan Large Language Models (zoals ChatGPT).

• Een arts kan typen: "Ik maak me zorgen over de nieren van deze patiënt, wat is het risico?"
• De AI vertaalt dit naar de complexe vragen die ICareFM nodig heeft.
• ICareFM doet de zware rekenwerk en geeft een nauwkeurig antwoord.
• De AI vertaalt het antwoord weer terug naar begrijpelijk Nederlands voor de arts.

Waarom is dit belangrijk?

Vroeger dachten we dat elke ziekenhuisafdeling zijn eigen "slimme model" nodig had, omdat elk ziekenhuis anders werkt. Deze paper zegt: "Nee, dat is niet nodig."

Door een model te bouwen dat de werkelijke ziekteprocessen leert in plaats van de specifieke ziekenhuisregels, kunnen we een gelijk speelveld creëren. Kleine ziekenhuizen krijgen toegang tot dezelfde geavanceerde voorspellende technologie als de grootste academische centra, wat de zorg voor patiënten wereldwijd kan verbeteren.

Kortom: Het is alsof we eindelijk een universele GPS hebben voor kritieke zorg die in elk ziekenhuis ter wereld werkt, zonder dat je eerst een nieuwe kaart hoeft te tekenen.

Technische samenvatting

Probleemstelling

In de intensive care (ICU) en spoedeisende hulp (SEH) wordt continu hoogfrequente fysiologische data verzameld (vitalen, laboratoriumwaarden, medicatie). Hoewel deze data rijk is aan voorspellende informatie, wordt deze vaak onderbenut. Bestaande voorspellende modellen zijn doorgaans:

1. Taak-specifiek: Ontworpen voor één specifieke uitkomst (bijv. sepsis of mortaliteit).
2. Lokaal getraind: Getraind op data van één enkele instelling.
3. Moeilijk te generaliseren: Hun prestaties verslechteren aanzienlijk bij toepassing in andere ziekenhuizen door verschillen in patiëntenpopulaties, meetfrequentie en behandelingsprotocollen ("domeinverschuiving").

Dit leidt tot dure en tijdrovende herontwikkeling van modellen voor elke nieuwe instelling, wat de schaalbaarheid van datagedreven besluitvorming beperkt en gezondheidsongelijkheid versterkt (kleinere ziekenhuizen hebben vaak niet de data om modellen lokaal te trainen). Er is een behoefte aan een model dat zowel tussen taken (verschillende klinische uitkomsten) als tussen domeinen (verschillende ziekenhuizen) kan generaliseren zonder lokale hertraining.

Methodologie

1. Dataset Creatie en Harmonisatie
De auteurs hebben een unificerend dataset gecreëerd door 16 kritieke zorg-datasets te harmoniseren uit Noord-Amerika, Europa en Azië (inclusief MIMIC-III/IV, eICU, HiRID, en private cohorts van Charité en Robert Bosch Krankenhaus).

• Omvang: Meer dan 1,1 miljoen patiëntopnames (ongeveer 8.400 patiëntjaren) met meer dan 1 miljard datapunten.
• Harmonisatie: Er werden 130 gedefinieerde klinische concepten vastgesteld (demografie, vitalen, laboratoriumwaarden, medicatie). Dit omvatte het mappen van meer dan 16.000 ruwe variabelen naar standaardconcepten, ondersteund door Large Language Models (LLM's) en geverifieerd door artsen.

2. Model Architectuur: ICareFM
ICareFM is een transformer-gebaseerd foundation model dat is voorgetraind op deze harmoniserende data.

• Pre-training Doel: In plaats van het voorspellen van specifieke labels, leert het model een tijd-tot-evenement (time-to-event) objectief. Het schat de kans dat een fysiologische variabele een door de gebruiker gespecificeerde drempelwaarde ($\tau$) binnen een bepaald tijdsvenster ($h$) overschrijdt.
• Flexibiliteit: Omdat het model leert op drempelwaarden en niet op vaste labels, kunnen artsen bij inferentie nieuwe vragen stellen (bijv. "kans op lactaat > 2 mmol/L binnen 8 uur") zonder het model opnieuw te hoeven trainen.
• Inferentie: Het model gebruikt een causale transformer om patiënttoestanden te coderen. Klinische gebeurtenissen (zoals orgaanfalen) worden samengesteld uit de kansen op het overschrijden van individuele drempels.

3. Evaluatie Framework: Local Patient Equivalence (LPE)
Om de praktische waarde te kwantificeren, introduceerden de auteurs de Local Patient Equivalence (LPE).

• Definitie: Het aantal gelabelde patiëntopnames dat een lokaal getraind model (bijv. een gradient-boosted tree of diep neurale netwerk) nodig heeft om de prestaties van het voorgetrainde ICareFM-model te evenaren.
• Doel: Dit geeft ziekenhuizen een concrete richtlijn: als een ziekenhuis minder gelabelde data heeft dan de LPE-waarde, is het beter om het voorgetrainde model te gebruiken dan een lokaal model te trainen.

4. Deploymentscenario's
De auteurs evalueerden vier modi:

1. Dual Zero-Shot: Geen lokale of taak-specifieke training; direct gebruik van het voorgetrainde model.
2. Externe Adaptatie: Fine-tuning op gelabelde data van andere ziekenhuizen, gevolgd door toepassing op het doelziekenhuis.
3. Lokale Adaptatie: Fine-tuning uitsluitend op lokale gelabelde data.
4. Gestageerde Adaptatie: Eerst externe taak-adaptatie, gevolgd door lokale domein-adaptatie.

Belangrijkste Resultaten

1. Dual Zero-Shot Generalisatie
Zonder enige lokale training of aanpassing (dual zero-shot) behaalde ICareFM een mediaan AuROC van 0,837 over zeven voorspellingstaken (circulatoir, respiratoir, nier-, leverfalen, hyperglykemie, sepsis, mortaliteit) en negen externe ICU-cohorten.

• Dit was significant beter dan bestaande klinische scores (gemiddeld +0,049 AuROC verbetering).
• Het presteerde gelijk aan gespecialiseerde lokale modellen die waren getraind op ongeveer 1.025 gelabelde patiëntopnames (mediaan LPE).

2. Impact van Adaptatie

• Gestageerde Adaptatie: Wanneer het model eerst op externe data en daarna op lokale data werd aangepast, kon het lokale modellen die waren getraind op 14.709 patiëntopnames evenaren of overtreffen. In 84% van de scenario's was de lokale dataset te klein om een beter model te trainen dan het aangepaste ICareFM.
• Validatie: Onafhankelijke validatie op grote cohorts van Charité (Berlijn) en Robert Bosch Krankenhaus (Stuttgart) bevestigde deze resultaten. ICareFM overtrof lokale modellen die waren getraind op respectievelijk >100.000 en >60.000 patiëntopnames.

3. Generalisatie Buiten de ICU
Het model generaliseerde succesvol naar de spoedeisende hulp (SEH) en algemene ziekenhuisafdelingen, waar data dichter bij elkaar ligt en heterogener is. Gestageerde adaptatie overtrof lokaal getrainde modellen in 9 van de 10 geteste SEH/afdelings-scenario's.

4. Integratie met LLM's
Door ICareFM te koppelen aan Large Language Models (LLM's) via "tool calling", konden artsen natuurlijke taalvragen stellen (bijv. "Wat is het risico op circulatoir falen binnen 8 uur?"). De LLM vertaalde dit naar een gestructureerde query voor ICareFM. Deze combinatie presteerde aanzienlijk beter dan LLM's die alleen op tijdsreeksen voorspellingen deden of standaard klinische scores.

5. Schaalbaarheid en Diversiteit

• Er werd een machtsverband gevonden: een 5-voudige toename in voortrainingsdata leidde tot een 3-voudige verbetering in de LPE (efficiëntie).
• Een model getraind op diverse, multi-institutionele data presteerde beter bij generalisatie dan een model dat even groot was maar uitsluitend op data van één ziekenhuis (Charité) was getraind.

Bijdragen en Betekenis

Technische Innovatie

• Dual Zero-Shot Generalisatie: Dit is de eerste systematische evaluatie van een foundation model dat zowel over taken als over ziekenhuizen generaliseert zonder lokale hertraining.
• Drempel-geconditioneerd voortraining: Het vermogen om klinische vragen dynamisch te definiëren via drempelwaarden en tijdsvensters, in plaats van vaste labels, biedt ongeëvenaarde flexibiliteit.
• LPE Framework: Een nieuw, praktisch meetinstrument om de trade-off tussen lokale modelontwikkeling en het gebruik van foundation modellen te kwantificeren.

Klinische en Maatschappelijke Impact

• Democratisering van AI: Kleinere ziekenhuizen met beperkte data kunnen nu gebruikmaken van state-of-the-art voorspellingsmodellen die normaal gesproken alleen beschikbaar zouden zijn voor grote academische centra.
• Efficiëntie: Het elimineert de noodzaak om voor elke nieuwe instelling en elke nieuwe ziektebeeld een model van nul af aan te bouwen.
• Eerlijkheid: Het model toonde geen significante toename in ongelijkheid (fairness disparities) ten opzichte van lokale modellen over geslacht, leeftijd en etniciteit.

Conclusie
De studie toont aan dat "alle modellen lokaal zijn" geen noodzakelijke waarheid meer is. Een foundation model, voorgetraind op harmoniserende, multi-continentale data, kan de drempel voor data-gedreven klinische besluitvorming verlagen en biedt een schaalbare, eerlijke basis voor acute zorg, mits de data-infrastructuur en registratiepraktijken van het doelziekenhuis voldoende consistent zijn. De code, verwerkingspijplijnen en modelgewichten zijn vrijgegeven ter ondersteuning van onafhankelijke validatie.