Pretraining on Adult ICU Data Accelerates Data Efficient AI Model Development in Critically Ill Children

Ziekenhuizen zijn enorme opslagplaatsen van menselijke ervaringen, waarin elke hartslag, ademhaling en bloedtest wordt vastgelegd in digitale stromen. Decennialang hebben wetenschappers geprobeerd computers te leren deze stromen te lezen, in de hoop te voorspellen wanneer een patiënt slechter kan worden of wanneer zij klaar zijn om naar huis te gaan. Dit veld, bekend als klinisch machine learning, werkt het best wanneer het beschikt over bergen data om van te leren. Het probleem is dat deze bergen niet gelijkmatig verdeeld zijn. Volwassenensintensieve zorgafdelingen zijn groot, goed gefinancierd en genereren enorme hoeveelheden informatie die onderzoekers kunnen raadplegen en bestudelen. Kinderintensieve zorgafdelingen, waar kinderen worden behandeld, zijn veel kleiner, vaak verspreid over gespecialiseerde centra, en hun data worden zelden gedeeld of zijn moeilijk toegankelijk. Dit creëart een moeilijke situatie: hoe bouw je een slim computerprogramma om zieke kinderen te helpen als je niet genoeg voorbeelden hebt van zieke kinderen om het te onderwijzen?

Een potentiële oplossing is een techniek genaamd transfer learning. Stel je een student voor die jarenlang de geschiedenis van één land heeft bestudeerd en vervolgens probeert de geschiedenis van een buurland te leren. Ze kunnen niet simpelweg hun oude aantekeningen kopiëren, omdat de data en gebeurtenissen anders zijn, maar ze kunnen hun begrip van hoe rijken opkomen en vallen, of hoe geografie de politiek vormgeeft, gebruiken om de nieuwe geschiedenis veel sneller te leren dan iemand die vanaf nul begint. In de wereld van kunstmatige intelligentie betekent dit dat men een model neemt dat al heeft geleerd van een enorme dataset van volwassen patiënten en die kennis gebruikt als startpunt om over kinderen te leren. De grote vraag waar onderzoekers voor stonden, was of deze afkorting daadwerkelijk werkt. Begrijpt de computer werkelijk de onderliggende patronen van ziekte goed genoeg om kinderen te helpen, of zijn de verschillen tussen volwassenen en kinderen te groot voor het model om te overbruggen?

Een team van onderzoekers van Imperial College London en verschillende Britse ziekenhuizen zette zich in om dit te beantwoorden door de grenzen van deze aanpak te testen. Ze begonnen met een enorme dataset van meer dan 71.000 verblijven op de intensive care van volwassenen uit de Verenigde Staten, een bron die bekend staat als MIMIC-IV. Ze trainden computermodellen op deze gegevens van volwassenen om zes specifieke taken uit te voeren: voorspellen of een patiënt zou overlijden, hoe lang zij in het ziekenhuis zouden verblijven, of zij nierletsel zouden ontwikkelen, of zij sepsis zouden ontwikkelen, hoe goed hun nieren functioneerden, en of zij klaar waren om van een beademingsapparaat te worden afgehaald. Nadat deze modellen waren getraind, namen de onderzoekers ze mee naar drie verschillende pediatrische intensive care-afdelingen in het VK, die samen gegevens bevatten van ongeveer 17.700 kinderen.

De eerste test was om te zien wat er zou gebeuren als ze de met volwassenen getrainde modellen simpelweg op de kinderen zouden gebruiken zonder verdere aanpassing. Dit staat bekend als een "zero-shot" implementatie, waarbij de computer probeert de kennis van volwassenen direct toe te passen op de nieuwe situatie. De resultaten waren duidelijk en teleurstellend. De modellen presteerden slecht. Bij het voorspellen van overlijden waren de modellen voor volwassenen veel minder accuraat dan modellen die specifiek op de kinderen waren getraind. Ze maakten ook aanzienlijke fouten bij het voorspellen van sepsis en nierproblemen. Sterker nog, de modellen waren zo zelfverzekerd in hun foute antwoorden dat ze vaak een zeer hoog risico op overlijden voorspelden voor kinderen die het eigenlijk goed deden. Dit toonde aan dat je niet simpelweg een model gebouwd voor volwassenen kunt nemen en verwachten dat het voor kinderen werkt; de biologische verschillen zijn te groot om te negeren.

Echter, het verhaal eindigde daar niet. De onderzoekers stelden vervolgens een meer genuanceerde vraag: als je begint met het model voor volwassenen, maar het vervolgens laat leren van een kleine hoeveelheid lokale pediatrische data, wordt het dan beter? Ze testten dit door het met volwassenen getrainde model te "fijn af te stemmen" (fine-tuning) met slechts 100 pediatrische patiëntendossiers. Ze vergeleken dit met het trainen van een volledig nieuw model vanaf nul met diezelfde 100 dossiers. Het verschil was opmerkelijk. Het model dat begon met de kennis van volwassenen en zich vervolgens aanpaste aan de kinderen, presteerde aanzienlijk beter dan het model dat vanuit het niets begon. In elke taak en op elke ziekenhuislocatie was het model dat de voorsprong van de volwassene gebruikte accurater. Bijvoorbeeld, bij het voorspellen van overlijden was het voordeel substantieel, waarbij het aangepaste model een veel duidelijker vermogen vertoonde om onderscheid te maken tussen patiënten die zouden overleven en zij die dat niet zouden doen.

De onderzoekers keken ook naar wat er gebeurde naarmate ze meer data toevoegden. Naarmate ze het aantal pediatrische dossiers verhoogden van 100 naar de volledige dataset van duizenden, werd de kloof tussen de twee benaderingen kleiner. Dit is logisch: als je genoeg data hebt, kun je een nieuw model alles leren wat het moet weten zonder hulp. Maar de belangrijkste bevinding was dat de pre-training op volwassenen ervoor zorgde dat het model een hoog prestatieniveau bereikte met veel minder pediatrische voorbeelden. In veel gevallen presteerde het model dat begon met de kennis van volwassenen en leerde van een paar honderd kinderen, even goed als een model dat vanaf nul was getraind op duizenden kinderen. Dit suggereert dat voor ziekenhuizen met zeer kleine hoeveelheden data, het gebruik van kennis over volwassenen als fundament een krachtige manier is om te beginnen.

De studie onderzocht ook precies wat de computer moest veranderen om dit werkbaar te maken. Ze ontdekten dat het simpelweg aanpassen van de getallen die de computer gebruikte om de patiënten te meten (zoals hoe het een gemiddelde bloeddruk berekende) niet genoeg was om het probleem op te lossen. De computer moest daadwerkelijk de relaties tussen de datapunten opnieuw leren. Wanneer de onderzoekers het deel van de computer dat patronen herkent "bevroren" en alleen de uiteindelijke besluitvormingslaag trainden, verbeterde het model aanzienlijk en herstelde het het grootste deel van de verloren nauwkeurigheid. Dit geeft aan dat het model voor volwassenen nuttige patronen had geleerd over hoe het lichaam reageert op stress en ziekte, maar dat het opnieuw getraind moest worden om die patronen toe te passen op de specifieke context van een kinderlichaam.

Uiteindelijk biedt het onderzoek een duidelijke weg vooruit voor de ontwikkeling van kunstmatige intelligentie in de pediatrische zorg. Het laat zien dat hoewel je een model voor volwassenen niet simpelweg kunt kopiëren en plakken om een kind te redden, je het model voor volwassenen kunt gebruiken als een krachtige springplank. Door te beginnen met de enorme kennis van de intensive care voor volwassenen en deze vervolgens zorgvuldig aan te passen aan lokale pediatrische data, kunnen ziekenhuizen effectieve beslissingsondersteunende instrumenten veel sneller en met veel minder data bouwen dan anders vereist zou zijn. De studie bevestigt dat deze aanpak het meest waardevol is waar data het schaarst zijn, wat een manier biedt om geavanceerde medische AI naar kleinere, gespecialiseerde centra te brengen die anders achtergesteld zouden blijven. Het is een herinnering aan het feit dat we in onze zoektocht om de ziekste patiënten te helpen, soms kunnen leren van de ervaringen van anderen, mits we bereid zijn het werk te doen om de verschillen te begrijpen.