A federated learning and recalibration pipeline for clinical prediction across heterogeneous regions: 30-day mortality after acute myocardial infarction

In het moderne tijdperk van de geneeskunde vertrouwen artsen steeds vaker op computerprogramma's om de toekomstige gezondheid van een patiënt te helpen voorspellen. Deze instrumenten, bekend als klinische voorspellingsmodellen, analyseren de huidige symptomen en de medische geschiedenis van een persoon om de waarschijnlijkheid van een specifieke uitkomst in te schatten, zoals de overlevingskans na een hartaanval. Voor deze programma's is het meestal nodig dat ze worden getraind op enorme hoeveelheden gegevens van veel verschillende mensen om accuraat te zijn. Echter, er bestaat een aanzienlijke barrière: medische dossiers bevatten diep persoonlijke informatie. Ziekenhuizen en onderzoekscentra kunnen hun ruwe patiëntgegevens vaak niet met elkaar delen vanwege strikte privacywetgeving en ethische zorgen. Dit creëert een dilemma waarbij de beste modellen gegevens vereisen die niet verplaatst kunnen worden, terwijl de bestaande gegevens opgesloten zitten in geïsoleerde silo's. Om dit op te lossen, hebben wetenschappers een methode ontwikkeld genaamd federated learning (federatief leren). In plaats van alle patiëntgegevens in één centrale database te verzamelen, staat deze aanpak ervoor dat elk ziekenhuis zijn gegevens op de eigen computers houdt. De computers communiceren vervolgens met elkaar door alleen de wiskundige lessen te delen die ze van hun lokale patiënten hebben geleerd, zonder ooit de identiteit of specifieke details van de patiënten te onthullen.

Een team van onderzoekers zette zich scharpe om te testen of deze methode effectief zou kunnen werken voor het voorspellen van de 30-dagen mortaliteit bij patiënten die lijden aan een acuut myocardinfarct, een ernstig type hartaanval. Ze gebruikten een enorme, bekende dataset van een grote internationale studie genaamd GUSTO-I, die meer dan 40.000 patiënten uit 16 verschillende regio's over de hele wereld omvatte. Het doel was om te zien of een model dat gebouwd is door de kennis van al deze regio's te combineren, de dood even nauwkeurig kon voorspellen als een model dat gebouwd is door alle ruwe gegevens samen te voegen, en of deze gecombineerde aanpak beter was dan het vertrouwen op modellen die in slechts één enkele regio zijn getraind. De onderzoekers vergeleken drie verschillende manieren om deze voorspellende instrumenten op te bouwen. De eerste was een traditionele aanpak waarbij alle patiëntgegevens naar één centrale locatie werden gepoold. De tweede hield in dat er een apart model werd getraind voor elke van de 16 regio's met behulp van uitsluitend de gegevens van die specifieke regio. De derde was de federatieve aanpak, waarbij de 16 regio's hun modellen lokaal trainden en alleen de resulterende wiskundige coëfficiënten deelden om een enkel globaal model te bouwen, gevolgd door een snelle aanpassing om ervoor te zorgen dat de algemene risicovoorspellingen correct gekalibreerd waren.

De resultaten toonden een duidelijk patroon met betrekking tot hoe goed deze modellen van de ene plek naar de andere reisden. Wanneer de onderzoekers de modellen testten binnen de specifieke regio waar ze werden gecreëerd, presteerden ze redelijk goed. Echter, wanneer ze een model dat in één regio was getraind probeerden te gebruiken om uitkomsten in een andere regio te voorspellen, daalde de nauwkeurigheid vaak aanzienlijk. Sommige modellen die lokaal goed werkten, werden onbetrouwbaar wanneer ze elders werden toegepast, waarbij ze een slecht vermogen toonden om onderscheid te maken tussen patiënten die zouden overleven en patiënten die dat niet zouden doen. Dit onderstreepte een groot probleem: lokale omstandigheden, patiëntendemografie en zorgpraktijken variëren genoeg zodat een model dat voor het ene gebied is gebouwd, niet automatisch werkt voor een ander gebied. In tegenstelling hiertoe bleven de modellen die gebouwd waren met gegevens van alle regio's gecombineerd — of het nu via de traditionele centrale pooling of de nieuwe federatieve methode was — stabiel en accuraat over alle 16 regio's. Deze globale modellen bereikten consistent een hoog niveau van nauwkeurigheid, waarbij ze patiënten correct rangschikten op risico met een AUC van 0,82, en ze behielden deze prestatie ongeacht welke regio werd getest.

De studie bevestigde ook dat de federatieve leermethode de prestaties van de traditionele centrale pooling-methode bijna exact kon evenaren. Het globale model dat via de federatieve aanpak werd gebouwd, waarbij geen enkele patiëntgegevens het thuisziekenhuis ooit heeft verlaten, presteerde net zo goed als het model dat gebouwd was vanuit de gepoolde dataset. Dit was een cruciale bevinding omdat het aantoonde dat privacy en hoogwaardige voorspelling niet wederzijds uitsluitend zijn. De onderzoekers merkten echter een kleine technische hindernis op in het federatieve proces. Wanneer de wiskundige coëfficiënten uit de verschillende regio's simpelweg werden gemiddeld, had het resulterende model de neiging om het algemene risico op overlijden licht te overschatten. Om dit te oplossen, voegde het team een lichte herkalibratiestap toe aan het einde. Deze stap paste de uiteindelijke voorspellingscijfers aan met behulp van enkel gedeelde samenvattende statistieken tussen de ziekenhuizen, waardoor de bias effectief werd gecorrigeerd zonder de individuele patiëntgegevens te hoeven inzien. Na deze aanpassing waren de voorspellingen van het federatieve model perfect afgestemd op de gecentraliseerde model.

De onderzoekers onderzochten ook de interne structuur van deze modellen om te begrijpen waarom ze werkten zoals ze deden. Ze ontdekten dat de wiskundige regels die door het federatieve model werden geleerd, zeer vergelijkbaar waren met de regels die door het gecentraliseerde model werden geleerd, wat suggereert dat de gedistribueerde methode succesvol dezelfde onderliggende patronen van ziekte en risico heeft gevangen. In tegenstelling hiertoe vertoonden de modellen die op enkele regio's waren getraind veel meer variatie in hun interne regels, wat verklaarde waarom ze moeite hadden wanneer ze in andere gebieden werden toegepast. Eén regio produceerde in het bijzonder een model dat heel anders was dan de anderen en slecht presteerde bij testen elders, wat het idee versterkte dat het vertrouwen op een enkele lokale dataset kan leiden tot fragiele voorspellingen. De studie concludeerde dat hoewel lokale modellen nuttig kunnen zijn binnen hun eigen grenzen, ze vaak falen bij het generaliseren naar nieuwe omgevingen. De federatieve leeraanpak, gecombineerd met een eenvoudige correctie voor het algemene risico, biedt een praktische en veilige manier om robuuste voorspellingsinstrumenten te bouwen die werken over verschillende landen en gezondheidszorgsystemen heen, terwijl de gevoelige patiëntgegevens veilig binnen de muren van elk ziekenhuis blijven.