Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

Elk jaar verlaten miljoenen patiënten een ziekenhuis, om vervolgens binnen een maand terug te keren, vaak omdat hun herstel stagneerde of hun zorgplan uiteenviel. Deze cyclus van heropnames is een grote belasting voor gezondheidszorgsystemen, drijft de kosten op en is een teken dat er iets misging bij de overgang van het ziekenhuis naar de thuissituatie. Om dit te stoppen, hebben ziekenhuizen zich gericht op machine learning, een tak van de informatica waarbij software leert patronen te vinden in enorme hoeveelheden gegevens. Door deze programma's te voeden met elektronische patiëntendossiers — digitale bestanden die laboratoriumresultaten, medicatielijsten en aantekeningen van artsen bevatten — hopen onderzoekers hulpmiddelen te bouwen die de patiënten kunnen opsporen die het meest waarschijnlijk zullen terugkeren en hen extra hulp kunnen sturen voordat ze vertrekken. Jarenlang hebben wetenschappers deze hulpmiddelen beoordeeld op basis van één enkel getal: een score die meet hoe goed het model patiënten rangschikt van laagste naar hoogste risico. Als een model correct kan zeggen "deze patiënt is risicovoller dan die andere", krijgt het een hoge score, en dat was voldoende om het als een succes te verklaren.

Een nieuwe analyse suggereert echter dat dit enkele getal slechts de helft van het verhaal vertelt. Een snelle systematische review uitgevoerd door onderzoekers van de Chittagong University of Engineering and Technology onderzocht 156 studies gepubliceerd tussen 2020 en 2026 die gebruikmaakten van machine learning om 30-daagse ziekenhuisheropnames te voorspellen. Het team ontdekte dat hoewel deze modellen op papier vaak indrukwekkend lijken, ze er in de praktijk vaak niet in slagen te bewijzen dat ze zullen werken in de echte wereld. De onderzoekers ontdekten dat bijna alle studies vertrouwden op interne tests, waarbij het model wordt gecontroleerd aan de hand van gegevens van hetzelfde ziekenhuis dat het heeft gecreëerd. Zeer weinig studies testten of het model zou werken bij een ander ziekenhuis of met gegevens uit een latere periode. Bovendien controleerden de studies zelden of de risicopercentages die de modellen produceerden daadwerkelijk accuraat waren, of of de redenen die de modellen gaven voor hun voorspellingen zin maakten voor menselijke artsen. De review concludeert dat het vakgebied te snel is gegaan in het adopteren van flitsende nieuwe functies, terwijl de fundamentele controles die nodig zijn om te garanderen dat deze hulpmiddelen veilig en betrouwbaar zijn voor patiënten, zijn verwaarloosd.

Het kernprobleem dat is geïdentificeerd, is dat een model goed kan zijn in het rangschikken van patiënten zonder goed te zijn in het voorspellen van werkelijke uitkomsten. Stel je een weer-app voor die correct vertelt dat het dinsdag waarschijnlijker regent dan maandag, maar faalt in het vertellen dat de kans op regen op beide dagen eigenlijk nul procent is. In de context van ziekenhuisheropnames is dit onderscheid cruciaal. Ziekenhuizen moeten weten wat de werkelijke waarschijnlijkheid is dat een patiënt terugkeert, zodat ze kunnen beslissen hoeveel middelen ze moeten toewijzen. Als een model een kans van 90 procent op heropname voorspelt voor een patiënt die slechts 10 procent kans heeft, kan het ziekenhuis schaarse zorgdiensten voor de overgang verspillen aan die patiënt, terwijl ze anderen die het echt nodig hebben, missen. De review vond dat hoewel 85 procent van de studies de rangschikkingsscore rapporteerde, slechts ongeveer 15 procent vermeldde of hun voorspellingen overeenkwamen met de werkelijkheid, en slechts één studie een specifieke metriek gebruikte om deze nauwkeurigheid te meten.

Naast nauwkeurigheid keken de onderzoekers of deze modellen konden reizen. Een model dat gebouwd is op gegevens van een groot stedelijk academisch ziekenhuis in de ene stad, kan volledig falen wanneer het wordt toegepast op een rurale kliniek in een andere staat, simpelweg omdat de patiëntenpopulaties en medische praktijken anders zijn. Dit staat bekend als externe validatie. De review vond dat slechts 12 procent van de studies hun modellen testte in een nieuwe omgeving of op een later tijdstip. Wanneer de weinige studies die deze tests uitvoerden hun resultaten deelden, presteerden de modellen in de nieuwe omgeving bijna altijd slechter. In vijf gevallen waarin onderzoekers de prestaties van het model in het eigen ziekenhuis vergeleken met die in een nieuw ziekenhuis, daalde het vermogen om patiënten correct te rangschikken in elk geval. Dit suggereert dat veel modellen overfitted zijn aan hun specifieke lokale gegevens, waarbij ze de eigenaardigheden van één ziekenhuis vastleggen in plaats van universele tekenen van risico.

Nog een grote tekortkoming in het onderzoek is de uitlegbaarheid. Naarmate machine learning-modellen complexer zijn geworden, zijn onderzoekers tools gaan gebruiken om uit te leggen waarom een model een specifieke voorspelling deed, waarbij vaak wordt benadrukt welke factoren, zoals een hoge bloeddruk of een specifieke medicatie, het meest bijdroegen aan de risicoscore. De review merkte op dat het gebruik van deze uitlegtools is toegenomen, van minder dan 6 procent in de beginjaren van de reviewperiode naar bijna 30 procent in de meest recente jaren. De onderzoekers vonden echter dat hoewel studies snel deze verklaringen lieten zien, ze bijna nooit testten of de verklaringen daadwerkelijk correct of stabiel waren. Een model kan een specifieke laboratoriumwaarde aanwijzen als de reden voor een hoog risico, maar als die reden willekeurig verandert wanneer de gegevens licht worden aangepast, is de verklaring niet betrouwbaar. De review vond geen abstracts die evalueerden of de gegeven verklaringen betrouwbaar waren of dat artsen ze nuttig vonden.

De studie onderzocht ook of deze modellen verschillende groepen mensen eerlijk behandelen. Heropnamestatistieken kunnen worden beïnvloed door factoren die buiten de pure biologie liggen, zoals toegang tot vervoer of de mogelijkheid om medicijnen te betalen. Als een model leert van historische gegevens die deze ongelijkheden weerspiegelen, kan het bepaalde groepen onterecht als hoog risico markeren, simpelweg omdat ze minder toegang hebben tot zorg, in plaats van omdat ze medisch zieker zijn. De review vond dat slechts een klein deel van de studies, ongeveer 4,5 procent, controleerde op deze ongelijkheden tussen verschillende groepen mensen op basis van ras, geslacht of leeftijd. Dit gebrek aan controle betekent dat ziekenhuizen onbedoeld hulpmiddelen kunnen inzetten die bestaande vooroordelen in het zorgsysteem versterken.

De onderzoekers concludeerden dat het vakgebied de verkeerde dingen prioriteert. De snelle opkomst van het gebruik van complexe uitlegtools is voorbijgestreefd door de adoptie van fundamentele veiligheidscontroles, zoals het testen van modellen in nieuwe locaties of het verifiëren van hun nauwkeurigheid. De auteurs stellen dat voordat deze modellen worden gebruikt om echte beslissingen over patiëntenzorg te nemen, ze aan een minimale set standaarden moeten voldoen. Deze standaarden omvatten het testen van het model op gegevens van een ander ziekenhuis of een latere periode, het controleren of de voorspelde risico's overeenkomen met de werkelijke uitkomsten, en ervoor zorgen dat het model niet discrimineert tegen specifieke groepen. De review suggereert dat de volgende doorbraak in dit veld niet zal komen door het uitvinden van complexere algoritmen, maar door beter te bewijzen dat de hulpmiddelen die we al hebben veilig, accuraat en eerlijk zijn voor iedereen.