Temporal evaluation of machine-learning models for early in-hospital mortality prediction after acute trauma using routinely collected emergency department data: a multicentre retrospective cohort study
Deze multicentrische retrospectieve studie toont aan dat hoewel machine learning-modellen die gebruikmaken van routinematige gegevens uit de spoedeisende hulp een hoge discriminatie bereiken voor het voorspellen van in-hospital mortaliteit na acuut trauma, hun vaste operationele drempelwaarden een significante temporele instabiliteit en verminderde prestaties bij ouderen vertonen, wat het cruciale belang onderstreept om kalibratie en betrouwbaarheid binnen subgroepen naast geaggregeerde metrieken te evalueren vóór klinische implementatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de chaotische eerste minuten na een ernstig ongeval staan artsen op de spoedeisende hulp voor een race tegen de klok. Ze moeten beslissen welke patiënten direct gevaar lopen om te overlijden en wie waarschijnlijk zal herstellen, vaak nog voordat er laboratoriumtests of scans beschikbaar zijn. Om hiermee te helpen, gebruiken clinici al lang eenvoudige scoresystemen die basiskenmerken zoals bloeddruk, ademhalingsfrequentie en hoe alert iemand is, tegen elkaar afwegen. Deze instrumenten zijn nuttig, maar ze vertrouwen op vaste formules die zich niet gemakkelijk kunnen aanpassen aan de complexe, rommelige realiteit van menselijk letsel. In de afgelopen jaren zijn computerprogramma's die bekend staan als machine learning voorgesteld als een slimmer alternatief. Deze programma's kunnen enorme hoeveelheden gegevens doorzoeken om subtiele patronen te vinden die mensen misschien missen, wat potentieel een nauwkeurigere manier biedt om te voorspellen wie zal overleven en wie niet. Een model dat echter perfect werkt op de gegevens van gisteren, garandeert niet dat het morgen zal werken, noch betekent een hoge score op een test dat het hulpmiddel klaar is voor gebruik in de echte wereld. De echte test voor een dergelijk systeem is of het betrouwbaar blijft naarmate de tijd verstrijkt en of het alle patiënten eerlijk behandelt, ongeacht hun leeftijd of het type letsel dat zij hebben opgelopen.
Een team van onderzoekers in Zuid-Korea zette zich af tegen precies deze vraag met behulp van een enorme collectie gegevens uit de echte wereld. Ze verzamelden gegevens van bijna 630.000 volwassenen die tussen 2019 en 2023 met acute verwondingen op spoedeisende hulpafdelingen in het hele land arriveerden. Het doel was om computermodellen te bouwen die de sterfte in het ziekenhuis konden voorspellen met behulp van alleen de informatie die beschikbaar is op het moment dat een patiënt voor het eerst binnenloopt: hun leeftijd, hoe ze gewond zijn geraakt, hoe ze zijn getransporteerd en hun initiële vitale functies. De onderzoekers trainden vier verschillende soorten machine-learningalgoritmen op gegevens van de eerste vier jaar en stelden toen een eenvoudige, kritische vraag: zouden deze zelfde modellen, zonder enige wijziging of hertraining, nog steeds nauwkeurig werken wanneer ze worden toegepast op patiënten uit 2023?
De resultaten waren een mix van indrukwekkend vermogen en nuchtere voorzichtigheid. Toen de onderzoekers de modellen testten op de patiënten uit 2023, waren de computerprogramma's opmerkelijk goed in het rangschikken van patiënten. Ze konden succesvol onderscheid maken tussen degenen die zouden overlijden en degenen die zouden leven, waarbij ze een nauwkeurigheidsniveau bereikten dat de traditionele scoringsmethoden ver overtrof. Sterker nog, de modellen waren zo effectief in deze rangschikkingstaak dat ze de volgorde van risico voor bijna alle patiënten correct identificeerden. Echter, de studie onthulde een cruciale tekortkoming toen de onderzoekers probeerden deze modellen te gebruiken om specifieke, vaste beslissingen te nemen. Wanneer het team een specifieke regel toepaste die in de eerdere jaren was ontwikkeld — zoals "vlag iedereen met een risicoscore boven dit getal als hoog risico" — en deze toepaste op de patiënten uit 2023, faalde de regel erin om evenveel stervende patiënten te vangen als eerder. Een regel die 90 procent van de risicopatiënten in de trainingsperiode ving, ving er ongeveer 79 procent een jaar later. Dit betekent dat hoewel de computer wist wie zieker was dan wie, de exacte lijn die werd getrokken om een alarm te activeren, in de loop der tijd minder betrouwbaar was geworden.
De studie onthulde ook dat de modellen niet voor iedereen even goed werkten. Hoewel de programma's uitzonderlijk goed presteerden voor jongere volwassenen, daalde hun vermogen om tussen leven en dood te onderscheiden aanzienlijk voor patiënten van 65 jaar en ouder. Deze oudere groep, die daadwerkelijk een hogere sterftecijfer had, was moeilijker voor de modellen om nauwkeurig te voorspellen. Bovendien waren de ruwe getallen die de computer uitspuugde geen directe waarschijnlijkheden van overlijden; ze waren vertekend door de manier waarop het systeem was geleerd om te gaan met het feit dat de meeste patiënten overleven. Om dit op te lossen, moesten de onderzoekers een wiskundige aanpassing toepassen op de voorspellingen van 2023, wat de schattingen van de computer succesvol in lijn bracht met het werkelijke aantal sterfgevallen dat werd waargenomen. Zonder deze aanpassing zou het systeem het risico voor individuele patiënten enorm overschatten.
Uiteindelijk suggereert dit onderzoek dat hoewel machine learning grote belofte inhoudt voor de spoedeisende zorg, het nog geen afgewerkt product is dat klaar is om menselijk oordeel te vervangen. De studie toont aan dat een model uitstekend kan zijn in het sorteren van patiënten op risico, terwijl het nog steeds kan falen in het bieden van stabiele, actiegerichte waarschuwingen in de loop van de tijd. De onderzoekers benadrukken dat voor deze instrumenten om veilig en nuttig te zijn in een ziekenhuis, ze niet alleen getest moeten worden op hun vermogen om patiënten te rangschikken, maar ook op de vraag of hun specifieke waarschuwingsdrempels stabiel blijven naarmate de jaren verstrijken en of ze eerlijk presteren over verschillende leeftijdsgroepen. Totdat deze onafhankelijke validatie en testen in de echte wereld zijn voltooid, blijven deze krachtige algoritmen geavanceerde onderzoeksinstrumenten in plaats van gevestigde klinische gidsen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.