Evaluating the Incremental Value of AI-Derived ECG Features Beyond Automated ECG Reports and Clinical Data for 30-Day Mortality: A MIMIC-IV Cohort Study

Elk jaar lopen miljoenen mensen een ziekenhuis binnen om hun hart te laten controleren met een eenvoudige, pijnloze test die een elektrocardiogram, of ECG, wordt genoemd. Deze machine legt de elektrische activiteit van het hart vast als een golvende lijn op een scherm, waarmee een momentopname wordt gemaakt van hoe het hart op dat exacte moment slaat. Decennialang hebben artsen op deze lijnen vertrouwd om problemen te signaleren, waarbij ze zoeken naar specifieke vormen die wijzen op een hartaanval of andere ernstige aandoeningen. Tegenwoordig kunnen computers deze lijnen automatisch lezen, waarbij ze de hoogte en breedte van de golven meten en een kort rapport schrijven dat samenvvat wat het ziet. Maar naarmate kunstmatige intelligentie krachtiger is geworden, zijn onderzoekers een moeilijke vraag gaan stellen: zien deze nieuwe, complexe computermodellen iets wat de standaardrapportages en de aantekeningen van artsen zelf missen? Kan een deep-learning systeem, getraind om subtiele patronen in de ruwe elektrische golven te herkennen, beter voorspellen wie binnen een maand zal overlijden dan de instrumenten die we dagelijks gebruiken?

Een team van onderzoekers begon aan een onderzoek om dit te beantwoorden door te kijken naar een enorme collectie medische dossiers van een ziekenhuis in Boston. Ze richtten zich op meer dan 25.000 volwassenen die een ECG hadden ontvangen terwijl ze in het ziekenhuis lagen. Voor elke persoon verzamelden de onderzoekers drie verschillende soorten informatie om te zien welke de beste voorspeller was voor het feit of de patiënt binnen dertig dagen zou overlijden. Het eerste type was de ruwe data zelf, ingevoerd in een geavanceerd kunstmatige intelligentie-model dat was getraind op miljoenen hartslagen om de vorm van de golven te begrijpen. Het tweede type was een set van vijftien specifieke metingen die een onderzoeker met de hand uit dezelfde golven kan berekenen, zoals de duur van bepaalde bulten en dalen in de lijn. Het derde type was het eigenlijke geautomatiseerde rapport dat een ziekenhuiscomputer voor een arts genereert, inclusief basisgegevens over de patiënt zoals leeftijd, geslacht en een bekende medische geschiedenis van vóór aankomst in het ziekenhuis.

De onderzoekers vergeleken hoe goed elk van deze benaderingen de patiënten naar risico rangschikte. Ze ontdekten dat het kunstmatige intelligentie-model inderdaad beter was in het opsporen van gevaar dan de eenvoudige, handmatig berekende metingen. Wanneer ze alleen naar de hartgolven keken, identificeerde het AI-model de patiënten die zouden overlijden ongeveer 7,5 procent vaker dan de basismetingen deden. Dit gat bleef bestaan, zelfs toen ze de leeftijd, het geslacht en de medische geschiedenis van de patiënten toevoegden, hoewel het voordeel iets kleiner werd. In deze specifieke vergelijking zag de AI duidelijk iets wat de eenvoudige metingen niet zagen.

Echter, het verhaal veranderde toen de onderzoekers de AI vergeleken met het volledige, geautomatiseerde ziekenhuisrapport. Dit rapport is wat een arts daadwerkelijk op zijn computerscherm ziet; het bevat de basismetingen plus een lange lijst met diagnostische verklaringen en samenvattingen gegenereerd door de eigen software van het ziekenhuis. Toen de onderzoekers de geavanceerde AI tegenover dit rijkere, completere rapport zetten, verdween het voordeel bijna volledig. Het AI-model presteerde niet significant beter dan het standaard geautomatiseerde rapport, en in sommige tests was het verschil zo klein dat het op toeval gebaseerd kon zijn. Dit suggereert dat het standaard ziekenhuisrapport al de meeste nuttige informatie die verborgen zit in de hartgolven vastlegt, waardoor er weinig ruimte overblijft voor de nieuwe AI om nog iets aan toe te voegen.

Misschien wel de meest verrassende ontdekking ging over wie er gemarkeerd wordt voor beoordeling. In een echt ziekenhuis kunnen artsen niet elk individueel patiëntendossier bekijken; ze moeten kiezen welke ze nauwkeuriger onderzoeken. De onderzoekers simuleerden een scenario waarin ze alleen de bovenste 5 procent van de patiënten die als hoogste risico werden gerangschikt, konden beoordelen. Ze ontdekten dat het AI-model en het standaardrapport bijna hetzelfde aantal patiënten selecteerden die zouden overlijden, maar ze kozen bijna volledig andere mensen uit. De AI markeerde 136 patiënten die het standaardrapport miste, maar het miste ook 95 patiënten die het standaardrapport wel had gevangen. Dit betekent dat zelfs als twee instrumenten gemiddeld genomen even goed zijn in het voorspellen van de dood, ze artsen naar heel andere groepen mensen kunnen sturen. Het ene instrument kan een leven redden door een patiënt te vangen die het andere mist, terwijl het andere instrument een patiënt kan missen die de eerste had gevangen.

De studie onderzocht ook hoeveel van dit succes voortkwam uit het feit dat de AI vooraf op een enorme hoeveelheid hartdata was getraind. Ze testten of een nieuw, ongetraind computernetwerk net zo goed zou presteren als het dezelfde hoeveelheid tijd kreeg om te leren van de specifieke patiënten in deze studie. Ze ontdekten dat wanneer er voldoende data beschikbaar was om van te leren, de vooraf getrainde AI en het nieuwe, ongetrainde netwerk vrijwel identiek presteerden. Het voordeel van het vooraf getraind zijn op miljoenen hartslagen werd pas duidelijk toen de onderzoekers probeerden te leren van zeer kleine hoeveelheden data. Dit impliceert dat de kracht van deze geavanceerde modellen sterk kan afhangen van de hoeveelheid beschikbare data om hen te onderwijzen, in plaats van alleen de complexiteit van het model zelf.

Ten slotte testten de onderzoekers of deze bevindingen standhielden in een volledig andere omgeving. Ze namen de op Amerikaanse ziekenhuisdata getrainde modellen en pasten deze toe op een groep patiënten in Brazilië die nog nooit door het Amerikaanse systeem waren gezien. Zelfs in deze nieuwe populatie, met een ander gezondheidszorgsysteem en een langere tijdshorizon van één jaar in plaats van dertig dagen, behield het AI-model nog steeds een kleine voorsprong ten opzichte van de basismetingen. Echter, het gat verkleinde aanzienlijk in vergelijking met de volledige geautomatiseerde rapporten, wat het idee versterkte dat de standaardinstrumenten al een zeer goede taak vervullen.

De onderzoekers concluderen dat hoewel kunstmatige intelligentie waardevolle informatie uit hartgolven kan extraheren die eenvoudige metingen missen, de mogelijkheid om de volledige, geautomatiseerde ziekenhuisrapporten te verbeteren beperkt en onzeker is. De werkelijke waarde van deze nieuwe instrumenten ligt mogelijk niet in het simpelweg voorspellen van wie er zal overlijden, maar in hoe ze de keuze van de patiënten veranderen die artsen onderzoeken. Omdat de AI en de standaardrapporten verschillende patiënten prioriteit geven, kan het gebruik van de AI betekenen dat sommige hoogrisicopatiënten aandacht krijgen die anders over het hoofd zouden worden gezien, terwijl anderen die wel gevangen zouden zijn, juist worden gemist. Voordat deze instrumenten kunnen worden gebruikt om de werkwijze van ziekenhuizen te veranderen, is meer onderzoek nodig om precies te begrijpen welke patiënten profiteren van deze verschuiving en of de kosten voor het draaien van deze complexe systemen de moeite waard zijn voor het verschil in wie er gered wordt.