Do Clinical Notes Improve ICU Mortality Prediction? A Controlled Comparison of Structured and Multimodal EHR Fusion Strategies

In de hooggespannen omgeving van een intensive care-afdeling, waar elke minuut telt en de middelen schaars zijn, vertrouwen artsen op een constante stroom aan informatie om te beoordelen of een patiënt zal overleven. Deze informatie komt in twee verschillende vormen. De eerste is een lange lijst met getallen en codes: hartslagen, bloeddrukmetingen, laboratoriumuitslagen voor zuurstof en suiker, en de specifieke medicatie die wordt toegediend. Dit zijn gestructureerde gegevens, netjes georganiseerd in rijen en kolommen die computers direct kunnen lezen. De tweede vorm is de klinische aantekening, het narratief geschreven door artsen en verpleegkundigen. Dit zijn paragrafen tekst die de conditie van een patiënt beschrijven, de redenering van de arts, observaties over hoe de patiënt reageert op de behandeling, en de subtiele nuances van een lichamelijk onderzoek die niet in een selectievakje passen. Jarenlang was de heersende hoop in de medische technologie dat het combineren van deze twee bronnen — de harde cijfers en het menselijke verhaal — een superkrachtig systeem zou creëren dat in staat is om sterfte te voorspellen met een grotere nauwkeurigheid dan elk van beide alleen zou kunnen. De logica leek sluitend: als de cijfers je vertellen wat er met het lichaam gebeurt, zouden de aantekeningen je moeten vertellen waarom, wat een duidelijker beeld van de toekomst biedt.

Een recente studie zette zich af tegen deze hoop met rigoureuze precisie, door een eenvoudige maar moeilijke vraag te stellen: verbetert het toevoegen van de tekst van klinische aantekeningen daadwerkelijk het vermogen van een computer om te voorspellen of een patiënt in het ziekenhuis zal overlijden, nadat de computer al alle gestructureerde cijfers heeft gezien? Om het antwoord te vinden, wendden onderzoekers zich tot een enorme database met gegevens uit twintig duizend intensieve zorg-opnames. Ze concentreerden zich op de eerste vierentwintig uur van het verblijf van een patiënt op de afdeling, een kritieke periode waarin vroege beslissingen het verloop van de behandeling bepalen. Ze verzamelden de gestructureerde gegevens die beschikbaar waren tijdens die dag, zoals vitale functies en laboratoriumuitslagen, en koppelden deze aan de klinische aantekeningen die in diezelfde periode waren geschreven. De onderzoekers bouwden vervolgens zes verschillende computermodellen om als voorspellers te fungeren. Eén model keek alleen naar de cijfers. Een ander keek alleen naar de tekst. De overige vier modellen probeerden de twee te combineren, maar gebruikten daarvoor verschillende methoden. Sommige plakten de tekst en de cijfers simpelweg aan elkaar; andere gebruikten complexere manieren om de tekst de manier waarop de cijfers werden gewogen te laten beïnvloeden, of vice versa. Het doel was om te zien of een van deze gecombineerde benaderingen de prestaties van het model dat uitsluitend op de gestructureerde cijfers vertrouwde, kon overtreffen.

De resultaten van dit gecontroleerde experiment waren verrassend en daagden de aanname uit dat meer informatie altijd tot betere voorspellingen leidt. Het model dat alleen naar de gestructureerde cijfers keek — de vitale functies, laboratoriumuitslagen en medische codes — bleek de sterkste voorspeller van allemaal. Het identificeerde de patiënten die zouden overlijden met een nauwkeurigheid die de gecombineerde modellen niet consistent konden verslaan. Wanneer de onderzoekers de klinische aantekeningen aan de mix toevoegden, verbeterde de prestatie niet op een betekenisvolle manier. Sterker nog, de meest geavanceerde methoden voor het combineren van de tekst en de cijfers, die complexe algoritmen gebruikten om diepe verbanden tussen de twee te vinden, leverden geen betere resultaten op dan de eenvoudige aanpak van alleen naar de cijfers kijken. Het model dat uitsluitend vertrouwde op de tekst presteerde aanzienlijk slechter dan het model op basis van cijfers, en had moeite om onderscheid te maken tussen patiënten die zouden overleven en zij die dat niet zouden doen. Dit suggereert dat de voorspellende kracht van de klinische aantekeningen, hoewel reëel, niet sterk genoeg was om waarde toe te voegen aan de reeds krachtige signalen die door de gestructureerde gegevens werden gegeven.

Het verhaal is echter niet volledig een verhaal van falen voor de tekst. Hoewel de gecombineerde modellen niet beter werden in de algehele nauwkeurigheid, veranderden ze wel de manier waarop ze fouten maakten. Eén van de gecombineerde modellen, dat simpelweg de tekst en de cijfers samenvoegde, werd veel beter in het opsporen van de patiënten die zouden overlijden, waardoor een hoger percentage van hen werd gevangen dan het model met alleen de cijfers. Maar deze verhoogde sensitiviteit ging gepaard met een hoge prijs: het model begon ook veel gezonde patiënten als risicovol aan te merken terwijl dat niet zo was. Het genereerde een groot aantal valse alarmen. De onderzoekers ontdekten dat het voordeel van de tekst volledig afhing van wat het model probeerde te bereiken. Als het doel was om zo min mogelijk sterfgevallen te missen, hielp de tekst, maar maakte het het systeem ook veel minder betrouwbaar in zijn geheel. Als het doel was om breed gezaagd accuraat te zijn, voegde de tekst niets toe. De meest effectieve manier om de twee bronnen te combineren bleek een methode te zijn die het model in staat stelde de interactie tussen de tekst en de cijfers op een specifieke, gebalanceerde manier te wegen, maar zelfs deze best presterende combinatie kwam slechts overeen met de prestaties van het model met alleen de cijfers; het overtrof het niet.

Deze bevindingen suggereren dat de waarde van klinische aantekeningen niet automatisch is. De gestructureerde gegevens die in de eerste dag van een verblijf op de IC worden verzameld, bevatten een zo sterk signaal over de conditie van een patiënt dat de aanvullende informatie in de aantekeningen vaak overlapt met wat al bekend is. De aantekeningen bevatten weliswaar aanwijzingen over mortaliteit, maar in deze specifieke setting boden ze geen nieuwe, onafhankelijke informatie die de voorspelling boven wat de cijfers al boden, had kunnen verbeteren. De studie benadrukt een cruciale les voor de toekomst van medische kunstmatige intelligentie: het toevoegen van meer databronnen garandeert geen betere resultaten. In plaats daarvan moet de waarde van elk nieuw stuk informatie zorgvuldig worden afgemeten tegen een sterke baseline. In dit geval waren de gestructureerde cijfers de baseline, en ze bleken zo robuust dat de toevoeging van narratieve tekst de balans niet in het voordeel van een betere voorspelling deed doorslaan. Het onderzoek concludeert dat hoewel klinische aantekeningen nuttig zijn, hun integratie in voorspellingssystemen een zorgvuldige evaluatie vereist om ervoor te zorgen dat ze niet alleen complexiteit toevoegen zonder waarde te bieden.