From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

Wanneer een kind een ziekenhuisspoedafdeling verlaat, ontvangt de familie een document dat twee moeilijke dingen tegelijkertijd moet doen. Het moet de volgende arts precies vertellen wat er is gebeurd en welke behandeling er is gegeven, met gebruik van precieze medische taal. Tegelijkertijd moet het dezelfde gebeurtenissen aan een bezorgde ouder uitleggen in begrijpelijke woorden, zodat zij weten hoe ze voor het kind kunnen zorgen thuis en wanneer ze moeten terugkeren als er zaken misgaan. Decennialang hebben artsen deze samenvattingen met de hand geschreven of door vaste formulieren in te vullen, een proces dat traag kan zijn en soms belangrijke details weglaat of taal gebruikt die moeilijk te begrijpen is. Onlangs is er een nieuw soort computerprogramma opgekomen, bekend als een groot taalmodel. Deze programma's kunnen het medisch dossier van een patiënt lezen en in enkele seconden een concept van een ontslagbericht schrijven. De hoop is dat deze hulpmiddelen de documenten duidelijker en sneller te produceren maken. Maar een kritische vraag blijft over: als een computer het eerste concept schrijft, ziet de arts dan daadwerkelijk de fouten die de computer maakt voordat de familie het papier mee naar huis neemt?

In een ziekenhuis in Montpellier, Frankrijk, zetten onderzoekers zich in om deze vraag te beantwoorden door te observeren hoe artsen met deze nieuwe hulpmiddelen omgaan in realtime. Ze vroegen artsen niet simpelweg of ze het werk van de computer goed vonden; ze bekeken het hele proces, van het moment dat de computer een concept genereerde tot het moment dat de arts het definitieve document ondertekende. Het team rekruteerde 153 kinderen die werden ontslagen uit de pediatrische spoedeisende hulp. Ze verdeelden deze families in twee groepen. Eén groep ontving de standaard ontslagbrief die het ziekenhuis altijd had gebruikt, samengesteld vanuit een vast sjabloon. De andere groep ontving een samenvatting die door een computerprogramma was opgesteld dat draaide op de eigen beveiligde servers van het ziekenhuis, die vervolgens werd beoordeeld en ondertekend door dezelfde arts die het kind had behandeld. De onderzoekers bewaarden elke versie van het document: de oorspronkelijke medische aantekeningen, het eerste concept van de computer en het definitieve papier dat aan de familie werd overhandigd. Dit stelde hen in staat om precies te zien wat de computer veranderde, wat de arts veranderde en welke fouten erdoorheen waren geglipt.

De resultaten toonden aan dat de computer erg goed was in het eenvoudiger maken van de taal. De documenten geschreven voor families in de computerondersteunde groep gebruikten meer gangbare woorden en minder technische termen dan de standaarddocumenten. Echter, toen de onderzoekers enkele dagen later controleerden hoe goed de families de instructies daadwerkelijk begrepen, was er geen verschil tussen de twee groepen. Of het document nu door een sjabloon was geschreven of door een computer, families herinnerden zich het vervolgplan en de waarschuwingssignalen om op te letten met een vergelijkbare nauwkeurigheid. Sterker nog, in beide groepen kreeg bijna de helft van de families de details van het vervolgplan verkeerd, wat suggereert dat het probleem niet alleen ligt in hoe de woorden worden geschreven, maar in hoe de informatie wordt gecommuniceerd tijdens het drukke moment van ontslag.

Het meest onthullende deel van de studie was wat er achter de schermen gebeurde wanneer de arts het concept van de computer beoordeelde. De onderzoekers ontdekten dat de computer fouten maakte, maar dat de artsen actieve en zorgvuldige redacteurs waren. In de groep waar de computer het concept schreef, veranderden de artsen de tekst in bijna elk geval. Ze verwijderden informatie die de computer had verzonnen en die niet in het medisch dossier stond, en ze corrigeerden fouten waarbij de computer een medische afkorting verkeerd had begrepen. Bijvoorbeeld, de computer breidde soms een korte medische code uit naar de verkeerde volledige term, waardoor een beschrijving van urinestatussen veranderde in een totaal andere medische conditie. De artsen corrigeerden slechts een klein deel van deze specifieke fouten: ze herstelden 6 van de 22 incorrecte uitbreidingen van afkortingen, wat betekende dat 16 van deze fouten in de definitieve documenten bleven staan die aan de families werden overhandigd. Dit suggereert dat verzonnen feiten gemakkelijk op te merken zijn omdat ze vreemd overkomen, maar dat subtiele fouten in medische termen er volkomen normaal uit kunnen zien en zelfs een zorgvuldige controle kunnen passeren.

Cruciaal was dat de studie vond dat geen enkele fout in de definitieve documenten die aan de artsen werden overhandigd, als ernstig genoeg werd beoordeeld om schade te veroorzaken. De computer verzon geen gevaarlijk medisch advies, en de artsen vingen de meest kritieke problemen op. De onderzoekers ontdekten echter ook dat de computer andere soorten informatie verloor dan het standaard sjabloon. Het standaard sjabloon faalde simpelweg op een voorspelbare manier bij het overdragen van bepaalde velden, zoals eerdere allergieën. De computer daarentegen liet soms specifieke details weg over wie een medische mening gaf of liet negatieve bevindingen weg die wel in de aantekeningen stonden. Deze verliezen waren niet altijd opvallend in de definitieve tekst, wat betekent dat een arts niet zou merken dat er iets ontbrak, tenzij hij het definitieve papier direct met de oorspronkelijke aantekeningen vergeleek.

De studie concludeert dat hoewel deze computertools kunnen helpen om medische documenten gemakkelijker leesbaar te maken, ze hen niet automatisch veiliger of nauwkeuriger maken. De menselijke arts blijft essentieel, maar hun rol is veranderd van het schrijven van de tekst naar het zorgvuldig controleren ervan. De onderzoekers stellen dat we niet simpelweg kunnen aannemen dat een arts elke fout heeft opgemerkt, alleen omdat hij het papier heeft ondertekend. Om echt te meten hoe goed mensen deze hulpmiddelen overzien, moeten we niet alleen het eindresultaat zien, maar ook de stappen daartussen: wat de computer schreef, wat de arts zag en wat de arts koos om te corrigeren of ongewijzigd te laten. Totdat we deze stappen kunnen meten, kunnen we niet zeker weten of het vangnet van menselijke controle alles vangt wat het moet vangen. Het werk suggereert dat de toekomst van medische documentatie niet alleen afhangt van betere computers, maar van betere manieren voor artsen om het werk dat die computers produceren te zien en te corrigeren.