Clinical Decision-Oriented Threshold Optimization for 30-Day Readmission Prediction in Hospitalized Diabetic Patients: A Retrospective Study

Ziekenhuizen zijn plaatsen van intense activiteit, waar patiënten arriveren met complexe behoeften en vertrekken met een plan voor herstel. Toch eindigt de reis voor veel mensen met diabetes niet bij de ziekenhuisdeur. Een aanzienlijk aantal keert binnen een maand terug, vaak omdat de overgang van ziekenhuiszorg naar het leven thuis niet soepel genoeg verliep. Deze cyclus van heropname is kostbaar en gevaarlijk, wat signaleert dat er iets misging in de overdracht van zorg. Om dit te stoppen, hebben artsen en ziekenhuizen zich tot computers gewend en modellen gebouwd die naar het verleden van een patiënt kijken om te voorspellen wie de grootste kans heeft om terug te keren. Deze modellen fungeren als een weersverwachting voor de gezondheid; ze scannen historische gegevens — zoals hoe vaak iemand eerder is opgenomen, welke medicijnen zij gebruiken en de leeftijd — om een risicoscore toe te wijzen. Het doel is om de mensen te signaleren die extra hulp nodig hebben voordat ze vertrekken, zodat ziekenhuizen kunnen ingrijpen met telefoontjes, huisbezoeken door verpleegkundigen of controles van medicatie.

Echter, een groot probleem heeft deze voorspellingsinstrumenten geteisterd. De meeste computermodellen zijn ontworpen om zo vaak mogelijk "gelijk" te hebben, wat ertoe leidt dat ze zeldzame gebeurtenissen negeren. Omdat de meeste patiënten niet binnen dertig dagen terugkeren naar het ziekenhuis, zou een model dat simpelweg voorspelt dat "niemand zal terugkeren" bijna negentig procent van de tijd gelijk hebben. Dit is een holle overwinning. In de wereld van medische voorspelling is het meestal gelijk hebben waardeloos als je de weinige mensen mist die daadwerkelijk hulp nodig hebben. De uitdaging is dan ook niet alleen het bouwen van een model dat patronen ziet, maar het leren van de computer hoe hij een beslissing moet nemen die ertoe doet. Een nieuwe studie door onderzoekers van Handan First Hospital en Qilu Hospital van Shandong University pakt precies dit probleem aan. Zij probeerden niet een complexere computerhersenen te bouwen; in plaats daarvan richtten zij zich op de interpretatie van de antwoorden die de computer geeft, waarbij zij bewezen dat de manier waarop we de "alarmgrens" voor risico instellen veel belangrijker is dan het alarm zelf.

De onderzoekers begonnen met een enorme collectie medische dossiers van honderd dertig ziekenhuizen in de Verenigde Staten, die bijna honderdduizend ziekenhuisbezoeken van mensen met diabetes tussen 1999 en 2008 besloegen. Ze voedden deze gegevens aan een standaard, betrouwbaar type computermodel dat bekend staat als logistische regressie, wat vergelijkbaar is met een weegschaal die verschillende factoren afweegt om tot een definitieve score te komen. Het model keek naar vijfentwintig verschillende stukken informatie die beschikbaar waren op het moment van opname, zoals het aantal eerdere ziekenhuisopnames, het aantal medicijnen en of de patiënt insuline gebruikte. Het model presteerde goed in het onderscheiden tussen patiënten die wel en patiënten die niet zouden terugkeren, maar wanneer de onderzoekers het testten met de standaardregel die de meeste computerprogramma's gebruiken, was het resultaat een mislukking.

De standaardregel, vaak een drempelwaarde genoemd, vertelt de computer om pas een alarm te laten afgaan als de risicoscore hoger is dan vijftig procent. In deze specifieke groep diabetespatiënten keerde slechts ongeveer elf procent daadwerkelijk terug naar het ziekenhuis. Omdat de gebeurtenis relatief zeldzaam was, waren de scores van de computer meestal laag. Toen de onderzoekers de standaard regel van vijftig procent toepasten, markeerde het model slechts één punt vier procent van de patiënten als hoog risico. In praktische zin betekende dit dat de computer in feite zei dat bijna niemand zou terugkeren. Het was zo voorzichtig dat het nutteloos werd; het miste de grote meerderheid van de patiënten die zorg nodig hadden. De onderzoekers realiseerden zich dat het model niet kapot was; de regel voor het bepalen van wat als "hoog risico" telt, was simpelweg fout voor deze situatie.

Om dit op te lossen, testte het team drie verschillende manieren om de alarmdrempel te verlagen, waardoor de computer gevoeliger werd voor risico. Ze veranderden niet de hersenen van het model; ze veranderden alleen de instellingen op het dashboard. De eerste benadering was een gebalanceerde instelling, ontworpen om een goed aantal terugkerende patiënten te vangen zonder te veel mensen te markeren die gezond zouden blijven. Deze instelling verlaagde de drempel tot een punt waarop het model bijna zestig procent van de mensen die daadwerkelijk terugkeerden ving, terwijl het nog steeds correct identificeerde dat de meesten anderen niet zouden terugkeren. De tweede benadering was een "veiligheidsnet"-instelling, ontworpen om zoveel mogelijk risicopatiënten te vangen, zelfs als dat betekende dat er per ongeluk ook gezonde mensen werden gemarkeerd. Deze instelling ving tachtig procent van de terugkerende patiënten, wat ervoor zorgde dat er zeer weinig werden gemist, hoewel het ziekenhuizen vereiste om veel meer mensen te controleren die uiteindelijk gewoon in orde bleken te zijn. De derde benadering was een "precisie"-instelling, ontworpen voor situaties waarin ziekenhuizen over zeer beperkte middelen beschikken en slechts een paar mensen kunnen helpen. Deze instelling was zeer strikt en markeerde alleen patiënten die bijna zeker zouden terugkeren, waarbij ongeveer drieentwintig procent van de terugkerende groep werd gevangen, maar garandeerde dat bijna iedereen die gemarkeerd werd ook daadwerkelijk hulp nodig had.

De studie testte ook een veelgebruikte truc die datawetenschappers gebruiken om zeldzame gebeurtenissen aan te pakken: de computer kunstmatig vertellen dat de zeldzame gebeurtenis vaker voorkomt dan in werkelijkheid het geval is. Deze techniek, bekend als 'class weighting', wordt vaak gebruikt om een model te dwingen meer aandacht te besteden aan de minderheidsgroep. De onderzoekers kwamen echter tot de conclusie dat deze methode op ernstige wijze averechts werkte. Hoewel het de model hielp meer terugkerende patiënten te vangen, verstoorde het de cijfers die het model produceerde volledig. De waarschijnlijkheden die het gaf werden zo vertekend dat ze slechter waren dan simpelweg het gemiddelde percentage voor iedereen raden. Deze bevinding is cruciaal, omdat het suggereert dat het proberen te dwingen van een model om de data in balans te brengen een slecht idee is als je accurate risicoscores nodig hebt. In plaats daarvan is het simpelweg aanpassen van de drempel waarbij het alarm afgaat de superieure methode. Het verbetert het vermogen van het model om de juiste patiënten te vinden zonder de nauwkeurigheid van de geproduceerde cijfers te breken.

Toen de onderzoekers nauwkeurig keken naar waar het model daadwerkelijk voor gebruikte om beslissingen te nemen, ontstond er een helder beeld. De sterkste individuele voorspeller van een patiënt die terugkeert naar het ziekenhuis was simpelweg hoe vaak zij in het jaar daarvoor waren opgenomen. Dit is intuïtief begrijpelijk: een geschiedenis van ziekenhuisopnames is een krachtig signaal van voortdurende gezondheidsproblemen. Andere belangrijke factoren waren het totaal aantal medische aandoeningen dat een patiënt had, of het medicatieoverzicht tijdens het verblijf veranderde, en de leeftijd. Oudere patiënten en patiënten met complexere medische behoeften werden consequent als een hoger risico ingeschat. Interessant genoeg waren patiënten die geen diabetesmedicatie gebruikten minder waarschijnlijk om terug te keren, waarschijnlijk omdat zij mildere vormen van de ziekte hadden die beheersbaar waren met dieet en beweging in plaats van medicijnen. Het computermodel bevestigde deze patronen en liet zien dat de meest betrouwbare voorspellers vaak de eenvoudigste, meest historische feiten over het leven van een patiënt waren.

De onderzoekers brachten deze verschillende instellingen vervolgens in kaart naar de praktijk van de ziekenhuiswerkstroom om te laten zien hoe ze in de praktijk gebruikt kunnen worden. De "veiligheidsnet"-instelling, die tachtig procent van de terugkerende patiënten vangt, is ideaal voor een breed screeningsprogramma. In dit scenario kan een ziekenhuis een telefoontje plegen of een herinnering sturen naar elke gemarkeerde patiënt. Zelfs als veel van die gesprekken gaan naar mensen die geen hulp nodig hebben, zijn de kosten laag en het voordeel van het vangen van de weinigen die wél hulp nodig hebben groot. De "gebalanceerde" instelling is perfect voor programma's voor overgangszorg die een verpleegkundige inzetten die een patiënt thuis bezoekt of een zorgcoördinator die de afspraken beheert. Deze programma's kosten meer, dus moeten ziekenhuizen selectiever zijn, maar ze willen nog steeds een aanzienlijk deel van de risicogroep vangen. De "precisie"-instelling is het beste voor dure, intensieve interventies, zoals het sturen van een specialist naar het huis van een patiënt of het inschrijven in een rigoureus ziektebeheersingsprogramma. Hier kunnen ziekenhuizen slechts een klein aantal mensen helpen, dus moeten ze er bijna zeker van zijn dat de persoon die zij kiezen ook daadwerkelijk baat zal hebben.

Deze studie biedt een duidelijke les voor de toekomst van medische voorspelling. Het meest geavanceerde computermodel ter wereld is nutteloos als de regels voor het gebruik ervan onjuist zijn. Voor zeldzame gebeurtenissen zoals ziekenhuisheropnames zijn de standaardinstellingen die de meeste software gebruikt vaak te strikt om nuttig te zijn. Door simpelweg de drempel voor wat als een risico wordt beschouwd te verlagen, kunnen ziekenhuizen een slapend instrument veranderen in een praktisch hulpmiddel dat levens en geld bespaart. Het onderzoek biedt ook een sterke waarschuwing tegen methoden die de schatting van de waarschijnlijkheid verstoren in een poging om de data in balans te brengen. In plaats daarvan is de beste aanpak om de wiskunde van het model eerlijk te houden en het beslissingspunt aan te passen aan de specifieke behoeften van het ziekenhuis. Of een ziekenhuis nu een breed net wil uitwerpen of een specifieke groep wil targeten, de oplossing ligt niet in het bouwen van een slimmere computer, maar in het begrijpen van hoe we moeten luisteren naar de computer die we al hebben.