External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

In de hooggespannen omgeving van een intensive care-afdeling komen patiënten vaak binnen met een bloeddruk die zo laag is dat hun lichaam niet genoeg bloed naar vitale organen kan pompen. Om hen in leven te houden, dienen artsen krachtige medicijnen toe die vasopressoren worden genoemd, om de bloedvaten samen te knijpen en de druk te verhogen. Soms is het eerste medicijn niet voldoende, en moet het medische team een tweede middel toevoegen, zoals vasopressine, om de patiënt stabiel te houden. Het voorspellen wanneer een patiënt dit tweede medicijn nodig zal hebben, is een complexe uitdaging. Het gaat niet alleen om de biologie van de patiënt; het gaat ook om hoe verschillende ziekenhuizen hun handelingen registreren, welke medicijnen zij op voorraad hebben en wanneer zij besluiten de zorg te intensiveren. Onderzoekers hopen al lang tijd computermodellen te bouwen die de huidige gegevens van een patiënt kunnen bekijken — zoals de hartslag, de bloedchemie en de huidige doseringen van medicatie — en met zekerheid kunnen voorspellen wanneer een nieuw medicijn zal worden toegediend. Als een dergelijk model perfect zou werken, zou het artsen kunnen waarschuwen om een patiëntentriage eerder te beoordelen, wat potentieel een crisis kan voorkomen voordat deze plaatsvindt.

Een team van onderzoekers zette zich in om een specifiek voorspellingsmodel te testen dat ontworpen is om het signaal te herkennen dat een patiënt op het punt staat vasopressine te ontvangen. Ze bouwden hun model op basis van gegevens van één enkel groot academisch ziekenhuis in de Verenigde Staten, waarbij ze duizenden patiëntendossiers analyseerden om patronen te vinden die voorafgingen aan de toediening van het medicijn. Het model werd getraind om naar vijftien verschillende stukken informatie te kijken, zoals de huidige dosis van het eerste medicijn, de hartslag en de niveaus van bepaalde stoffen in het bloed. Het doel was om een hulpmiddel te creëren dat een arts kan vertellen: "Deze patiënt loopt een hoog risico om binnen de komende 24 uur vasopressine nodig te hebben." Om te zien of dit hulpmiddel werkelijk nuttig was, testten de onderzoekers het niet alleen op de gegevens van hetzelfde ziekenhuis waar het werd ontwikkeld. Ze namen exact hetzelfde model, zonder ook maar één getal te veranderen, en pasten het toe op een compleet andere set gegevens van een netwerk van tientallen ziekenhuizen door het hele land. Dit is de ultieme test voor elk medisch voorspellingsinstrument: kan het werken op een nieuwe plek, met andere patiënten en andere artsen, of werkt het alleen in de specifieke omgeving waar het is gecreëerd?

De resultaten van deze test onthulden een cruciaal en enigszins verrassend onderscheid. Wanneer het model naar de nieuwe groep patiënten keek, was het nog steeds erg goed in het rangschikken van hen. Als je alle patiënten van laagste naar hoogste risico op een rij zou zetten, plaatste het model de patiënten die daadwerkelijk het medicijn ontvingen correct aan de bovenkant van de lijst. In statistische termen behield het model zijn vermogen om onderscheid te maken tussen degenen die het medicijn zouden krijgen en degenen die dat niet zouden krijgen. Echter, het model faalde volledig in het vertellen van de waarheid over de werkelijke aantallen. In het oorspronkelijke ziekenhuis voorspelde het model dat ongeveer 14 procent van de patiënten het medicijn nodig zou hebben, en dat kwam overeen met de werkelijkheid. Maar bij het toepassen op de nieuwe ziekenhuizen voorspelde het model dat 16 procent van de patiënten het nodig zou hebben, terwijl in werkelijkheid slechts 9 procent dat daadwerkelijk deed. Het model overschatte het risico consequent. Het was als een weersverwachting die correct voorspelde dat het zou regenen op de dagen dat het daadwerkelijk regende, maar vertelde dat er een kans van 90 procent op regen was op dagen dat er slechts een kans van 30 procent bestond.

Deze discrepantie tussen rangschikking en werkelijke waarschijnlijkheid is een significante bevinding, omdat het verandert hoe het instrument kan worden gebruikt. De onderzoekers ontdekten dat de voorspellingen van het model niet slechts een beetje afwijken; ze waren vervormd op een manier die de getallen onbetrouwbaar maakte voor het nemen van directe medische beslissingen. In de nieuwe ziekenhuizen waren de voorspellingen van het model te breed verspreid, wat betekende dat het te zelfverzekerd was over de extremen. Het dacht dat sommige patiënten bijna zeker het medicijn zouden krijgen en anderen bijna zeker niet, terwijl de werkelijkheid veel gematigder was. Zelfs toen de onderzoekers probeerden het model aan te passen door simpelweg het gemiddelde van de voorspelling omhoog of omlaag te verschuiven om aan te sluiten bij de nieuwe werkelijkheid, loste dit het probleem niet op. De vorm van de voorspellingen bleef fout. Dit suggereert dat de manier waarop verschillende ziekenhuizen hun zorg documenteren, of de specifieke drempels die zij gebruiken om te beslissen wanneer een medicijn wordt toegediend, zo verschillend zijn dat een enkel model niet simpelweg van de ene naar de andere plek gekopieerd en geplakt kan worden.

De studie onderzocht ook of het model verbeterd kon worden door te leren van de nieuwe gegevens. Ze testten een methode waarbij het model een kleine hoeveelheid nieuwe informatie van de lokale ziekenhuizen krijgt om zijn interne instellingen aan te passen. Ze kwamen tot de conclusie dat het model, zelfs met dit lokale leren, moeite had om zich perfect aan te passen, vooral wanneer er naar individuele ziekenhuizen werd gekeken in plaats van naar de groep als geheel. Sterker nog, veel van de individuele ziekenhuizen in het nieuwe netwerk hadden zeer weinig patiënten die het medicijn ontvingen, waardoor het statistisch onmogelijk was om een betrouwbare, op maat gemaakte versie voor elk van hen te bouwen. De onderzoekers concludeerden dat hoewel het model kan dienen als een nuttig instrument voor rangschikking om artsen te helpen prioriteit te geven aan welke patiënten het eerst moeten worden beoordeeld, het niet kan worden gebruikt om een specif kind percentage kans te geven dat een patiënt het medicijn nodig heeft. Het kan een arts niet vertellen: "Er is een kans van 40 procent dat deze patiënt vasopressine nodig heeft," omdat dat getal waarschijnlijk onjuist zou zijn.

Uiteindelijk benadrukt dit onderzoek een fundamentele beperking in het gebruik van elektronische patiëntendossiers om medische behandelingen te voorspellen. De uitkomst die het model probeerde te voorspellen was geen biologisch evenement zoals een hartaanval, maar een menselijke beslissing die in een computersysteem wordt vastgelegd. Omdat die beslissing afhangt van lokale gewoonten, beschikbare medicatie en documentatiestijlen, is het "signaal" dat het model detecteert een mengeling van patiëntfysiologie en ziekenhuiscultuur. Het model leerde de cultuur van het eerste ziekenhuis zo goed kennen dat het de cultuur niet van de biologie van de patiënt kon scheiden wanneer het naar een nieuwe plek verhuisde. De onderzoekers benadrukken dat dit instrument niet automatisch gebruikt moet worden om een behandeling te starten of om definitieve claims te maken over de toekomst van een patiënt. In plaats daarvan zou het nuttig kunnen zijn in een "stille modus", waarbij het stilletjes patiënten met een hoog risico markeert voor een menselijke arts om te beoordelen, mits het lokale team eerst de cijfers controleert en aanpast aan de eigen ziekenhuisrealiteit. De studie dient als een herinnering dat een model dat op de ene plek werkt, niet gegarandeerd werkt op een andere plek, en dat het begrijpen van het verschil tussen het rangschikken van patiënten en het voorspellen van hun exacte risico essentieel is voor veilige en effectieve zorg.