Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de plaats delict is het computersysteem van een ziekenhuis, en de "misdaad" is een patiënt die moeite heeft met ademhalen nadat een ademhalingsmachine is uitgezet. Dit vakgebied van de wetenschap wordt klinische voorspelling genoemd, waarbij artsen en datawetenschappers proberen digitale kristallen bollen te bouwen. Deze kristallen bollen gebruiken gegevens van het verleden van patiënten om te raden wie problemen zou kunnen krijgen met zelfstandig ademhalen zodra de machine stopt. Het grote idee is simpel: als we het gevaar vroegtijdig kunnen signaleren, kunnen we de patiënt helpen voordat deze in een crisis terechtkomt. Maar er is een addertje onder het gras. Ziekenhuizen leggen gegevens vast op rommelige, menselijke manieren. Soms krijgt een patiënt een beetje hulp van een masker, puur om het veilig te houden (zoals een veiligheidsgordel), en soms falen ze echt en moet de machine weer aan. Als de computer het verschil niet kan zien tussen "veiligheid eerst" en "noodhulp", wordt de kristallen bol nutteloos. Het is alsoal proberen een storm te voorspellen door naar een weerkaart te kijken die een zacht briesje verwart met een orkaan.

Dit artikel, geschreven door Tianyi Yu, pakt precies die rommel aan. De auteur stelt een cruciale vraag: kunnen we de gegevens opschonen zodat onze digitale kristallen bollen daadwerkelijk werken wanneer we ze verplaatsen van het computersysteem van het ene ziekenhuis naar het andere? De studie kijkt naar patiënten met moeilijke ademhalingsaandoeningen zoals COPD en astma. De onderzoekers ontdekten dat de gebruikelijke manier van het tellen van "mislukkingen" veel te veel ruis bevatte. Ze bedachten een nieuwe, striktere regel om te beslissen wat telt als een echte mislukking. Ze ontdekten dat hoewel deze nieuwe regel de gegevens veel schoner en consistenter maakte tussen verschillende ziekenhuizen, de computermodellen die ze bouwden nog niet helemaal klaar waren om vandaag de dag op echte patiënten te worden gebruikt. De modellen konden patronen herkennen, maar ze konden het exacte risico niet nauwkeurig genoeg voorspellen om aan het bed vertrouwd te kunnen worden zonder meer tests.

Het Verhaal van het Ruisende Signaal

Beschouw een elektronisch patiëntendossier (EPD) van een ziekenhuis als een gigantische, chaotische opnamestudio. Elke keer dat een verpleegkundige een patiënt controleert, een arts een test aanvraagt of een machine piept, wordt er een nieuwe noot aan het lied toegevoegd. In het geval van patiënten aan ademhalingsmachines (ventilatoren), is de bedoeling dat het lied ons vertelt wanneer ze klaar zijn om zelf te zingen. Maar de opname zit vol statische ruis.

Soms wordt een patiënt van de machine gehaald, ademt een tijdje goed door, en krijgt dan een beetje hulp van een niet-invasief masker (zoals een high-flow neusbril) om het veilig te houden. Andere keren worden ze van de machine gehaald en beginnen ze direct naar adem te happen, waarbij de slang weer in moet. In de rommelige data zien beide gebeurtenissen er vaak hetzelfde uit: "Patiënt van machine gehaald, daarna hulp gekregen." Als je elke keer dat hulp nodig was als een "mislukking" telt, tel je de veiligheidsmaatregelen als rampen. Het is alsof een docent een student faalt omdat hij een veiligheidshelm draagt in een wetenschapslab, terwijl de student gewoon de regels volgde.

De "Stabiele Extubatie"-regel: Een Nieuwe Filter

De auteur, Tianyi Yu, besloot een filter te bouwen om deze ruis op te schonen. Ze stelden een nieuwe regel voor, die ze "stabiele-extubatie-adjudicatie" noemen. Denk hierbij aan een "afkoelperiode" voor de gegevens.

De regel luidt: Een patiënt wordt alleen als een "mislukking" beschouwd als de patiënt van de machine is gehaald, 12 uur lang comfortabel zelfstandig heeft geademd, en daarna in moeilijkheden is gekomen. Als ze direct in moeilijkheden komen, of als ze alleen een beetje hulp krijgen om veilig te blijven, telt dat niet als een mislukking in dit nieuwe systeem. Bovoltrek, als ze ook echt in moeilijkheden komen, moeten ze de ademhalingsmachine voor ten minste 2 uur weer nodig hebben om als een mislukking te tellen. Als ze binnen 48 uur overlijden, wordt dat ook als een harde mislukking geteld.

Deze regel is als een uitsmijter bij een club die mensen alleen binnenlaat als ze 12 uur lang buiten hebben gestaan en dan plotseling besluiten weg te rennen. Het filtert de mensen eruit die er alleen maar rondhingen of een snelle drankje namen (profylactische ondersteuning) en vangt alleen degenen die daadwerkelijk in paniek wegrennen (echte mislukking).

De Grote Data-ruil: MIMIC-IV vs. eICU

Om te testen of deze regel werkte, speelde de auteur een spelletje "stoelendans" met twee enorme databases: MIMIC-IV (van één groot ziekenhuis in Boston) en eICU-CRD (van vele verschillende ziekenhuizen in de VS). Deze databases zijn als twee verschillende bibliotheken. Eén bibliotheek schrijft haar boeken in een zeer specifieke, gedetailleerde stijl, terwijl de andere bibliotheek in een lossere, meer variërende stijl schrijft. Meestal, als je een computer traint om Bibliotheek A te lezen, raakt hij in de war wanneer hij probeert Bibliothek B te lezen.

De auteur wilde zien of hun nieuwe "afkoelingsregel" de boeken van beide bibliotheken er meer hetzelfde uit zou laten zien.

De Resultaten:
Voordat de nieuwe regel werd toegepast, was de data een rommeltje. In de MIMIC-IV bibliotheek leek het bij 68,5% van de patiënten alsof ze hadden gefaald. In de eICU bibliotheek leek het bij slechts 34,8% alsof ze gefaald hadden. Dat is een enorm verschil van 33,7 procentpunt. Het was alsof de ene bibliotheek zei "De meesten falen" en de andere zei "De meesten slagen", terwijl ze naar vergelijkbare patiënten keken.

Na het toepassen van de nieuwe regel:

• In MIMIC-IV daalde het faalpercentage naar 25,2%.
• In eICU-CRD daalde het naar 12,5%.
• Het verschil tussen de twee bibliotheken kromp naar slechts 12,7 procentpunt.

De regel werkte! Het maakte de gegevens schoner en zorgde ervoor dat de twee verschillende ziekenhuizen veel meer op elkaar leken. Het bewees dat de oude manier van tellen de mislukkingen overschatte, door veiligheidsmaatregelen voor rampen aan te zien.

De Kristallen Bol: Goed in het Spotten, Slecht in het Voorspellen

Nu de gegevens schoon waren, probeerde de auteur een "kristallen bol" (een voorspellingsmodel) te bouwen om te raden wie er zou falen. Ze trainden een model op één bibliotheek en testten het op de andere zonder iets te veranderen.

De resultaten waren een mix van "niet slecht" en "niet goed genoeg".

• Het model kon het verschil tussen patiënten die zouden falen en patiënten die dat niet zouden doen beter dan willekeurig gokken. De score voor dit vermogen (de zogenaamde AUROC) was 0,679 bij de overgang van MIMIC naar eICU, en 0,672 de andere kant op.
• Echter, het model was verschrikkelijk in het raden van het exacte risico. Als het model zei dat een patiënt 50% kans had om te falen, zat het er vaak naast. De "Brier score" (een maatstaf voor hoe nauwkeurig de waarschijnlijkheid is) was 0,471 in één richting, wat vrij hoog is en betekent dat de voorspellingen er naast zaten.

De auteur legt uit dat hoewel het model de algemene vorm van het probleem kon zien (discriminatie), het de omvang van het probleem niet nauwkeurig kon meten (kalibratie). Het is als een weer-app die weet dat het gaat regenen, maar steeds zegt dat er 90% kans is terwijl het eigenlijk maar 20% is.

Wat dit betekent voor de Toekomst

Het belangrijkste punt is dat je een kapotte kristallen bol niet kunt repareren door alleen de lens mooier te maken. De auteur betoogt dat het grootste probleem niet het computeralgoritme (de lens) was; het probleem was de definitie van de gebeurtenis (het object dat wordt bekeken). Door de definitie te verbeteren met de "12-uurs stabiliteitsregel", maakten ze de gegevens bruikbaar voor onderzoek.

De paper is echter heel duidelijk: Dit model is nog niet klaar voor het bed van de patiënt. Het kan niet worden gebruikt om een arts te vertellen: "Haal de slang niet uit deze patiënt." De voorspellingen zijn niet nauwkeurig genoeg om het leven van een patiënt mee te vertrouwen. De auteur suggereert dat voordat welk ziekenhuis dan ook dit gebruikt, ze het lokaal moeten testen, de cijfers moeten aanpassen aan hun eigen ziekenhuisstijl en het nauwlettend in de gaten moeten houden om te zorgen dat het niet van koers afwijkt.

Kortom, de studie heeft het probleem van het voorspellen van ademhalingsfalen niet opgelost, maar het heeft wel het probleem van het definiëren ervan opgelost. Het heeft ons laten zien dat voordat we een betere auto kunnen bouwen, we er eerst voor moeten zorgen dat we allemaal op dezelfde weg rijden. De weg is nu duidelijker, maar de auto heeft nog wat testritten nodig voordat hij veilig de snelweg op kan.