Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

In het moderne ziekenhuis wordt het verhaal van een patiënt vaak niet alleen verteld door wat er is opgeschreven, maar ook door wat er ontbreekt. Wanneer een arts een bloedtest aanvraagt, verschijnt de uitslag in het elektronische dossier. Maar als de test nooit wordt aangevraagd, of als de machine er niet in slaagt de gegevens te verzenden, toont het dossier een lege ruimte. Decennialang hebben onderzoekers die deze enorme digitale archieven analyseerden, deze lege plekken behandeld als eenvoudige fouten die gecorrigeerd of genegeerd moesten worden. Ze gingen ervan uit dat een ontbrekende laboratoriumuitslag slechts een ontbrekend getal was, ongerelateerd aan de conditie van de patiënt of de gewoonten van het ziekenhuis. In werkelijkheid is een ontbrekende waarde echter vaak een boodschap. Het kan betekenen dat een arts besloot dat een test niet nodig was, of dat een specifiek ziekenhuis niet over de apparatuur beschikt om deze uit te voeren. Wanneer deze hiaten niet willekeurig zijn, maar patronen volgen die verbonden zijn aan het ziekenhuis of de achtergrond van de patiënt, kunnen ze het volledige beeld van wat de gegevens zeggen stilletjes vervormen.

Dit is de kernuitdaging die wordt onderzocht in een nieuwe studie die keek naar hoe onderzoekers omgaan met deze ontbrekende stukjes informatie in kritieke zorgdatabases. De onderzoekers wilden weten of de standaardmanieren om de gaten op te vullen, de antwoorden op belangrijke medische vragen daadwerkelijk veranderden. Ze richtten zich op een specifiek, scenario met hoge inzet: het vergelijken van het risico op overlijden in het ziekenhuis voor verschillende raciale en etnische groepen. Het doel was niet om te bewijzen dat één groep biologisch kwetsbaarder is dan een andere, maar om te zien of de methode die gebruikt werd om de gegevens te opschonen, het zou kunnen doen lijken alsof er een verschil bestond waar dat er niet was, of een verschil kon verbergen dat er wel degelijk was. Door deze methoden te testen tegenover een bekende waarheid die in een computersimulatie was gecreëerd, toonde de studie aan dat de keuze over hoe met ontbrekende gegevens wordt omgegaan niet slechts een technisch detail is; het is een beslissing die fundamenteel verandert wie er wordt bestudeerd en wat de resultaten betekenen.

De onderzoekers wenden zich tot twee enorme collecties real-world data uit intensive care-afdelingen in de Verenigde Staten. Eén database, bekend als eICU, verzamelde informatie van 206 verschillende ziekenhuizen, waarbij de diverse manieren waarop medische zorg in het land wordt geleverd, werden vastgelegd. De andere, MIMIC-IV, kwam van één enkel groot academisch ziekenhuis. Ze richtten zich op acht veelvoorkomende bloedtests die binnen de eerste dag van een verblijf van een patiënt worden afgenomen, zoals metingen van witte bloedcellen, nierfunctie en levergezondheid. In de echte wereld zijn deze tests niet altijd beschikbaar. In de database van het enkele ziekenhuis had slechts ongeveer 24 procent van de patiënten alle acht resultaten geregistreerd. In de database met meerdere ziekenhuizen lag het aantal iets hoger, op 36 procent, maar de hiaten waren verre van willekeurig. Sommige ziekenhuizen hadden gegevens voor bijna elke patiënt, terwijl andere ziekenhuizen bijna voor iedereen ontbrekende resultaten hadden. In sommige gevallen hadden volledige ziekenhuizen geen geregistreerde waarden voor specifieke tests zoals lactaat of bilirubine, wat suggereerde dat de ontbrekende gegevens een structureel kenmerk waren van die specifieke medische centra, en geen willekeurige fout.

Om te zien hoe dit ontbreken de resultaten beïnvloedde, paste het team vijf verschillende standaardmethoden toe die wetenschappers gebruiken om met onvolledige dossiers om te gaan. Eén methode gooide simpelweg elke patiënt weg met één ontbrekende test. Een andere vulde de gaten aan met de middelste waarde die in de data werd gevonden en voegde een opmerking toe om aan te geven dat de waarde ontbrak. Een derde methode probeerde de resterende patiënten te wegen om de patiënten te vertegenwoordigen die waren gedropt. Twee andere methoden gebruikten complexe computeralgoritmen om de ontbrekende getallen te raden op basis van de andere beschikbare informatie voor die specifieke patiënt, waarbij één versie probeerde rekening te houden met het specifieke ziekenhuis waar de patiënt werd behandeld. De onderzoekers gebruikten vervolgens deze vijf verschillende versies van de gegevens om het verschil in sterftecijfers tussen raciale groepen te berekenen.

De resultaten waren verbijsterend. Afhankelijk van welke methode werd gebruikt, schommelden de geschatte verschillen in sterftecijfers tussen groepen enorm. In één instantie, bij het vergelijken van Aziatische patiënten met witte patiënten in de database van het enkele ziekenhuis, suggereerde de methode die onvolledige dossiers simpelweg wegwierp dat Aziatische patiënten een lager sterfterisico hadden. Toch suggereerde een andere methode die de ontbrekende getallen invulde dat zij juist een hoger risico hadden. De omvang van deze schommeling was bijna drie procentpunten, een verschil dat groot genoeg is om de conclusie van de studie volledig te veranderen. In de database met meerdere ziekenhuizen waren de schommelingen net zo dramatisch, waarbij de schattingen voor Hispanic patiënten verschoven van een lager risico naar een hoger risico, afhankelijk van de workflow. De studie toonde aan dat de gekozen methode niet alleen een beetje ruis aan de data toevoegde; het veranderde de richting van de bevinding.

Om te begrijpen waarom dit gebeurde, bouwden de onderzoekers een computersimulatie waarin zij de exacte waarheid kenden. Ze creëerden een virtuele wereld van 60 ziekenhuizen en duizenden patiënten, waarbij ze de ontbrekende gegevens programmeerden om in specifieke patronen te verschijnen die de echte wereld nabootsten. Omdat ze de ware antwoorden in deze simulatie kenden, konden ze precies meten hoe fout elke methode was. Ze ontdekten dat wanneer ontbrekende gegevens verbonden waren aan de ziekenhuisstructuur, zelfs de meest geavanceerde methoden moeite hadden. De methode die probeerde rekening te houden met de context van het ziekenhuis presteerde beter dan sommige andere, maar was niet perfect. Het produceerde nog steeds fouten en betrouwbaarheidsintervallen die te nauw waren om te vertrouwen. De simulatie onthulde ook dat geen enkele methode het probleem volledig kon oplossen als de ontbrekende gegevens gerelateerd waren aan de ongeregistreerde ernst van de patiënt op een manier die de computer niet kon zien. Wanneer het ontbreken werd gedreven door factoren die het model niet kon kennen, bleef elke methode bevooroordeeld en produceerde het schattingen die vele procentpunten afwijken.

De studie onderzocht ook hoe de zekerheid van de onderzoekers over hun resultaten werd beïnvloed. In de wetenschap wordt een resultaat meestal vergezeld door een reeks onzekerheid, een foutmarge die aangeeft hoe zeker we zijn. De onderzoekers ontdekten dat sommige methoden intervallen produceerden die veel te nauw waren, wat een vals gevoel van precisie gaf. In de simulatie, wanneer de ontbrekende gegevens zwaar waren en gestructureerd door het ziekenhuis, dekten de betrouwbaarheidsintervallen voor sommige methoden de ware waarde minder dan 30 procent van de tijd, terwijl ze bedoeld waren om deze in 95 procent van de gevallen te dekken. Dit betekent dat als een onderzoeker een van deze gebrekkige methoden gebruikte, hij zou beweren zeer zeker te zijn over een resultaat dat eigenlijk behoorlijk wankel was. De studie benadrukte dat het simpelweg rapporteren van een getal zonder te controleren hoe met de ontbrekende gegevens is omgegaan, hetzelfde is als een kamer meten met een liniaal die krimpt en uitzet afhankelijk van de temperatuur.

Een van de meest significante bevindingen was dat de keuze van de methode de populatie die werd bestudeerd veranderde. Wanneer onderzoekers patiënten met ontbrekende gegevens simpelweg wegwierpen, bleven ze achter met een groep die anders leek dan de oorspronkelijke menigte. In de real-world data waren de patiënten die al hun laboratoriumresultaten hadden, vaak ouder of hadden andere kenmerken dan degenen die dat niet hadden. Door de gaten aan te vullen met gemiddelden of complexe gissingen, creëerden de onderzoekers effectief een nieuwe, synthetische populatie die mogelijk niet bestaat in de echte wereld. De studie toonde aan dat het berekende "gestandaardiseerde" risicieverschil geen universele waarheid over de ziekte was, maar een specifiek antwoord op een specifieke vraag over een specifieke groep mensen, gedefinieerd door de methode die werd gebruikt om de gegevens op te schonen.

De onderzoekers concludeerden dat er geen enkele, magische oplossing is voor ontbrekende gegevens in ziekenhuisarchieven. Het idee dat een complexer wiskundig model automatisch het probleem zal oplossen, werd in hun simulaties bewezen onjuist. Zelfs een model dat expliciet probeerde rekening te houden met de verschillen tussen ziekenhuizen, garandeerde geen accuraat resultaat. De studie betoogt dat onderzoekers moeten stoppen met het behandelen van ontbrekende gegevens als een technische schoonmaakstap en ze moeten gaan behandelen als een fundamenteel onderdeel van de vraag die ze stellen. Voordat ze conclusies trekken, moeten ze precies in kaart brengen waar de gegevens ontbreken en waarom. Ze moeten eerlijk zijn over welke groep mensen hun resultaten daadwerkelijk vertegenwoordigen. En ze moeten hun bevindingen testen tegen verschillende aannames over waarom de gegevens ontbreken, waarbij ze erkennen dat als het ontbreken wordt gedreven door verborgen factoren, de resultaten fout kunnen zijn.

Uiteindelijk dient dit werk als een waarschuwing en een gids voor de toekomst van medisch onderzoek met behulp van elektronische dossiers. Het laat zien dat de manier waarop we met de gaten in onze gegevens omgaan, net zo belangrijk kan zijn als de gegevens die we wél hebben. Als we de patronen van het ontbreken negeren, riskeren we medische kennis te bouwen op een fundament dat verschuift bij elke verandering in methodologie. De studie biedt geen nieuw, perfect instrument om het probleem op te lossen, maar biedt een duidelijke kaart van waar de valkuilen liggen. Het suggereert dat de weg vooruit vraagt om transparantie, rigoureuze tests en een bereidheid om te accepteren dat sommige vragen over gezondheidsverschillen onzeker kunnen blijven totdat we beter begrijpen waarom de gegevens ontbreken. Het doel is niet om een perfect getal te vinden, maar om de grenzen te begrijpen van wat onze gegevens ons kunnen vertellen.