Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

In einem modernen Krankenhaus wird die Geschichte eines Patienten oft nicht nur durch das erzählt, was aufgeschrieben wurde, sondern auch durch das, was fehlt. Wenn ein Arzt eine Blutuntersuchung anordnet, erscheint das Ergebnis in der elektronischen Akte. Aber wenn der Test nie angeordnet wurde oder wenn die Maschine die Daten nicht überträgt, zeigt die Akte eine Leerstelle. Jahrzehntelang haben Forscher, die diese massiven digitalen Archive analysierten, diese Lücken als einfache Fehler behandelt, die zu korrigieren oder zu ignorieren seien. Sie gingen davon aus, dass ein fehlendes Laborergebnis nur eine fehlende Zahl ist, die nichts mit dem Zustand des Patienten oder den Gewohnheiten des Krankenhauses zu tun hat. In Wirklichkeit ist ein fehlender Wert jedoch oft eine Botschaft. Er könnte bedeuten, dass ein Arzt entschied, dass ein Test nicht notwendig war, oder dass ein bestimmtes Krankenhaus nicht über die Ausrüstung verfügt, um ihn durchzuführen. Wenn diese Lücken nicht zufällig sind, sondern Mustern folgen, die an das Krankenhaus oder den Hintergrund des Patienten gebunden sind, können sie das gesamte Bild dessen, was die Daten aussagen, im Stillen verzerren.

Dies ist die Kernherausforderung, die in einer neuen Studie untersucht wurde, die sich damit befasste, wie Forscher mit diesen fehlenden Informationsstücken in Intensivpflege-Datenbanken umgehen. Die Forscher wollten wissen, ob die Standardmethoden zur Auffüllung der Lücken tatsächlich die Antworten auf wichtige medizinische Fragen veränderten. Sie konzentrierten sich auf ein spezifisches, hochsensibles Szenario: den Vergleich des Sterberisikos im Krankenhaus für verschiedene rassische und ethnische Gruppen. Das Ziel war nicht zu beweisen, dass eine Gruppe biologisch fragiler ist als eine andere, sondern zu sehen, ob die Methode zur Bereinigung der Daten es so aussehen lassen konnte, als gäbe es einen Unterschied, wo keiner existierte, oder ob sie einen Unterschied verbarg, der tatsächlich vorhanden war. Durch das Testen dieser Methoden gegen eine bekannte Wahrheit, die in einer Computersimulation erstellt wurde, zeigte die Studie, dass die Entscheidung darüber, wie mit fehlenden Daten umzugehen ist, nicht nur ein technisches Detail ist; es ist eine Entscheidung, die grundlegend verändert, wen man untersucht und was die Ergebnisse bedeuten.

Die Forscher wandten sich an zwei massive Sammlungen von Realdaten aus Intensivstationen in den Vereinigten Staaten. Eine Datenbank, bekannt als eICU, sammelte Informationen aus 206 verschiedenen Krankenhäusern und erfasste die vielfältigen Arten der medizinischen Versorgung im ganzen Land. Die andere, MIMIC-IV, stammte aus einem einzigen, großen akademischen Krankenhaus. Sie konzentrierten sich auf acht häufige Bluttests, die innerhalb des ersten Tages eines Patientenaufenthalts durchgeführt wurden, wie etwa Messungen der weißen Blutkörperchen, der Nierenfunktion und der Lebergesundheit. In der realen Welt sind diese Tests nicht immer verfügbar. In der Datenbank des einzelnen Krankenhauses hatten nur etwa 24 Prozent der Patienten alle acht Ergebnisse dokumentiert. In der Datenbank mit mehreren Krankenhäusern war die Zahl mit 36 Prozent etwas höher, aber die Lücken waren weit davon entfernt, zufällig zu sein. Einige Krankenhäuser hatten Daten für fast jeden Patienten, während andere fehlende Ergebnisse für fast jeden hatten. In einigen Fällen hatten ganze Krankenhäuser keine aufgezeichneten Werte für spezifische Tests wie Laktat oder Bilirubin, was darauf hindeutete, dass die fehlenden Daten ein strukturelles Merkmal dieser spezifischen medizinischen Zentren waren und kein zufälliger Fehler.

Um zu sehen, wie sich dieses Fehlen auf die Ergebnisse auswirkte, wandte das Team fünf verschiedene Standardmethoden an, die Wissenschaftler zur Bewältigung unvollständiger Datensätze verwenden. Eine Methode warf einfach jeden Patienten weg, bei dem ein einziger Test fehlte. Eine andere füllte die Lücken mit dem Medianwert der Daten auf und fügte eine Notiz hinzu, dass der Wert fehlte. Eine dritte Methode versuchte, die verbleibenden Patienten so zu gewichten, dass sie die ausgeschlossenen Patienten repräsentierten. Zwei weitere Methoden verwendeten komplexe Computeralgorithmen, um die fehlenden Zahlen basierend auf den anderen verfügbaren Informationen für diesen Patienten zu erraten, wobei eine Version versuchte, das spezifische Krankenhaus zu berücksichtigen, in dem der Patient behandelt wurde. Die Forscher nutzten dann diese fünf verschiedenen Versionen der Daten, um die Differenz der Sterberaten zwischen den ethnischen Gruppen zu berechnen.

Die Ergebnisse waren erschreckend. Je nachdem, welche Methode verwendet wurde, schwankte die geschätzte Differenz der Sterberaten zwischen den Gruppen massiv. In einem Fall, beim Vergleich von asiatischen Patienten mit weißen Patienten in der Datenbank des einzelnen Krankenhauses, deutete die Methode, die unvollständige Datensätze einfach wegwarf, darauf hin, dass asiatische Patienten ein geringeres Sterberisiko hatten. Doch eine andere Methode, die die fehlenden Zahlen auffüllte, deutte darauf hin, dass sie ein höheres Risiko hatten. Die Größe dieser Schwankung betrug fast drei Prozentpunkte – ein Unterschied, der groß genug war, um die Schlussfolgerung der Studie völlig zu verändern. In der Datenbank mit mehreren Krankäusern waren die Schwankungen ebenso dramatisch, wobei die Schätzungen für hispanische Patienten je nach Arbeitsablauf von einem geringeren zu einem höheren Risiko wechselten. Die Studie zeigte, dass die gewählte Methode nicht nur ein wenig Rauschen in die Daten brachte, sondern die Richtung des Befundes änderte.

Um zu verstehen, warum dies geschah, bauten die Forscher eine Computersimulation auf, in der sie die exakte Wahrheit kannten. Sie schufen eine virtuelle Welt mit 60 Krankenhäusern und tausenden von Patienten und programmierten die fehlenden Daten so, dass sie in spezifischen Mustern auftraten, die die reale Welt imitierten. Da sie die wahre Antwort in dieser Simulation kannten, konnten sie genau messen, wie falsch jede Methode war. Sie fanden heraus, dass selbst die anspruchsvollsten Methoden Schwierigkeiten hatten, wenn die fehlenden Daten an die Krankenhausstruktur gebunden waren. Die Methode, die versuchte, den Kontext des Krankenhauses zu berücksichtigen, schnitt besser ab als einige andere, war aber dennoch nicht perfekt. Sie produzierte immer noch Fehler und Konfidenzintervalle, die zu eng waren, um vertrauenswürdig zu sein. Die Simulation zeigte auch, dass keine Methode das Problem vollständig lösen konnte, wenn die fehlenden Daten mit dem unaufgezeichneten Schweregrad des Patienten in einer Weise zusammenhingen, die der Computer nicht sehen konnte. Wenn das Fehlen durch Faktoren getrieben wurde, die das Modell nicht kennen konnte, blieb jede einzelne Methode verzerrt und lieferte Schätzungen, die um mehrere Prozentpunkte daneben lagen.

Die Studie untersuchte auch, wie die Zuversicht der Forscher in ihre Ergebnisse beeinflusst wurde. In der Wissenschaft wird ein Ergebnis normalerweise von einem Bereich der Unsicherheit begleitet, einer Fehlermarge, die besagt, wie sicher wir uns sind. Die Forscher fanden heraus, dass einige Methoden Bereiche der Ungewissheit produzierten, die viel zu eng gefasst waren und ein falsches Gefühl von Präzision vermittelten. In der Simulation, als die fehlenden Daten schwerwiegend und durch das Krankenhaus strukturiert waren, deckten die Konfidenzintervalle einiger Methoden die wahre Antwort in weniger als 30 Prozent der Fälle ab, obwohl sie eigentlich in 95 Prozent der Fälle sie abdecken sollten. Das bedeutet, dass ein Forscher, der eine dieser fehlerhaften Methoden verwendet hätte, behaupten würde, sehr sicher über ein Ergebnis zu sein, das eigentlich ziemlich wackelig war. Die Studie verdeutlichte, dass die bloße Angabe einer Zahl ohne Überprüfung, wie mit den fehlenden Daten umgegangen wurde, dem Messen eines Raumes mit einem Lineal gleicht, das sich je nach Temperatur zusammenzieht oder ausdehnt.

Eine der bedeutendsten Erkenntnisse war, dass die Wahl der Methode die untersuchte Population veränderte. Wenn Forscher Patienten mit fehlenden Daten einfach wegwarfen, blieb eine Gruppe zurück, die sich von der ursprünglichen Menge unterschied. In den Realdaten waren die Patienten, die alle ihre Labortests hatten, oft älter oder hatten andere Merkmale als diejenigen, die sie nicht hatten. Indem die Forscher die Lücken mit Durchschnittswerten oder komplexen Vermutungen füllten, erschufen sie effektiv eine neue, synthetische Population, die in der realen Welt vielleicht gar nicht existiert. Die Studie zeigte, dass die „standardisierte“ Risikodifferenz, die sie berechneten, keine universelle Wahrheit über die Krankheit war, sondern eine spezifische Antwort auf eine spezifische Frage über eine spezifische Gruppe von Menschen, die durch die Methode zur Bereinigung der Daten definiert wurde.

Die Forscher kamen zu dem Schluss, dass es keine einzelne, magische Lösung für fehlende Daten in Krankenhausakten gibt. Die Vorstellung, dass ein komplexeres mathematisches Modell das Problem automatisch lösen wird, wurde in ihren Simulationen widerlegt. Selbst ein Modell, das explizit versuchte, die Unterschiede zwischen den Krankenhäusern zu berücksichtigen, garantierte kein genaues Ergebnis. Die Studie argumentiert, dass Forscher aufhören müssen, fehlende Daten als einen technischen Reinigungsschritt zu behandeln, und statfangen müssen, sie als einen fundamentalen Teil der Frage zu betrachten, die sie stellen. Bevor sie Schlussfolgerungen ziehen, müssen sie genau kartieren, wo die Daten fehlen und warum. Sie müssen ehrlich darüber sein, welche Gruppe von Menschen ihre Ergebnisse tatsächlich repräsentieren. Und sie müssen ihre Ergebnisse gegen verschiedene Annahmen darüber testen, warum die Daten fehlen, wobei sie anerkennen müssen, dass die Ergebnisse falsch sein könnten, wenn das Fehlen durch verborgene Faktoren angetrieben wird.

Letztendlich dient diese Arbeit als Warnung und Leitfaden für die Zukunft der medizinischen Forschung unter Verwendung elektronischer Aufzeichnungen. Sie zeigt, dass die Art und Weise, wie wir mit den Lücken in unseren Daten umgehen, genauso wichtig sein kann wie die Daten, die wir haben. Wenn wir die Muster des Fehlens ignorieren, riskieren wir, medizinisches Wissen auf einem Fundament aufzubauen, das sich mit jeder Änderung der Methodik verschiebt. Die Studie bietet kein neues, perfektes Werkzeug zur Lösung des Problems, aber sie liefert eine klare Karte der Fallstricke. Sie legt nahe, dass der Weg nach vorn Transparenz, rigorose Tests und die Bereitschaft erfordert, zu akzeptieren, dass manche Fragen über gesundheitliche Ungleichheiten ungewiss bleiben könnten, bis wir besser verstehen, warum die Daten fehlen. Das Ziel ist nicht, eine perfekte Zahl zu finden, sondern die Grenzen dessen zu verstehen, was unsere Daten uns sagen können.