Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber der Tatort ist das Computersystem eines Krankenhauses, und das „Verbrechen“ ist ein Patient, der Schwierigkeiten beim Atmen hat, nachdem das Beatmungsgerät ausgeschaltet wurde. Dieses wissenschaftliche Feld wird als klinische Prädiktion bezeichnet, bei dem Ärzte und Datenwissenschaftler versuchen, digitale Kristallkugeln zu bauen. Diese Kristallkugeln nutzen vergangene Patientendaten, um vorherzusagen, wer Probleme beim eigenständigen Atmen bekommen könnte, sobald das Gerät gestoppt wird. Die Grundidee ist simpel: Wenn wir die Gefahr frühzeitig erkennen können, können wir dem Patienten helfen, bevor es zum kritischen Zustand kommt. Aber es gibt einen Haken. Krankenhäuser erfassen Daten auf unordentliche, menschliche Weise. Manchmal erhält ein Patient ein wenig Hilfe durch eine Maske, nur um auf der sicheren Seite zu sein (wie ein Sicherheitsgurt), und manchmal scheitert er tatsächlich und benötigt das Gerät wieder. Wenn der Computer nicht zwischen „Sicherheit zuerst“ und „Notfallrettung“ unterscheiden kann, wird die Kristallkugel nutzlos. Es ist, als versuche man, einen Sturm vorherzusagen, indem man eine Wetterkarte betrachtet, die eine sanfte Brise mit einem Hurrikan verwechselt.

Dieses Papier, geschrieben von Tianyi Yu, befasst sich genau mit diesem Chaos. Der Autor stellt eine entscheidende Frage: Können wir die Daten so bereinigen, dass unsere digitalen Kristallkugeln tatsächlich funktionieren, wenn wir sie vom Computersystem eines Krankenhauses in das eines anderen übertragen? Die Studie untersucht Patienten mit schweren Atemwegserkrankungen wie COPD und Asthma. Die Forscher fanden heraus, dass die übliche Art, „Fehlschläge“ zu zählen, viel zu verrauscht war. Sie erfanden eine neue, strengere Regel, um zu entscheiden, was als echter Fehlschlag zählt. Sie fanden heraus, dass diese neue Regel die Daten zwar viel sauberer und konsistenter zwischen verschiedenen Krankenhäusern machte, die Computermodelle jedoch noch nicht bereit waren, heute an echten Patienten eingesetzt zu werden. Die Modelle konnten Muster erkennen, aber sie konnten das Risiko nicht präzise genug vorhersagen, um ohne weitere Tests am Krankenbett vertrauenswürdig zu sein.

Die Geschichte des verrauschten Signals

Betrachten Sie die elektronische Patientenakte (EHR) eines Krankenhauses als ein riesiges, chaotisches Tonstudio. Jedes Mal, wenn eine Pflegekraft einen Patienten kontrolliert, ein Arzt eine Untersuchung anordnet oder ein Gerät piept, wird eine neue Note zu dem Lied hinzugefügt. Im Fall von Patienten an Beatmungsgeräten (Ventilatoren) soll das Lied uns sagen, wann sie bereit sind, von selbst zu singen. Aber die Aufnahme ist voller statischem Rauschen.

Manchmal wird ein Patient vom Gerät genommen, atmet eine Zeit lang gut, bekommt dann aber zur Sicherheit noch etwas Hilfe durch eine nicht-invasive Maske (wie eine High-Flow-Nasenkanüle). Andere Male wird der Patient vom Gerät genommen und beginnt sofort nach Luft zu schnappen und benötigt das Schlauchsystem zurück. In den unordentlichen Daten sehen beide Ereignisse oft gleich aus: „Patient vom Gerät genommen, dann Hilfe erhalten.“ Wenn man jedes Mal, wenn Hilfe benötigt wurde, als „Fehlschlag“ zählt, zählt man die Sicherheitsvorkehrungen als Katastrophen. Es ist, als würde ein Lehrer einen Schüler dafür durchfallen lassen, weil er im Wissenschaftslabor einen Schutzhelm trägt, obwohl der Schüler nur die Regeln befolgt hat.

Die „stabile Extubations“-Regel: Ein neuer Filter

Der Autor, Tianyi Yu, beschloss, einen Filter zu bauen, um dieses Rauschen zu bereinigen. Er schlug eine neue Regel vor, die er „stabile Extubations-Adjudikation“ nennt. Betrachten Sie dies als eine „Abkühlphase“ für die Daten.

Die Regel besagt: Ein Patient gilt nur dann als „Fehlschlag“, wenn er vom Gerät genommen wurde, 12 Stunden lang angenehm selbstständig atmete und dann Probleme bekam. Wenn er sofort Probleme bekommt oder wenn er nur ein wenig Hilfe erhält, um sicher zu sein, zählt dies nicht als Fehlschlag in diesem neuen System. Des Weiteren muss er, falls er tatsächlich Probleme bekommt, das Beatmungsgerät für mindestens 2 Stunden wieder benötigen, um als Fehlschlag zu zählen. Wenn er innerhalb von 48 Stunden stirbt, wird dies ebenfalls als harter Fehlschlag gezählt.

Diese Regel ist wie ein Türsteher in einem Club, der Leute nur dann reinlässt, wenn sie 12 Stunden lang draußen standen und sich dann plötzlich entschieden haben, wegzurennen. Sie filtert die Leute heraus, die nur kurz herumstanden oder ein schnelles Getränk zu sich nahmen (prophylaktische Unterstützung), und erfasst nur diejenigen, die tatsächlich in Panik weglaufen (echter Fehlschlag).

Der große Datenaustausch: MIMIC-IV vs. eICU

Um zu testen, ob diese Regel funktionierte, spielte der Autor ein Spiel namens „Stuhlkreis“ mit zwei massiven Datenbanken: MIMIC-IV (von einem großen Krankenhaus in Boston) und eICU-CRD (von vielen verschiedenen Krankenhäusern in den USA). Diese Datenbanken sind wie zwei verschiedene Bibliotheken. Eine Bibliothek schreibt ihre Bücher in einem sehr spezifischen, detaillierten Stil, während die andere Bibliothek in einem lockereren, variableren Stil schreibt. Normalerweise wird ein Computer, der darauf trainiert wurde, Bibliothek A zu lesen, verwirrt sein, wenn er versucht, Bibliothek B zu lesen.

Der Autor wollte sehen, ob seine neue „Abkühlungs“-Regel die Bücher aus beiden Bibliotheken ähnlicher machen würde.

Die Ergebnisse:
Vor der neuen Regel waren die Daten ein Chaos. In der MIMIC-IV-Bibliothek sahen 68,5 % der Patienten so aus, als hätten sie versagt. In der eICU-Bibliothek sahen nur 34,8 % wie Fehlschläge aus. Das war ein riesiger Unterschied von 33,7 Prozentpunkten. Es war, als würde eine Bibliothek sagen: „Die meisten Menschen scheitern“, während die andere sagt: „Die meisten Menschen bestehen“, obwohl sie ähnliche Patienten betrachteten.

Nach Anwendung der neuen Regel:

• In MIMIC-IV sank die Fehlerrate auf 25,2 %.
• In eICU-CRD sank sie auf 12,5 %.
• Der Unterschied zwischen den beiden Bibliotheken schrumpfte auf nur 12,7 Prozentpunkte.

Die Regel funktionierte! Sie bereinigte die Daten und ließ die zwei verschiedenen Krankenhäuser viel ähnlicher aussehen. Sie bewies, dass die alte Art der Zählung Fehlschläge überbewertet hatte, indem sie Sicherheitsmaßnahmen mit Katastrophen verwechselte.

Die Kristallkugel: Gut im Erkennen, schlecht im Vorhersagen

Nachdem die Daten nun sauber waren, versuchte der Autor, eine „Kristallkugel“ (ein Vorhersagemodell) zu bauen, um zu erraten, wer scheitern würde. Er trainierte ein Modell auf einer Bibliothek und testete es auf der anderen, ohne etwas zu ändern.

Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „nicht gut genug“.

• Das Modell konnte besser zwischen Patienten, die scheitern würden, und solchen, die nicht scheitern würden, unterscheiden als durch bloßes Raten. Der Wert für diese Fähigkeit (genannt AUROC) lag bei 0,679, wenn man von MIMIC nach eICU ging, und bei 0,672 in die andere Richtung.
• Das Modell war jedoch schrecklich darin, das exakte Risiko zu erraten. Wenn das Modell sagte, ein Patient habe eine 50-prozentige Chance zu scheitern, lag es oft falsch. Der „Brier-Score“ (ein Maß dafür, wie genau die Wahrscheinlichkeit ist) lag bei 0,471 in eine Richtung, was recht hoch ist und bedeutet, dass die Vorhersagen danebenlagen.

Der Autor erklärt, dass das Modell zwar die allgemeine Form des Problems erkennen konnte (Diskriminierung), aber nicht die Größe des Problems genau messen konnte (Kalibrierung). Es ist wie eine Wetter-App, die weiß, dass es regnen wird, aber ständig behauptet, es gäbe eine 90-prozentige Chance, obwohl es eigentlich nur 20 Prozent sind.

Was dies für die Zukunft bedeutet

Das wichtigste Ergebnis ist, dass man eine kaputte Kristallkugel nicht reparieren kann, indem man nur die Linse schicker macht. Der Autor argumentiert, dass das größte Problem nicht der Computer-Algorithmus (die Linse) war; das Problem war die Definition des Ereignisses (das Objekt, das betrachtet wird). Indem er die Definition mit der „12-Stunden-Stabilität“-Regel korrigierte, machte er die Daten für die Forschung nutzbar.

Der Autor ist jedoch sehr deutlich: Dieses Modell ist noch nicht bereit für das Krankenbett. Es kann nicht verwendet werden, um einem Arzt zu sagen: „Nimm den Schlauch nicht aus diesem Patienten heraus.“ Die Vorhersagen sind nicht genau genug, um es mit einem Patientenleben zu vertrauen. Der Autor schlägt vor, dass bevor irgendein Krankenhaus dies einsetzt, sie es lokal testen, die Zahlen an ihren eigenen Krankenhausstil anpassen und es genau beobachten müssen, um sicherzustellen, dass es nicht vom Kurs abkommt.

Kurz gesagt: Die Studie hat das Problem der Vorhersage des Atemversagens nicht gelöst, aber sie hat das Problem der Definition desselben gelöst. Sie hat uns gezeigt, dass wir, bevor wir ein besseres Auto bauen können, sicherstellen müssen, dass wir alle auf derselben Straße fahren. Die Straße ist nun klarer, aber das Auto braucht noch einige Testfahrten, bevor es sicher die Autobahn befahren kann.