External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

In der Hochrisikoumgebung einer Intensivstation kommen Patienten oft mit einem so niedrigen Blutdruck an, dass ihr Körper nicht genug Blut in die lebenswichtigen Organe pumpen kann. Um sie am Leben zu erhalten, verabreichen Ärzte starke Medikamente namens Vasopressoren, die die Blutgefäße zusammenziehen und den Druck erhöhen. Manchmal reicht das erste Medikament nicht aus, und das medizinische Team muss ein zweites hinzufügen, wie zum Beispiel Vasopressin, um den Patienten stabil zu halten. Vorherzusagen, wann ein Patient dieses zweite Medikament benötigt, ist eine komplexe Herausforderung. Es geht nicht nur um die Biologie des Patienten; es geht auch darum, wie verschiedene Krankenhäuser ihre Handlungen dokumentieren, welche Medikamente sie vorrätig haben und wann sie entscheiden, die Behandlung zu intensivieren. Forscher hofften seit langem, Computermodelle zu entwickeln, die in der Lage sind, die aktuellen Daten eines Patienten zu betrachten – wie Herzfrequenz, Blutchemie und aktuelle Medikamentendosen – und mit Sicherheit vorherzusagen, wann ein neues Medikament angeordnet werden würde. Wenn ein solches Modell perfekt funktionieren würde, könnte es Ärzte dazu veranlassen, die Fälle ihrer Patienten früher zu überprüfen, was potenziell eine Krise verhindern könnte, bevor sie eintritt.

Ein Team von Forschern setzte sich zum Ziel, ein spezifisches Vorhersagemodell zu testen, das darauf ausgelegt ist, das Signal aufzuspüren, dass ein Patient kurz davor steht, Vasopressin zu erhalten. Sie entwickelten ihr Modell anhand der Daten eines einzelnen, großen akademischen Krankenhauses in den Vereinigten Staaten und analysierten tausende Patientendatensätze, um Muster zu finden, die der Verabreichung des Medikaments vorausgingen. Das Modell wurde darauf trainiert, fünfzehn verschiedene Informationen zu berücksichtigen, wie etwa die aktuelle Dosis des ersten Medikaments, die Herzfrequenz und die Konzentration bestimmter Chemikalien im Blut. Das Ziel war es, ein Werkzeug zu schaffen, das einem Arzt sagen kann: „Dieser Patient besteht ein hohes Risiko, in den nächsten 24 Stunden Vasopressin zu benötigen.“ Um zu sehen, ob dieses Werkzeug wirklich nützlich war, testeten die Forscher es nicht einfach an denselben Krankenhausdaten, mit denen es erstellt wurde. Sie nahmen exakt dasselbe Modell, ohne eine einzige Zahl zu ändern, und wandten es auf einen völlig anderen Datensatz aus einem Netzwerk von Dutzenden von Krankenhäusern im ganzen Land an. Dies ist der ultimative Test für jedes medizinische Vorhersagewerkzeug: Kann es an einem neuen Ort funktionieren, mit anderen Patienten und anderen Ärzten, oder funktioniert es nur in der spezifischen Umgebung, in der es erstellt wurde?

Die Ergebnisse dieses Tests zeigten eine entscheidende und etwas überraschende Unterscheidung. Als das Modell die neue Gruppe von Patienten betrachtete, war es immer noch sehr gut darin, sie zu ranken. Wenn man alle Patienten von niedrigem zu hohem Risiko sortierte, platzierte das Modell die Patienten, die tatsächlich das Medikament erhielten, korrekt nahe am oberen Ende der Liste. In statistischen Begriffen bewahrte das Modell seine Fähigkeit, zwischen denen, die das Medikament erhalten würden, und denen, die es nicht erhalten würden, zu unterscheiden. Es versagte jedoch vollständig dabei, die Wahrheit über die tatsächlichen Zahlen zu sagen. Im ursprünglichen Krankenhaus sagte das Modell voraus, dass etwa 14 Prozent der Patienten das Medikament benötigen würden, was der Realität entsprach. Doch als es auf die neuen Krankenhäuser angewendet wurde, sagte das Modell voraus, dass 16 Prozent der Patienten es benötigen würden, während es in Wirklichkeit nur 9 Prozent tatsächlich taten. Das Modell überschätzte das Risiko konsequent. Es war wie eine Wettervorhersage, die zwar korrekt vorhersagte, dass es an den Tagen regnen würde, an denen es tatsächlich regnete, aber Ihnen sagte, dass eine Regenwahrscheinlichkeit von 90 Prozent besteht, an Tagen, an denen nur eine Wahrscheinlichkeit von 30 Prozent bestand.

Diese Diskrepanz zwischen dem Ranking und der tatsächlichen Wahrscheinlichkeit ist ein bedeutender Befund, da sie die Art und Weise verändert, wie das Werkzeug eingesetzt werden kann. Die Forscher fanden heraus, dass die Vorhersagen des Modells nicht nur leicht daneben lagen; sie waren so verzerrt, dass die Zahlen für direkte medizinische Entscheidungen unzuverlässig waren. In den neuen Krankenhäusern waren die Vorhersagen des Modells zu weit gestreut, was bedeutete, dass es sich zu sicher war, was die Extreme betraf. Es glaubte, dass einige Patienten fast sicher das Medikament erhalten würden und andere es fast sicher nicht, während die Realität viel moderater war. Selbst als die Forscher versuchten, das Modell anzupassen, indem sie lediglich den Durchschnitt der Vorhersage nach oben oder unten verschoben, um sie an die neue Realität anzupassen, löste dies das Problem nicht. Die Form der Vorhersagen blieb falsch. Dies deutet darauf hin, dass die Art und Weise, wie verschiedene Krankenhäuser ihre Pflege dokumentieren, oder die spezifischen Schwellenwerte, die sie verwenden, um zu entscheiden, wann ein Medikament gegeben wird, so unterschiedlich sind, dass ein einzelnes Modell nicht einfach von einem Ort auf den anderen kopiert und eingefügt werden kann.

Die Studie untersuchte auch, ob das Modell verbessert werden könnte, indem es aus den neuen Daten lernt. Sie testeten eine Methode, bei der das Modell eine kleine Menge neuer Informationen aus den lokalen Krankenhäusern erhalten würde, um seine internen Einstellungen anzupassen. Sie fanden heraus, dass das Modell selbst mit diesem lokalen Lernen Schwierigkeiten hatte, sich perfekt anzupassen, insbesondere wenn man einzelne Krankenhäuser anstatt der gesamten Gruppe betrachtete. Tatsächlich hatten viele der einzelnen Krankenhäuser in dem neuen Netzwerk sehr wenige Patienten, die das Medikament erhielten, was es statistisch unmöglich machte, eine zuverlässige, maßgeschneiderte Version für jedes einzelne zu erstellen. Die Forscher kamen zu dem Schluss, dass das Modell zwar als nützliches Ranking-Werkzeug dienen kann, um Ärzten zu helfen, zu entscheiden, welche Patienten zuerst zu überprüfen sind, es aber nicht dazu verwendet werden kann, eine spezifische prozentuale Chance anzugeben, dass ein Patient das Medikament benötigen wird. Es kann einem Arzt nicht sagen: „Es besteht eine 40-prozentige Chance, dass dieser Patient Vasopressin benötigt“, denn diese Zahl wäre wahrscheinlich falsch.

Letztlich verdeutlicht diese Forschung eine grundlegende Grenze bei der Nutzung elektronischer Gesundheitsakten zur Vorhersage medizinischer Behandlungen. Das Ergebnis, das das Modell vorherzusagen versuchte, war kein biologisches Ereignis wie ein Herzinfarkt, sondern eine menschliche Entscheidung, die in einem Computersystem aufgezeichnet wurde. Da diese Entscheidung von lokalen Gewohnheiten, verfügbaren Medikamenten und Dokumentationsstilen abhängt, ist das „Signal“, das das Modell erkennt, eine Mischung aus Patientenphysiologie und Krankenhauskultur. Das Modell lernte die Kultur des ersten Krankenhauses so gut kennen, dass es nicht in der Lage war, diese von der Biologie des Patienten zu trennen, als es an einen neuen Ort versetzt wurde. Die Forscher betonen, dass dieses Werkzeug nicht dazu verwendet werden sollte, automatisch eine Behandlung einzuleiten oder definitive Behauptungen über die Zukunft eines Patienten aufzustellen. Stattdessen könnte es im „Silent Mode“ nützlich sein, wobei es Patienten mit hohem Risiko leise markiert, damit ein menschlicher Arzt diese überprüfen kann, vorausgesetzt, das lokale Team prüft und passt die Zahlen zuerst an die eigene Realität des Krankenhauses an. Die Studie dient als Erinnerung daran, dass ein Modell, das an einem Ort funktioniert, nicht garantiert auch an einem anderen funktioniert, und dass das Verständnis des Unterschieds zwischen dem Ranking von Patienten und der Vorhersage ihres exakten Risikos entscheidend für eine sichere und effektive Versorgung ist.