STREAM-SMR: Sequential Bayesian state-space monitoring of standardized mortality ratios - a simulation comparison with risk-adjusted CUSUM and EWMA

In der hochriskanten Welt der Intensivmedizin messen Krankenhäuser ihre Leistung ständig daran, wie viele Patienten überleben im Vergleich zu der Anzahl derer, die basierend auf ihrem Schweregrad bei der Aufnahme hätten überleben sollen. Dieses Verhältnis, bekannt als standardisierte Mortalitätsrate (Standardized Mortality Ratio, SMR), fungiert als lebenswichtiger Indikator für die Qualität der Versorgung einer Einrichtung. Jahrzehntelang bestand die Standardmethode zur Überwachung dieser Zahl darin, abzuwarten, bis ein Berichtszeitraum endet, den Durchschnitt zu berechnen und dann eine Grafik zu betrachten, um zu sehen, ob das Krankenhaus schlechter abgeschnitten hat, als es sollte. Dieser Ansatz leidet jedoch unter einer frustrierenden Verzögerung; bis ein Problem erkannt wird, können bereits Monate der Versorgung beeinträchtigt worden sein. Um dies zu beheben, entwickelten Statistiker Werkzeuge, die die Daten beobachten, während sie eintreffen, Monat für Monat, und Alarm schlagen, sobald sich ein Trend gefährlich entwickelt. Diese Werkzeuge sind exzellent darin, zu schreien: „Etwas ist falsch“, aber sie sind schlecht darin zu erklären, „wie falsch“ oder „wie sicher“ man sich ist. Sie bieten ein Warnsignal ohne den Kontext, der nötig ist, um die Schwere der Situation zu verstehen.

Ein neuer Ansatz, der in einer kürzlich durchgeführten Simulationsstudie getestet wurde, versucht diese Lücke zu schließen, indem er das Frühwarnsystem mit einer kontinuierlichen Echtzeitschätzung der Leistung des Krankenhauses kombiniert. Die Forscher unter der Leitung von Kunihisa Ohno entwickelten eine Methode namens STREAM-SMR. Anstatt nur darauf zu warten, dass eine Schwelle überschritten wird, behandelt diese Methode die Leistung des Krankenhauses als einen lebendigen, atmenden Zustand, der sich im Laufe der Zeit verändert. Sie nutzt ein mathematisches Framework, das sein Verständnis bei jedem einzelnen Monat aktualisiert, indem es neue Patientendaten einbezieht, während es die Vergangenheit berücksichtigt, aber nicht zu sehr. Der Kern der Idee ist, ein ständig aktualisiertes Bild der Mortalitätsrate zu erzeugen, komplett mit einem Maß an Sicherheit, während gleichzeitig ein Auge auf gefährliche Verschiebungen geworfen wird. Die Studie behauptete nicht, dass diese neue Methode ein Wundermittel ist, das jedes Problem löst, sondern dass sie einen praktischen Kompromiss bietet: eine sehr geringe Verzögerung beim Auslösen eines Alarms im Austausch für eine klare, interpretierbare Sicht darauf, was tatsächlich geschieht.

Die Forscher stellten diese neue Methode den zwei am häufigsten verwendeten Werkzeugen gegenüber, die derzeit in Krankenhäusern eingesetzt werden: der risikoadjustierten CUSUM und der risikoadjustierten EWMA. Diese etablierten Werkzeuge sind wie sensible Stolperdrähte; sie sind darauf ausgelegt, eine plötzliche, anhaltende Verschlechterung der Patientenergebnisse so schnell wie möglich zu erkennen. Die Studie simulierte tausende Szenarien in Krankenhäusern unterschiedlicher Größe, von kleinen Stationen mit 50 jährlichen Aufnahmen bis hin zu großen Einrichtungen mit 800. Sie erstellten verschiedene Situationen, einschließlich plötzlicher Sprünge in den Mortalitätsraten, langsamer Drifts über die Zeit und vorübergehender Spitzen, die schließlich abklangen. Um einen fairen Wettkampf zu gewährleisten, wurden alle Methoden so kalibriert, dass sie die gleiche Chance für einen Fehlalarm hatten, etwa fünf Prozent über einen Zeitraum von fünf Jahren. Dies bedeutete, dass etwaige Leistungsunterschiede darauf zurückzuführen waren, wie die Methoden funktionierten, und nicht darauf, dass eine empfindlicher eingestellt war als die andere.

Die Ergebnisse zeigten, dass die neue Methode, STREAM-SMR, ihr primäres Ziel bemerkenswert gut erfüllte: die Bereitstellung einer klaren, laufenden Schätzung der Leistung des Krankenhauses. Als die Forscher untersuchten, wie gut die Konfidenzintervalle der Methode der tatsächlichen Realität in der Simulation entsprachen, fanden sie heraus, dass die Schätzungen hochgradig zuverlässig waren. In jedem getesteten Szenario enthielt der angegebene Unsicherheitsbereich den wahren Wert mindestens 91 Prozent der Zeit. Dies ist ein entscheidendes Merkmal für Krankenhausadministratoren und Kliniker, die nicht nur wissen müssen, dass ein Problem existiert, sondern auch, wie groß es ist und wie sicher sie sich bei dieser Einschätzung sein können. Im Gegensatz zu den traditionellen Werkzeugen, die einfach ein rotes Licht aufleuchten lassen, wenn eine Schwelle überschritten wird, bietet STREAM-SMR eine glatte, gefilterte Trajektorie der Mortalitätsrate und zeigt die Richtung und das Ausmaß der Veränderung bei jedem Schritt.

Was die Geschwindigkeit der Erkennung betraf, stellte die Studie fest, dass die neue Methode fast so schnell war wie die besten existierenden Werkzeuge bei der Erkennung anhaltender Probleme. In großen Krankenhäusern, als die Mortalitätsrate auf ein gefährliches Niveau sprang, erkannte das traditionelle CUSUM-Tool die Verschiebung in einem Median von fünf Monaten. Die neue STREAM-SMR-Methode erkannte sie in sechs Monaten. In mittelgroßen Krankenhäusern benötigten beide Methoden etwa 14 Monate, um den Alarm auszulösen. In kleinen Krankenhäusern, in denen Daten knapp sind und Trends schwerer zu erkennen sind, erkannte die neue Methode die Verschiebung sogar etwas schneller, nämlich in 20 Monaten im Vergleich zu 22 Monaten für die CUSUM. Die Forscher merkten an, dass dieser Unterschied von ein bis zwei Monaten in der Erkennungszeit für große Einrichtungen ein kleiner Preis ist für die Fähigkeit, die tatsächlichen Leistungszahlen und deren Unsicherheit in Echtzeit zu sehen. Die Studie betonte, dass diese leichte Verzögerung kein Fehler, sondern ein Merkmal des Designs der Methode ist, das eine stabile, genaue Schätzung gegenüber dem absolut schnellsten möglichen Trigger priorisiert.

Die Studie untersuchte auch, wie die Methode mit vorübergehenden Problemen umgeht, wie etwa einem dreimonatigen Anstieg der Todesfälle, nach dem die Werte wieder zum Normalzustand zurückkehren. Hier wich das Verhalten der Methoden signifikant voneinander ab. Das traditionelle CUSUM-Tool, das Beweise über die Zeit ansammelt, hielt den Alarm auch dann aktiv, wenn das Problem bereits gelöst war, da es den vergangenen Spitzenfall quasi „erinnerte“. Die neue STREAM-SMR-Methode, die einen „Diskontierungsfaktor“ verwendet, um aktuellen Daten ein höheres Gewicht als alten Daten zu geben, ermöglichte es der Schätzung, schnell zum Normalzustand zurückzukehren, sobald die Spitze endete. Bei einem vorübergehenden Ausschlag war die neue Methode schneller darin, die Verschlechterung zu erkennen, falls diese auftrat, obwohl sie in großen Einrichtungen insgesamt weniger dieser Episoden im Vergleich zur CUSUM erkannte. Die Forscher argumentierten, dass dies oft das gewünschte Verhalten in einem Register-Setting ist, bei dem das Ziel darin besteht, den aktuellen Zustand der Versorgung zu verstehen, anstatt ein Krankenhaus dauerhaft für einen vergangenen, bereits gelösten Vorfall zu markieren. Sie räumten jedoch ein, dass, wenn das spezifische Ziel eines Programms darin besteht, jede einzelne Episode der Verschlechterung zu erfassen und zu überprüfen, egal wie kurz sie war, die traditionellen akkumulierenden Werkzeuge dennoch vorzuziehen sein könnten.

Eine Schlüsselerkenntnis der Studie war die Rolle eines einzelnen Abstimmungsparameters, den die Forscher als Diskontierungsfaktor bezeichnen. Diese Einstellung wirkt wie ein Regler, der steuert, wie viel Gewicht die Methode aktuellen Daten im Vergleich zu historischen Daten gibt. Dreht man den Regler, um sensibler auf aktuelle Änderungen zu reagieren, erkennt die Methode neue Probleme schneller, kann aber dazu führen, dass die Schätzungen stärker schwanken. Dreht man ihn, um die Methode stabiler zu machen, werden die Schätzungen glatter und zuverlässiger, was jedoch die Erkennung neuer Verschiebungen verlangsamt. Die Forscher zeigten, dass Krankenhausadministratoren durch die Anpassung dieser einzigen Einstellung die Balance wählen können, die am besten zu ihren Bedürfnissen passt. Für diejenigen, die sofort wissen müssen, ob etwas nicht stimmt, eignet sich eine sensitivere Einstellung gut. Für diejenigen, die eine stabile, langfristige Sicht auf die Leistung benötigen, bietet eine konservativere Einstellung ein klareres Bild.

Die Studie kam zu dem Schluss, dass die neue Methode erfolgreich die Aufgabe der Gefahrenüberwachung mit der Aufgabe der Leistungsschätzung vereint. Sie transformiert den Prozess von einem einfachen Alarmsystem in ein kalibriertes, sequenzielles Schätzwerkzeug. Der Preis für diese zusätzliche Klarheit ist minimal und beträgt höchstens eine Verzögerung von ein bis zwei Monaten bei der Erkennung einer anhaltenden Verschlechterung in großen Einrichtungen und gar keine Verzögerung in kleinen. Die Forscher betonten, dass es sich hierbei um eine Simulationsstudie handelt, was bedeutet, dass die Ergebnisse auf Computermodellen darüber basieren, wie Krankenhäuser sich verhalten könnten, und nicht auf einer neuen klinischen Studie in einem realen Krankenhaus. Die Methode wird jedoch bereits seit etwa sieben Jahren in einem nationalen Intensivregister eingesetzt, was darauf hindeutet, dass die theoretischen Vorteile auch in der Praxis Bestand haben. Die Studie behauptet nicht, das Problem der Überwachung der Krankenhausqualität gelöst zu haben, bietet aber eine überzeugende Alternative für diejenigen, die nicht nur wissen wollen, wann sie sich Sorgen machen müssen, sondern auch genau, worüber sie sich Sorgen machen.