Identical results, hidden data problems: running CMS's digital quality measures on real hospital data
Diese Studie zeigt, dass, obwohl die digitalen Qualitätsmaße des CMS für schwere Hypoglykämie und Hyperglykämie unter Verwendung von FHIR effizient und konsistent auf realen Krankenhausdaten ausgeführt werden können, die resultierenden Metriken hochgradig empfindlich gegenüber zugrunde liegenden Datenqualitätsproblemen sind – wie etwa fehlenden Einheiten und Klassifizierungen des Aufnahmekontexts –, statt gegenüber Fehlern der Ausführungs-Engine, was die kritische Notwendigkeit von Tests zur Datenbereitstellung vor der obligatorischen FHIR-Berichterstattung unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Krankenhäuser verlassen sich zunehmend auf Computer, um zu verfolgen, wie gut sie die Patienten versorgen. Anstatt dass Ärzte und Pflegekräfte manuell Krankenakten überprüfen, um Fehler oder Komplikationen zu zählen, scannen heute Softwareprogramme elektronische Gesundheitsakten, um Qualitätsbewertungen automatisch zu erstellen. Diese Scores bestimmen, wie gut ein Krankenhaus abschneidet, und können sogar beeinflussen, wie viel Geld es aus Regierungsprogrammen erhält. Um diesen Prozess schneller und konsistenter zu gestalten, gehen Gesundheitsbehörden zu einem neuen System über, bei dem die Daten in einem standardisierten digitalen Format organisiert werden, sodass verschiedene Computersysteme dieselbe Sprache sprechen können. Das Ziel ist es, diese digitalen Messgrößen automatisch laufen zu lassen, um ein klares, Echtzeit-Bild der Patientensicherheit zu erhalten. Es bleibt jedoch eine kritische Frage: Wenn der Computer die Daten genau so liest, wie sie geschrieben wurden, werden die Ergebnisse dann die wahre Realität der Patientenversorgung widerspiegeln, oder führen verborgene Mängel in der Art und Weise, wie die Daten erfasst wurden, zu irreführenden Zahlen?
Ein Forscher namens Sai Sharan Kasa setzte sich zum Ziel, diese Frage zu beantworten, indem er zwei spezifische Sicherheitsmaßnahmen an einer massiven, realen Datenbank von Krankenhausakten testete. Diese Maßnahmen sind darauf ausgelegt, zwei gefährliche Zustände abzufangen: extrem niedrigen Blutzucker und extrem hohen Blutzucker, die beide bei hospitalisierten Patienten auftreten können. Der Forscher verwendete einen vollständigen Satz deidentifizierter Datensätze eines großen Lehrkrankenhauses in Boston, der Hunderttausende von Patientenaufenthalten über mehr als ein Jahrzehnt abdeckte. Die Aufzeichnungen waren in das neue, standardisierte digitale Format konvertiert worden, enthielten aber immer noch die ursprünglichen, unordentlichen Details darüber, wie das Krankenhauspersonal die Informationen eingegeben hatte. Der Forscher baute ein System auf, um die offizielle Regierungssoftware auf diesen Daten laufen zu lassen, jedoch mit einer entscheidenden Wendung: Das System wurde so konzipiert, dass es die Daten in kleinen, handhabbaren Stücken für jeden Patientenaufenthalt verarbeitet, anstatt zu versuchen, die gesamte einjährige Geschichte eines Patienten auf einmal zu lesen. Dieser Ansatz ermöglichte es dem Forscher, die komplexen Berechnungen für alle 431.231 Krankenhausaufenthalte in nur wenigen Stunden durchzuführen – eine Aufgabe, die mit älteren Methoden Wochen oder Monate gedauert hätte.
Die erste große Entdeckung war, dass das neue, stückweise arbeitende System identische Ergebnisse mit der ursprünglichen, unveränderten Software lieferte, wenn es auf denselben Daten ausgeführt wurde. Dies war ein wichtiger Befund, da er bewies, dass die neue Art der Datenverarbeitung keine Fehler oder Änderungen an der Logik selbst einführte. Der Computer tat genau das, was er sollte. Wenn der Forscher jedoch tiefer untersuchte, was der Computer tatsächlich fand, stellte er fest, dass die Ergebnisse vollständig von der Qualität der Daten abhingen, die hineingefüttert wurden. Die Software war ein treuer Spiegel, aber das Spiegelbild, das sie zeigte, war durch die Art und Weise, wie die Daten ursprünglich erfasst wurden, verzerrt.
Das bedeutendste Problem, das gefunden wurde, bezog sich auf die Art und Weise, wie Blutzuckerwerte aufgezeichnet wurden. In vielen Fällen erzeugten Blutzuckermessgeräte am Krankenbett zwar einen Wert, ließen aber die Maßeinheit, wie etwa Milligramm pro Deziliter, vermissen. Da die Sicherheitsmaßnahme eine spezifische Einheit benötigt, um zu bestimmen, ob eine Zahl gefährlich niedrig oder hoch ist, konnte der Computer diese Werte nicht mit den Sicherheitsgrenzwerten vergleichen. Infolgedessen waren fast die Hälfte der Fälle von extrem niedrigem Blutzucker für das System völlig unsichtbar. Als der Forscher die korrekte Einheit diesen fehlenden Einträgen manuell zuordnete, stieg die Zahl der erkannten Fälle von extrem niedrigem Blutzucker signifikant an, was offenbarte, dass die ursprünglichen Daten einen großen Teil dieser gefährlichen Vorfälle verborgen hatten. Ähnlich verhielt es sich bei schweren Blutzuckerschwankungen nach oben: Das System übersah viele Tage mit extrem hohem Blutzucker, weil es die Diabetesdiagnose eines Patienten nicht mit seinem Krankenhausaufenthalt verknüpfen konnte, wodurch der Computer den notwendigen Kontext ignorierte, um diese Tage korrekt zu zählen.
Die Studie untersuchte auch, wie der Computer entschied, welche Medikamente zu zählen sind. Die Software greift auf eine Liste von Arzneimennamen zurück, um Patienten zu identifizieren, die Glukosesenker erhielten. Der Forscher testete verschiedene Wege, die lokalen Arzneimittelcodes des Krankenhauses mit der Standardliste abzugleichen. Während die Änderung dieser Abgleichregeln die Anzahl der einbezogenen spezifischen Patienten verschob, änderte dies nicht drastisch den Gesamtzustand der betroffenen Patienten. Dies deutet darauf hin, dass, obwohl die spezifische Liste der Patienten je nach Mapping der Daten variieren kann, die allgemeine Rate der Schädigung in diesem speziellen Datensatz relativ stabil blieb. Der Forscher stellte jedoch fest, dass wenn das System angewiesen wurde, Beobachtungsaufenthalte – kurze Besuche, die keine vollen Krankenhausaufnahmen sind – als volle Krankenhausaufenthalte zu zählen, sich die Anzahl der in den Sicherheitsmaßnahmen gezählten Patienten etwa verdoppelte. Dies verdeutlichte, dass ein einfacher Klassifizierungsfehler in den Daten die Größe der gemessenen Gruppe dramatisch verändern kann, selbst wenn die Schadensrate innerhalb dieser Gruppe gleich bleibt.
Vielleicht die überraschendste Erkenntnis war, dass standardmäßige Qualitätskontrollen diese Probleme nicht erfassen konnten. Die Computersysteme, die verifizierten, ob die Daten dem korrekten Format entsprachen, meldeten, dass alles in Ordnung sei. Die Datensätze bestanden alle technischen Prüfungen hinsichtlich Struktur und Vollständigkeit, und dennoch enthielten sie die verborgenen Fehler, die dazu führten, dass die Sicherheitsmaßnahmen gefährliche Ereignisse übersahen. Ein Datensatz konnte eine fehlende Einheit oder eine unterbrochene Verknüpfung zu einer Diagnose aufweisen und dennoch alle Validierungstests bestehen, nur um dann von der Sicherheitssoftware ignoriert zu werden, wenn diese versuchte, ein Ergebnis zu berechnen. Dies bedeutet, dass Krankenhäuser sich nicht auf Standard-Datenprüfungen verlassen können, um die Genauigkeit ihrer Sicherheitsbewertungen zu gewährleisten; sie müssen die spezifische Logik der Sicherheitsmaßnahmen selbst untersuchen, um diese Lücken zu finden.
Der Forscher kam zu dem Schluss, dass das neue digitale System technisch zwar funktioniert und riesige Datenmengen schnell und kostengünstig verarbeiten kann, die Zahlen, die es produziert, jedoch nur so gut sind wie die Daten, die hineingefüttert werden. Die Studie zeigte, dass verborgene Datenprobleme, wie etwa fehlende Einheiten oder unterbrochene Verknüpfungen, fast die Hälfte der Fälle von extrem niedrigem Blutzucker verbergen und die Zählung der Tage mit hohem Blutzucker erheblich verändern können. Diese Fehler entstehen nicht dadurch, dass die Software versagt, sondern dadurch, dass die Daten nicht bereit für die strengen Anforderungen der Software sind. Bevor Krankenhäuser verpflichtet werden, diese digitalen Sicherheitsbewertungen zu melden, müssen sie ihre eigenen Daten gegen die spezifischen Regeln der Messverfahren testen, um sicherzustellen, dass sie nicht eine falsche Sicherheit melden. Die Technologie ist bereit, aber die Daten müssen bereinigt und vorbereitet werden, um das wahre Bild der Patientensicherheit zu offenbaren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.