Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

Jedes Jahr verlassen Millionen von Patienten ein Krankenhaus, nur um innerhalb eines Monats wieder einzutreten, oft weil ihre Genesung stagnierte oder ihr Versorgungsplan scheiterte. Dieser Kreislauf der Wiederaufnahme ist eine große Belastung für die Gesundheitssysteme, treibt die Kosten in die Höhe und signalisiert, dass beim Übergang vom Krankenhaus nach Hause etwas schiefgelaufen ist. Um dies zu stoppen, haben Krankenhäuser auf maschinelles Lernen zurückgegriffen, einen Zweig der Informatik, bei dem Software lernt, Muster in riesigen Datenmengen zu finden. Indem Forscher diese Programme mit elektronischen Patientenakten – digitalen Dateien, die Laborergebnisse, Medikamentenlisten und Arztnotizen enthalten – füttern, hoffen sie, Werkzeuge entwickeln zu können, die die Patienten erkennen können, die am wahrscheinlichsten zurückkehren werden, und ihnen zusätzliche Hilfe senden, bevor sie das Krankenhaus verlassen. Jahrelang haben die wissenschaftliche Gemeinschaft diese Werkzeuge anhand einer einzigen Zahl beurteilt: einem Score, der misst, wie gut das Modell Patienten vom niedrigsten zum höchsten Risiko einordnet. Wenn ein Modell korrekt sagen kann: „Dieser Patient ist riskanter als jener“, erhält es einen hohen Wert, und das war ausreichend, um es als Erfolg zu erklären.

Eine neue Analyse deutet jedoch darauf an, dass dieser einzelne Wert nur die halbe Wahrheit erzählt. Eine schnelle systematische Übersicht, die von Forschern der Chittagong University of Engineering and Technology durchgeführt wurde, untersuchte 156 zwischen 2020 und 2026 veröffentlichte Studien, die maschinelles Lernen zur Vorhersage von 30-Tage-Wiederaufnahmen im Krankenhaus verwendeten. Das Team stellte fest, dass diese Modelle auf dem Papier oft beeindruckend aussehen, aber häufig daran scheitern, zu beweisen, dass sie in der realen Welt funktionieren werden. Die Forscher entdeckten, dass fast alle Studien auf internen Tests basierten, bei denen das Modell gegen Daten desselben Krankenhauses geprüft wurde, das es erstellt hat. Nur sehr wenige Studien testeten, ob das Modell in einem anderen Krankenhaus oder mit Daten aus einem späteren Zeitraum funktionieren würde. Darüber hinaus prüften die Studien selten, ob die von den Modellen erzeugten Risikoprozentsätze tatsächlich genau waren oder ob die Gründe, die die Modelle für ihre Vorhersagen anführten, für menschliche Ärzte Sinn ergaben. Die Übersicht kommt zu dem Schluss, dass sich das Feld zu schnell in der Einführung glanzvoller neuer Funktionen bewegt hat, während es die grundlegenden Prüfungen vernachlässigt hat, die sicherstellen sollen, dass diese Werkzeuge sicher und zuverlässig für Patienten sind.

Das identifizierte Kernproblem ist, dass ein Modell gut darin sein kann, Patienten einzustufen, ohne gut darin zu sein, tatsächliche Ergebnisse vorherzusagen. Stellen Sie sich eine Wetter-App vor, die Ihnen zwar korrekt sagt, dass es am Dienstag wahrscheinlicher regnen wird als am Montag, aber versagt, Ihnen zu sagen, dass die Regenwahrscheinlichkeit an beiden Tagen bei null Prozent liegt. Im Kontext von Krankenhauswiederaufnahmen ist diese Unterscheidung entscheidend. Krankenhäuser müssen wissen, wie hoch die tatsächliche Wahrscheinlichkeit einer Rückkehr eines Patienten ist, damit sie entscheiden können, wie viele Ressourcen sie zuweisen. Wenn ein Modell eine 90-prozentige Wahrscheinlichkeit der Wiederaufnahme für einen Patienten vorhersagt, der eigentlich nur eine 10-prozentige Chance hat, könnte das Krankenhaus knappe Übergangspflegeleistungen an diesen Patienten verschwenden, während es andere übersieht, die sie wirklich benötigen. Die Übersicht ergab, dass zwar 85 Prozent der Studien den Ranking-Score angaben, aber nur etwa 15 Prozent erwähnten, ob ihre Vorhersagen mit der Realität übereinstimmten, und nur eine Studie einen spezifischen Metrik verwendete, um diese Genauigkeit zu messen.

Über die Genauigkeit hinaus untersuchten die Forscher, ob diese Modelle „reisen“ könnten. Ein Modell, das auf Daten eines großen städtischen Lehrkrankenhauses in einer Stadt aufgebaut wurde, könnte in einer ländlichen Klinik in einem anderen Bundesstaat völlig versagen, einfach weil die Patientenpopulationen und medizinischen Praktiken unterschiedlich sind. Dies ist als externe Validierung bekannt. Die Übersicht fand heraus, dass nur 12 Prozent der Studien ihre Modelle in einem neuen Umfeld oder zu einem späteren Zeitpunkt testeten. Wenn die wenigen Studien, die diese Tests durchführten, ihre Ergebnisse teilten, schnitten die Modelle in der neuen Umgebung fast immer schlechter ab. In fünf Fällen, in denen Forscher die Leistung des Modells in seinem Heimatkrankenhaus gegenüber einem neuen Krankenhaus verglichen, sank die Fähigkeit, Patienten korrekt einzustufen, in jedem einzelnen Fall. Dies deutet darauf hin, dass viele Modelle auf ihre spezifischen lokalen Daten überangepasst (overfitted) sind und die Eigenheiten eines einzelnen Krankenhauses erfassen, statt universelle Anzeichen für ein Risiko.

Eine weitere große Lücke in der Forschung ist die Erklärbarkeit. Da maschinelle Lernmodelle komplexer geworden sind, haben Forscher Werkzeuge eingesetzt, um zu erklären, warum ein Modell eine bestimmte Vorhersage getroffen hat, wobei oft hervorgehoben wird, welche Faktoren, wie etwa hoher Blutdruck oder ein bestimmtes Medikament, am meisten zum Risikoscore beigetragen haben. Die Übersicht stellte fest, dass der Einsatz dieser Erklärungs-Werkzeuge sprunghaft angestiegen ist – von weniger als 6 Prozent der Studien in den frühen Jahren des Untersuchungszeitraums auf fast 30 Prozent in den jüngsten Jahren. Die Forscher fanden jedoch heraus, dass die Studien zwar schnell diese Erklärungen zeigten, aber fast nie testeten, ob die Erklärungen tatsächlich korrekt oder stabil waren. Ein Modell könnte einen bestimmten Laborwert als Grund für ein hohes Risiko anführen, aber wenn sich dieser Grund zufällig ändert, wenn die Daten leicht angepasst werden, ist die Erklärung nicht vertrauenswürdig. Die Übersicht fand keine Abstracts, die bewerteten, ob die bereitgestellten Erklärungen zuverlässig waren oder ob Ärzte sie für nützlich hielten.

Die Studie untersuchte auch, ob diese Modelle verschiedene Gruppen von Menschen fair behandeln. Wiederaufnahmeraten können von Faktoren beeinflusst werden, die außerhalb der reinen Biologie liegen, wie etwa der Zugang zu Transportmitteln oder die Fähigkeit, Medikamente zu bezahlen. Wenn ein Modell aus historischen Daten lernt, die solche Ungleichheiten widerspiegeln, könnte es bestimmte Gruppen allein deshalb fälschlicherweise als Hochrisikogruppen einstufen, weil sie weniger Zugang zur Versorgung haben, und nicht, weil sie medizinisch kränker sind. Die Übersicht ergab, dass nur ein winziger Bruchteil der Studien, etwa 4,5 Prozent, auf diese Disparitäten bei verschiedenen Personengruppen basierend auf Race, Geschlecht oder Alter prüfte. Dieser Mangel an Prüfung bedeutet, dass Krankenhäuser unbeabsichtigt Werkzeuge einsetzen könnten, die bestehende Vorurteile im Gesundheitssystem verstärken.

Die Forscher kamen zu dem Schluss, dass das Feld die falschen Dinge priorisiert. Der schnelle Anstieg in der Verwendung komplexer Erklärungs-Werkzeuge hat die Einführung grundlegender Sicherheitsprüfungen, wie das Testen von Modellen in neuen Standorten oder die Verifizierung ihrer Genauigkeit, überholt. Die Autoren argumentieren, dass diese Modelle, bevor sie zur Entscheidungsfindung in der Patientenversorgung eingesetzt werden, ein Mindestmaß an Standards bestehen müssen. Diese Standards umfassen das Testen des Modells mit Daten aus einem anderen Krankenhaus oder einem anderen Zeitraum, die Überprüfung, ob die vorhergesagten Risiken mit den tatsächlichen Ergebnissen übereinstimmen, und die Sicherstellung, dass das Modell nicht gegen bestimmte Gruppen diskriminiert. Die Übersicht legt nahe, dass der nächste Durchbruch in diesem Bereich nicht durch die Erfindung komplexerer Algorithmen erfolgen wird, sondern dadurch, dass man besser beweist, dass die Werkzeuge, die wir bereits haben, sicher, genau und fair für alle sind.