When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance

Im Kampf gegen Supererreger wenden Ärzte und Wissenschaftler zunehmend Computern zu, um vorherzusagen, welche Bakterien gegen welche Antibiotika resistent sein werden. Diese Computerprogramme, die unter Einsatz von maschinellem Lernen entwickelt wurden, agieren wie hochtrainierte Experten für Mustererkennung. Sie scannen riesige Mengen medizinischer Daten – wie etwa Patientenakten, Laborergebnisse und genetische Sequenzen –, um zu vermuten, ob eine spezifische Infektion eine Standardmedikamentenbehandlung überleben wird. Wenn diese Programme in dem Krankenhaus getestet werden, in dem sie entwickelt wurden, wirken sie oft wie Wunder der modernen Medizin, da sie resistente Bakterien mit hoher Genauigkeit korrekt identifizieren. Dieser Erfolg gibt Forschern und Klinikern die Hoffnung, dass diese Werkzeuge bald weltweit eingesetzt werden können, um lebensrettende Behandlungsentscheidungen zu leiten.

Ein Computerprogramm, das aus den Daten eines Krankenhauses lernt, weiß jedoch nicht automatisch, wie es die Daten eines anderen Krankenhauses liest. Genau wie eine Person, die lernt, in den ruhigen Straßen einer Kleinstadt Auto zu fahren, und auf den chaotischen Autobahnen einer Großstadt Schwierigkeiten bekommen könnte, stehen diese Modelle vor einer verborgenen Herausforderung, wenn sie ihre Heimatumgebung verlassen. Die Daten, auf die sie in einem anderen Land, zu einem anderen Zeitpunkt oder sogar in einer benachbarten Stadt treffen, können aufgrund von Variationen bei lokalen Bakterienstämmen, der Laborausrüstung oder der Patientenpopulationen subtil anders aussehen. Die entscheidende Frage für die Zukunft der medizinischen KI ist nicht nur, wie gut diese Modelle zu Hause abschneiden, sondern wie stark ihre Genauigkeit sinkt, wenn sie in die reale Welt geschickt werden, um an neuen Orten zu arbeiten.

Eine neue Studie setzte sich zum Ziel, genau diesen Leistungsabfall zu messen. Der Forscher Dripto Roy sammelte eine Sammlung veröffentlichter Studien zum maschinellen Lernen, die die Arbeit geleistet hatten, ihre Modelle an zwei Orten zu testen: zuerst in dem Krankenhaus, in dem das Modell entwickelt wurde, und dann erneut in einem völlig unabhängigen Krankenhaus oder Datensatz. Das Ziel war einfach, aber lebenswichtig: zu sehen, was die Differenz zwischen dem Vertrauen des Modells zu Hause und seiner tatsächlichen Leistung im Ausland ist. Durch den Vergleich der Ergebnisse dieser paarweisen Tests wollte die Studie feststellen, ob die in wissenschaftlichen Arbeiten berichteten hohen Erfolgsraten ein verlässliches Versprechen für zukünftigen Erfolg sind oder ob es sich oft um eine Illusion handelt, die verblasst, sobald das Modell verreist.

Die Untersuchung konzentrierte sich auf eine spezifische Gruppe von Studien, die sowohl einen internen als auch einen externen Score für dasselbe Modell und dieselbe Vorhersageaufgabe angaben. Insgesamt analysierte der Forscher siebenundvierzig verschiedene Vergleiche aus acht unabhängigen Forschungsarbeiten. Diese Vergleiche deckten ein breites Spektrum an Szenarien ab, darunter Vorhersagen für gefährliche Bakterien wie MRSA und resistente Pneumonie, unter Verwendung von Daten aus elektronischen Patientenakten, Ganzgenomsequenzierung und klinischen Laborberichten. Der Forscher berechnete die Differenz zwischen dem internen Score und dem externen Score für jeden einzelnen Vergleich, um zu sehen, wie stark sich die Leistung veränderte.

Die Ergebnisse zeigten ein klares, wenn auch nuanciertes Muster. In der großen Mehrheit der einzelnen Vergleiche – sechsunddreißig von siebenundvierzig – schnitt das Modell schlechter ab, wenn es mit neuen, externen Daten getestet wurde, als es mit den Daten, mit denen es trainiert wurde. Im Durchschnitt war der Rückgang der Genauigkeit deutlich, wobei der externe Score unter dem internen Score um eine messbare Spanne fiel. Dies bestätigte, dass die „Optimismus“-Erfahrung, eine hohe Punktzahl in einer Entwicklungsumgebung zu sehen, ein reales Phänomen ist; Modelle verlieren tatsächlich an Schärfe, wenn sie ihre Heimatumgebung verlassen.

Die Geschichte wird jedoch komplexer, wenn man das große Ganze betrachtet. Dem Forscher wurde klar, dass es irreführend ist, einfach jeden einzelnen Vergleich als gleichwertigen Beweis zu zählen. Einige Forschungsarbeiten berichteten über Dutzende verschiedener Modellvariationen oder Antibiotika-Ziele, die alle aus exakt derselben Patientengruppe und denselben Datenverarbeitungsschritten abgeleitet wurden. Wenn diese vielen Ergebnisse aus einer einzigen Arbeit alle als gleichwertig gezählt würden, würden sie die Ergebnisse anderer Arbeiten, die nur ein oder zwei Vergleiche meldeten, überlagern. Als der Forscher die Analyse so anpasste, dass jede gesamte Forschungsarbeit als eine einzige Einheit an Evidenz behandelt wurde – sodass jede Arbeit die gleiche Stimme erhielt, unabhängig davon, wie viele Zahlen sie enthielt –, änderte sich das Bild signifikant.

Unter dieser ausgewogeneren Sichtweise schrumpfte der durchschnittliche Leistungsabfall erheblich. Obwohl die Modelle außerhalb ihrer Heimatumgebung im Allgemeinen schlechter abschnitten, war die Lücke wesentlich kleiner, als die ursprüngliche Zählung suggerierte. Tatsächlich war der durchschnittliche Unterschied, wenn man die acht Studien als Ganzes betrachtete, so gering, dass er leicht Null sein könnte. Das bedeutet, dass einige Modelle bei einem Transport signifikante Genauigkeitsverluste erleiden, andere jedoch überraschend robust bleiben, und dass das gesamte Feld nicht unter einem universellen Straffaktor leidet. Die Größe des Abfalls hängt ganz von der spezifischen Studie, den verwendeten Daten und der Art und Weise ab, wie die Ergebnisse gezählt werden.

Die Studie hob auch hervor, was in der aktuellen Landschaft der medizinischen KI fehlt. Während die meisten der überprüften Arbeiten versuchten, ihre Modelle in neuen Umgebungen zu testen, gingen nur sehr wenige so weit, zu prüfen, ob die Modelle gut kalibriert waren. Kalibrierung ist ein entscheidendes Konzept, das über die reine Genauigkeit hinausgeht; sie fragt, ob die vom Modell ausgegebenen Wahrscheinlichkeitszahlen tatsächlich mit dem realen Risiko übereinstimmen. Wenn ein Modell beispielsweise vorhersagt, dass ein Patient eine 20-prozentige Chance auf eine Resistenz hat, weist dieser Patient dann tatsächlich in etwa einem von fünf Fällen eine Resistenz auf? Die Überprüfung ergab, dass diese lebenswichtige Prüfung selten berichtet wurde. Darüber hinaus testeten nur sehr wenige Studien ihre Modelle im Zeitverlauf, um zu sehen, ob sie mit der Evolution von Bakterien präzise bleiben, oder testeten sie in einer prospektiven, vorausschauenden Weise, bei der das Modell die Ergebnisse für Patienten vorhersagt, während diese im Krankenhaus eintreffen.

Die Erkenntnisse dienen als Warnung dafür, wie wir den Erfolg medizinischer KI interpretieren sollten. Die Studie argumentt, dass wir nicht einfach einen hohen Genauigkeitswert aus einer Arbeit nehmen und davon ausgehen können, dass dieser überall Bestand haben wird. Die scheinbare Größe der Leistungsdifferenz reagiert höchst sensibel darauf, wie wir die Beweise zählen. Wenn wir jede einzelne Modellvariation in einer Arbeit als separaten Fakt zählen, übertreiben wir das Problem. Wenn wir jede Arbeit als eine einzige Geschichte betrachten, erscheint das Problem kleiner, bleibt aber dennoch real. Die Forschung kommt zu dem Schluss, dass es keine einfache mathematische Lösung oder einen universellen Korrekturfaktor gibt, den man auf alle veröffentlichten Scores anwenden kann, um deren reale Leistungsfähigkeit vorherzusagen.

Stattdessen erfordert der Weg nach vorn mehr Transparenz und Strenge. Forscher müssen explizit angeben, wie sie ihre Daten aufteilen, um sicherzustellen, dass keine Informationen aus der Testphase zurück in die Trainingsphase durchsickern. Sie müssen nicht nur berichten, wie gut ein Modell Patienten einordnet, sondern auch, wie gut seine Wahrscheinlichkeitsschätzungen mit der Realität übereinstimmen. Vor allem müssen sie ihre Modelle in wirklich unabhängigen Umgebungen validieren und dabei die spezifischen Zahlen der Patienten sowie die Prävalenz der Resistenz sowohl im Heimatszenario als auch im neuen Setting angeben. Bis diese Standards zur Norm werden, bleibt der hohe Erfolg, der in der Fachliteratur berichtet wird, ein Versprechen, das noch nicht vollständig eingelöst wurde, und der Weg von einem erfolgreichen Computermodell zu einem zuverlässigen Werkzeug für Ärzte bleibt ein laufender Prozess.