A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

In den modernen Krankenhäusern findet eine stille Revolution statt. Computer lernen, Patientenakten zu lesen, Muster in Blutdruck, Alter und Lebensstil zu erkennen, die menschlichen Ärzten entgehen könnten, und nutzen diese Muster, um vorherzusagen, wer einem Herzinfarkt oder anderen schweren Erkrankungen ausgesetzt ist. Dieses Feld, bekannt als klinisches maschinelles Lernen, verspricht Leben zu retten, indem es Gefahren frühzeitig erkennt. Doch es gibt einen Haken. Ein Computerprogramm, das lernt, Herzkrankheiten in einer Stadt vorherzusagen, könnte völlig versagen, wenn es in eine andere Stadt mit einer anderen Bevölkerung verschoben wird. Dies geschieht, weil die Menschen in der zweiten Stadt älter sein könnten, andere Lebensmittel essen oder ihre Krankenakten auf eine leicht andere Weise führen. Wenn der Computer auf diese Unterschiede stößt, können seine Vorhersagen unzuverlässig werden – nicht nur in Bezug darauf, ob sie richtig oder falsch sind, sondern auch in Bezug auf das Vertrauen, das sie ausdrücken. Wenn ein Modell sagt, ein Patient habe eine Wahrscheinlichkeit von fünfundsiebzig Prozent für ein Ereignis, die tatsächliche Chance aber nur bei fünfunddreißig Prozent liegt, könnte ein Arzt unnötige, invasive Tests anordnen oder, schlimmer noch, eine reale Gefahr übersehen. Damit diese Werkzeuge sicher sind, müssen sie vertrauenswürdig sein, was bedeutet, dass sie nicht nur genau, sondern auch ehrlich in Bezug auf ihre eigene Unsicherheit und konsistent in der Erklärung ihrer Argumentation sein müssen.

Eine Forscherin namens Tanya Deep hat ein neues System entwickelt, um genau diese Art von Vertrauenswürdigkeit zu testen. Sie erschuf ein Framework namens AETHEL, eine Sammlung automatisierter Werkzeuge, die darauf ausgelegt sind, klinische Modelle des maschinellen Lernens zu prüfen, bevor sie jemals an echten Patienten eingesetzt werden. Anstatt nur zu kontrollieren, ob ein Modell die richtige Antwort liefert, agiert AETHEL wie ein strenger Sicherheitsinspektor, der drei spezifische Dinge prüft: wie gut die Wahrscheinlichkeitsschätzungen des Modells mit der Realität übereinstimmen, wie stabil die Argumentation bleibt, wenn sich die Daten ändern, und ob der Rat des Modells Ärzten tatsächlich hilft, bessere Entscheidungen zu treffen. Um dieses System zu testen, trainierte Deep mehrere verschiedene Computermodelle an einer synthetischen Kohorte von 1.000 Patienten und versuchte dann, dieselben Modelle auf echte Daten aus der berühmten Framingham-Herzstudie (die Zielkohorte) und der National Health and Nutrition Examination Survey (die Referenz für den Domänenwechsel) anzuwenden. Das Ziel war es zu sehen, was passiert, wenn ein Modell, das in einer Umgebung trainiert wurde, gezwungen ist, in einer anderen zu operieren – eine Situation, die als Domänenwechsel (Domain Shift) bekannt ist.

Die Ergebnisse dieser Prüfung offenbarten ein erhebliches Problem mit der Art und Weise, wie diese Modelle derzeit validiert werden. Als die Modelle von den Trainingsdaten auf die neuen, realen Daten übertragen wurden, sank ihre Fähigkeit zur korrekten Vorhersage, aber noch wichtiger war, dass ihr Vertrauen gefährlich fehlgestimmt war. Ein Modell identifiziert die richtigen Patienten zwar immer noch, weist ihnen jedoch die falschen Risikoperzentagen zu. Beispielsweise wurde ein Modell, das in seiner Trainingsphase gut kalibriert war, beim Transfer unkalibriert, was bedeutet, dass seine Risiko-Scores nicht mehr mit der tatsächlichen Wahrscheinlichkeit eines Ereignisses übereinstimmten. Deep fand heraus, dass die Modelle zwar durch standardmäßige mathematische Anpassungen zur Neuausrichtung ihres Vertrauens behoben werden konnten, aber ein subtileres Problem bestehen blieb. Selbst nachdem die Zahlen korrigiert worden waren, begann sich die Stärke der Argumentation des Modells zu verschieben. Obwohl die Modelle konsistent dieselben drei Hauptfaktoren – Alter, BMI und Raucherstatus – als die wichtigsten identifizierten, änderte sich das spezifische Gewicht und die Korrelation dieser Faktoren zwischen den Settings. In den Trainingsdaten konnte das Modell beispielsweise stark auf Alter und Raucherstatus angewiesen sein, um eine Entscheidung zu treffen, doch in den neuen Daten veränderte sich die Beziehung zwischen diesen Faktoren und dem Ergebnis. Diese Drift in der Argumentation ist gefährlich, da Ärzte sich auf diese Erklärungen verlassen, um zu verstehen, warum ein Computer einen Patienten als gefährdet markiert. Wenn sich die Logik ohne Warnung ändert, kann der Arzt dem Rat nicht vertrauen.

Um diese verborgene Instabilität zu messen, führte Deep neue Wege ein, um zu zählen, wie sehr sich die Argumentation eines Modells verändert. Sie entwickelte Metriken, die die Liste der wichtigsten Faktoren, die ein Modell in einem Setting verwendet, mit der Liste vergleichen, die es in einem anderen verwendet. Die Tests zeigten, dass einige Modelle, wie etwa einfache lineare Gleichungen, ihre Argumentation recht konsistent beibehielten, während komplexere Modelle oft die Stärke ihrer Abhängigkeit von Schlüsselfaktoren änderten, wenn sich die Daten änderten. Dieser Befund stellt die gängige Praxis infrage, davon auszugehen, dass ein Modell, wenn es an einem Ort gut funktioniert, auch auf die gleiche Weise an einem anderen Ort arbeiten wird. Die Studie demonstrierte, dass es nicht ausreicht, nur die Genauigkeit zu prüfen; man muss auch prüfen, ob die interne Logik des Modells standhält, wenn sich die Umgebung ändert.

Das Framework untersuchte auch den praktischen Nutzen dieser Vorhersagen für einen Arzt direkt am Krankenbett eines Patienten. Mithilfe einer Methode namens Decision Curve Analysis übersetzte die Studie abstrakte statistische Vorteile in konkrete Zahlen, die ein Kliniker verstehen kann. Anstatt nur zu sagen, dass ein Modell die Ergebnisse verbessert, erzeugte das System visuelle Diagramme, die genau zeigten, wie viele Patienten von tausend korrekt für eine Behandlung identifiziert würden im Vergleich dazu, wie viele unnötigerweise behandelt würden. Die Ergebnisse zeigten, dass die Modelle, wenn sie ordnungsgemäß kalibriert waren, einen klaren Vorteil gegenüber der bloßen Behandlung aller oder der Behandlung von niemandem boten. Dieser Vorteil verschwand jedoch, wenn das Modell nicht für die neue Population rekalibriert wurde. Die Studie kam zu dem Schluss, dass maschinelles Lernen für den Einsatz in einem Krankenhaus kein „Einmal einstellen und dann vergessen“-Werkzeug sein kann. Es erfordert ein kontinuierliches, automatisiertes Audit, das nicht nur den Endwert prüft, sondern auch die Kalibrierung des Vertrauens, die Stabilität der Argumentation und die Auswirkungen auf die reale Welt. Durch die Veröffentlichung dieses Frameworks als Open-Source-Software hat die Forscherin eine Möglichkeit geschaffen, mit der andere diese Sicherheitsprüfungen selbst verifizieren können, um sicherzustellen, dass das Versprechen der künstlichen Intelligenz in der Medizin nicht ihr Sicherheitsniveau überholt.