Evaluating Cross-Method Explanation Consistency in XGBoost-Based Heart-Disease Classification

In der modernen Landschaft des Gesundheitswesens ist künstliche Intelligenz zu einem leistungsstarken Werkzeug geworden, um Muster in medizinischen Daten aufzuspüren, die dem menschlichen Auge entgehen könnten. Diese Computersysteme können lernen, vorherzusagen, ob ein Patient eine bestimmte Erkrankung hat, indem sie eine Liste von Messwerten analysieren, wie etwa Alter, Blutdruck und Herzfrequenz. Eine erhebliche Herausforderung bleibt jedoch: Während diese Modelle präzise Vorhersagen treffen können, agieren sie oft als „Black Boxes“. Sie liefern eine Antwort, ohne die Logik dahinter zu erklären. In Hochrisikofeldern wie der Medizin reicht es nicht aus, die Diagnose zu kennen; Ärzte und Patienten müssen verstehen, welche Faktoren zu dieser Schlussfolgerung geführt haben. Hier setzt das Feld der erklärbaren künstlichen Intelligenz an und bietet Methoden an, um in die Logik der Maschine hineinzublicken. Doch eine neue Komplikation ist aufgetreten: Verschiedene Methoden, um in die Maschine hineinzublicken, können manchmal unterschiedliche Geschichten erzählen. Eine Technik hebt unter Umständen das Alter eines Patienten als den kritischsten Faktor hervor, während eine andere auf dessen Cholesterinspiegel deutet. Diese Inkonsistenz wirft eine entscheidende Frage auf: Wenn die Werkzeuge, die das Modell erklären sollen, untereinander uneinig sind, kann man der Erklärung dann überhaupt vertrauen?

Eine aktuelle Studie von Aritrik Ghosh an der Swami Vivekananda University widmet sich genau diesem Problem, indem sie untersucht, wie gut verschiedene Erklärungsmethoden übereinstimmen, wenn sie auf ein Modell zur Erkennung von Herzkrankheiten angewendet werden. Der Forscher konzentrierte sich auf einen spezifischen Typ von maschinellem Lernmodell namens XGBoost, der aufgrund seiner Fähigkeit, komplexe Daten zu verarbeiten, weit verbreitet ist. Die Studie nutzte eine bekannte Sammlung medizinischer Datensätze mit 297 Patientenfallen, die jeweils durch dreizehn verschiedene Gesundheitsindikatoren und eine abschließende Diagnose (Herzkrankheit oder keine Herzkrankheit) beschrieben wurden. Das Ziel bestand nicht darin, einen neuen Weg zur Vorhersage von Herzkrankheiten zu erfinden, sondern rigoros zu testen, ob die verschiedenen Wege, die Entscheidungen des Modells zu erklären, konsistent waren. Der Forscher trainierte das Modell mit einem Teil der Daten und wandte dann drei verschiedene Erklärungstechniken an, um zu sehen, ob sie dieselben wichtigsten Gesundheitsfaktoren identifizierten.

Die erste Technik, die verwendet wurde, war das interne Maß auf Wichtigkeit des Modells selbst, welches schlicht zählt, wie oft ein spezifischer Gesundheitsindikator verwendet wurde, um eine Entscheidung zu treffen. Die zweite Methode, bekannt als Permutation Importance, funktioniert dadurch, dass die Werte eines einzelnen Gesundheitsindikators jeweils durch Zufallswerte ersetzt werden, um zu sehen, wie stark die Genauigkeit des Modells sinkt; wenn das Modell signifikant stolpert, wenn eine bestimmte Zahl vertauscht wird, gilt diese Zahl als wichtig. Der dritte Ansatz, genannt SHAP, berechnet den spezifischen Beitrag jedes Faktors zu einer Vorhersage basierend auf einem mathematischen Rahmenwerk, das sicherstellt, dass die Beiträge korrekt zusammengefasst werden. Als der Forscher die Ergebnisse dieser drei Methoden an einem festen Satz von Testfällen verglich, stellte er eine starke, wenn auch nicht perfekte Übereinstimmung fest. Alle drei Methoden identifizierten konsistent dieselben obersten wenigen Faktoren als die einflussreichsten: die Anzahl der großen Blutgefäße mit Blockaden, das Ergebnis eines Thallium-Belastungstests und die Art der beim Patienten auftretenden Brustschmerzen.

Die Studie zeigte jedoch, dass Konsistenz nicht garantiert ist, insbesondere wenn die Datenmenge gering ist oder das Modell an unterschiedlichen Patientengruppen getestet wird. Als der Forscher die Daten in fünf verschiedene Gruppen aufteilte und das Modell wiederholt testete, begann die Rangfolge der wichtigsten Faktoren zu schwanken. Während die obersten drei Faktoren über diese verschiedenen Tests hinweg stabil blieben, bewegten sich andere Faktoren, die in einer Gruppe wichtig erschienen, in anderen Gruppen in der Rangliste nach oben oder unten. Dieses Ergebnis deutet darauf an, dass eine einzelne Erklärung, die aus einem spezifischen Datensegment generiert wurde, möglicherweise nicht zuverlässig genug ist, um das Gesamtbild darzustellen. Die Studie verglich die Vorhersagen des Modells auch mit anderen Standardmethoden des maschinellen Lernens. Auf dem spezifischen Testdatensatz, der das ursprüngliche Setup nachahmte, erreichten ein logistisches Regressionsmodell und ein Random-Forest-Modell tatsächlich eine höhere Genauigkeit als das XGBoost-Modell und erzielten 90 Prozent korrekte Vorhersagen im Vergleich zu den 86,67 Prozent von XGBoost. Dies verdeutlicht, dass das komplexeste Modell nicht immer das genaueste ist und dass einfachere Modelle manchmal genauso gut abschneiden können.

Der vielleicht interessanteste Teil der Forschung bestand darin, zu untersuchen, wie diese Erklärungsmethoden mit individuellen Patientenfällen umgehen. Der Forscher nahm drei spezifische Patientendatensätze, die zuvor mit einem anderen Erklärungswerkzeug namens LIME analysiert worden waren, und verglich diese alten Ergebnisse mit neuen Berechnungen mittels der SHAP-Methode. Obwohl beide Methoden über die Richtung des Einflusses übereinstimmten – das heißt, beide sagten, dass ein Faktor das Risiko einer Erkrankung entweder erhöhte oder verringerte –, stimmten sie nicht immer darin überein, welche spezifischen Faktoren für diesen einzelnen Patienten die fünf wichtigsten waren. In einigen Fällen war die Überschneidung zwischen den beiden Listen nur teilweise vorhanden. Dies zeigt, dass selbst wenn zwei Werkzeuge scheinbar denselben Patienten betrachten, sie unterschiedliche Details priorisieren können. Es ist vergleichbar mit zwei Experten, die eine komplexe Maschine untersuchen; einer mag sich auf die Zahnräder konzentrieren, während der andere sich auf die Kraftstoffleitung konzentriert, und beide mögen über die Funktion der Maschine korrekt liegen, doch würden sie unterschiedliche Teile als die kritischsten auflisten.

Die Studie kommt zu dem Schluss, dass künstliche Intelligenz zwar ein wertvoller Partner in der Medizin sein kann, die Werkzeuge, die ihre Entscheidungen erklären, jedoch mit Vorsicht behandelt werden müssen. Die Forschung zeigt, dass die Vorhersageleistung und die Konsistenz der Erklärung verwandte, aber unterschiedliche Dimensionen sind. Ein Modell kann genau sein, ohne dass seine Erklärungen perfekt stabil sind, und verschiedene Erklärungsmethoden können unterschiedliche Listen wichtiger Faktoren liefern. Die Ergebnisse unterstreichen, dass in der Gesundheitsversorgung, wo Entscheidungen Menschenleben betreffen, das Vertrauen auf eine einzige Erklärung aus einem einzigen Modelllauf riskant ist. Stattdessen erfordert ein robustes Verständnis die Überprüfung mehrerer Methoden und die Anerkennung dessen, dass einige Faktoren, wie etwa die Anzahl der blockierten Gefäße, konsistent wichtig sind, während andere je nach dem spezifischen analysierten Datensatz variieren können. Die Arbeit dient als Erinnerung daran, dass wir, bevor diesen Systemen in klinischen Umgebungen voll vertraut werden kann, nicht nur verstehen müssen, was sie vorhersagen, sondern auch, wie stabil und konsistent ihre Argumentation wirklich ist.