Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Stellen Sie sich vor, Sie versuchen herauszufinden, warum eine magische Kristallkugel eine bestimmte Vorhersage gemacht hat. Vielleicht hat sie Ihnen prophezeit, dass Sie eine Eins in Ihrer Mathearbeit bekommen werden, oder dass ein Kreditantrag abgelehnt wurde. In der Welt der Informatik nennt man das „maschinelles Lernen“, und die Kristallkugel ist ein komplexer Algorithmus, der gelernt hat, Entscheidungen zu treffen, indem er tausende von Hinweisen, oder „Features“, betrachtet. Aber hier liegt der Knackpunkt: Diese Algorithmen sind oft so kompliziert, dass selbst ihre Schöpfer nicht einfach erklären können, warum sie eine bestimmte Entscheidung getroffen haben. Es ist wie eine Black Box. Um dies zu beheben, haben Wissenschaftler Werkzeuge entwickelt, um hineinzublicken und jedem Hinweis einen „Score“ zuzuweisen, der uns sagt, wie sehr dieser spezifische Hinweis zur endgültigen Antwort beigetragen hat. Eines der populärsten Werkzeuge dafür heißt SHAP. Es basiert auf einer alten Idee aus der Spieltheorie namens „Shapley-Wert“, was im Wesentlichen eine faire Art ist, einen Preis unter einem Team von Spielern aufzuteilen, basierend darauf, wie sehr jeder Einzelne dem Team zum Sieg verholfen hat. Die große Frage, die Forscher sich gestellt haben, lautet: Wie berechnen wir diese Scores fair, wenn es hunderte von Hinweisen gibt, und wie entscheiden wir, was als „normal“ für einen Vergleich gilt?

Diese Arbeit, geschrieben von Andrew Herren, P. Richard Hahn und Rafael Alcantara, taucht tief in die Mathematik hinter SHAP ein, um zu sehen, wie es wirklich funktioniert. Die Autoren behandeln das Problem wie ein riesiges Puzzle und ziehen Verbindungen zwischen der Erklärbarkeit von maschinellem Lernen und einem Feld namens „Sensitivitätsanalyse“, das in der Physik und den Ingenieurwissenschaften verwendet wird, um zu sehen, wie Änderungen der Eingabewerte die Ausgabewerte beeinflussen. Sie entdecken, dass SHAP tatsächlich etwas sehr Ähnliches tut wie eine statistische Technik namens „funktionale ANOVA“, die eine komplexe Funktion in kleinere, handhabbare Teile zerlegt – so als würde man einen Smoothie in seine einzelnen Früchte zerlegen, um zu sehen, wie viel Zucker jede einzelne Frucht beiträgt. Das Papier legt nahe, dass die größten Kopfschmerzen, mit denen Menschen bei der Verwendung von SHAP konfrontiert sind, aus zwei Hauptentscheidungen resultieren: der Entscheidung, welche „Baseline“ oder welchen Referenzpunkt man für den Vergleich heranzieht (wie die Frage: „Im Vergleich zu was?“) und der Entscheidung, wie viele der Milliarden möglichen Kombinationen von Hinweisen man tatsächlich überprüfen soll.

Die Autoren argumenten, dass SH

SHAP zwar ein mächtiges Werkzeug ist, aber kein Zauberstab, der alles automatisch löst. Sie zeigen, dass die Antworten, die man erhält, stark von der Verteilung der Daten abhängen, die man als Hintergrundreferenz wählt. Wenn man zum Beispiel eine spezifische Vorhersage mit einer „einzelnen Baseline“ (wie einem Durchschnittsmenschen) vergleicht, erhält man unter Umständen ein ganz anderes Ergebnis, als wenn man sie mit einer „korrelierten Baseline“ verglegt (bei der Merkmale, die normalerweise zusammengehören, auch zusammenbleiben). In ihren Simulationen fanden sie heraus, dass die Verwendung einer korrelierten Baseline die Scores drastisch verändern kann, was manchmal sogar die Wichtigkeit eines Merkmals komplett umkehrt. Sie untersuchen auch, wie man mit der Tatsache umgeht, dass es unmöglich ist, jede einzelne Kombination von Merkmalen zu prüfen, wenn man Tausende von ihnen besitzt. Sie schlagen vor, anstatt blind alles zu prüfen, intelligentere Stichprobenverfahren zu nutzen – wie etwa das Suchen nach den wichtigsten „niederwertigen“ Interaktionen zuerst –, um eine ausreichend gute Antwort zu erhalten, ohne ewig warten zu müssen.

Letztendlich behauptet das Papier nicht, den einen perfekten Weg gefunden zu haben, wie man SHAP anwendet. Stattdessen verdeutlicht es die technischen Entscheidungen, die Nutzer treffen, oft ohne es zu merken, wenn sie die Software ausführen. Die Autoren schlagen vor, dass die Verbindung zwischen der Erklärung von KI-Modellen und der Sensitivitätsanalyse eine faszinierende ist, die zu besseren Methoden in der Zukunft führen könnte. Sie mahnen jedoch zur Vorsicht: Es gibt nicht einen einzigen „richtigen“ Shapley-Wert für jede Situation; die „richtige“ Antwort hängt davon ab, welche Frage man beantworten möchte und welche Hintergrunddaten man für den Vergleich wählt. SHAP hilft uns also zwar, in die Black Box zu blicken, aber das Papier erinnert uns daran, dass wir dennoch vorsichtig damit sein müssen, wie wir das Licht interpretieren, das wir dort sehen.