Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

In der modernen Untersuchung menschlichen Verhaltens verlassen sich Forscher zunehmend auf leistungsstarke Computerprogramme, um Muster in riesigen Mengen von Umfragedaten zu finden. Diese Modelle des maschinellen Lernens sind exzellent darin, komplexe Verbindungen aufzuspüren, die die traditionelle Statistik vielleicht übersehen würde, wie etwa die Art und Weise, wie das Einkommen, das Alter und der Wohnort einer Person kombiniert Einfluss auf ihre sozialen Gewohnheiten nehmen können. Diese Modelle sind jedoch oft opak; sie können ein Ergebnis mit hoher Genauigkeit vorhersagen, bieten aber keine klare Erklärung dafür, warum. Um dies zu beheben, nutzen Wissenschaftler ein Werkzeug namens SHAP, das wie ein Scheinwerfer wirkt und hervorhebt, welche Faktoren ein Modell als am wichtigsten erachtet hat, als es eine Vorhersage traf. Das Problem besteht darin, dass dieser Scheinwerfer oft zwei sehr unterschiedliche Dinge verwechselt: eine echte Ursache-Wirkungs-Beziehung und einen bloßen Zufall. Nur weil zwei Dinge zusammen auftreten, bedeutet das nicht, dass das eine das andere verursacht hat. Beispielsweise könnte ein Modell „das Alter des Ehepartners“ als einen Schlüsselfaktor für die Internetnutzung einer Person markieren, nicht weil das Alter des Ehepartners direkt beeinflusst, wie viel die Person online geht, sondern schlichtweg, weil Ehepartner tendenziell ein ähnliches Alter haben und das Alter selbst ein starker Treiber für die Nutzung von Technologie ist. Zwischen diesen echten Ursachen und irreführenden Korrelationen zu unterscheiden, ist für Sozialwissenschaftler, die das menschliche Verhalten verstehen statt nur vorhersagen wollen, von entscheidender Bedeutung.

Eine neue Studie von Shidong Li von der North University of China geht dieser Verwirrung direkt entgegen, indem sie ein strenges diagnostisches Framework auf reale soziale Umfragedaten anwendet. Der Forscher analysierte die Antworten des Chinese General Social Survey aus dem Jahr 2023, ein massiver Datensatz, der fast 4.800 Menschen in einunddreißig Provinzen repräsentiert. Das Ziel war es, achtzehn verschiedene Aspekte des sozialen Lebens zu testen, die von der Häufigkeit des Besuchs von Freunden bis hin zum Vertrauen in Fremde und den Medienkonsumgewohnheiten reichen. Anstatt die Standarderklärungen eines einzelnen Computermodells zu akzeptieren, setzte die Studie einen „Dual-SHAP“-Ansatz ein. Diese Methode vergleicht zwei verschiedene Wege der Berechnung von Wichtigkeit. Die erste Methode betrachtet die Daten so, wie sie natürlich existieren, wobei alle bestehenden Verbindungen zwischen den Variablen erhalten bleiben. Die zweite Methode bricht diese Verbindungen künstlich auf und fragt, was mit einer Vorhersage passieren würde, wenn ein spezifischer Faktor geändert würde, während alles andere unabhängig bliebe. Durch den Vergleich der Ergebnisse dieser beiden Methoden konnte die Studie einen „Glaubwürdigkeitswert“ (Credibility Score) für jeden Faktor berechnen. Ein hoher Wert bedeutet, dass die Wichtigkeit des Faktors auch dann Bestand hat, wenn Korrelationen aufgebrochen werden, was auf eine direkte kausale Verbindung hindeutet. Ein niedriger Wert deutet darauf hin, dass der Faktor wahrscheinlich nur auf den Coattails einer anderen, einflussreicheren Variable mitgeritten ist.

Die Untersuchung begann damit, die achtzehn sozialen Verhaltensweisen zu scannen, um zu sehen, welche durch die verfügbaren Daten zuverlässig vorhergesagt werden konnten. Von den ursprünglich zweiundzwanzig betrachteten Verhaltensweisen erwiesen sich achtzehn als vorhersagbar genug, um weiter analysiert zu werden, während vier, wie etwa die Häufigkeit ehrenamtlicher Aktivitäten, zu erratisch waren, um effektiv modelliert zu werden. Unter den verbleibenden achtzehn untersuchte die Studie fünf verschiedene Arten von Algorithmen des maschinellen Lernens, um zu sehen, welcher für das jeweilige Verhalten am besten performt. Die Ergebnisse stellten eine verbreitete Annahme in der Fachwelt infrage: dass ein spezifischer Algorithmus namens XGBoost der universelle Champion für alle Aufgaben sei. Stattdessen fand die Studie heraus, dass kein einzelnes Modell die gesamte Landschaft dominierte. Ein Modell namens RandomForest war der beste Performer für zehn der achtzehn Ergebnisse, was Bereiche wie soziale Interaktion und Mediennutzung abdeckte. Andere Modelle, darunter Ridge-Regression, LightGBM und GradientBoosting, erwiesen sich jedoch als überlegen für spezifische Ergebnisse wie allgemeines soziales Vertrauen oder das Lesen von Zeitungen. Dieser Befund legt nahe, dass die Wahl des Computermodells kein geringfügiges technisches Detail ist, sondern eine substanzielle Entscheidung, die die Schlussfolgerungen, die Forscher darüber ziehen, was das menschliche Verhalten antreibt, grundlegend prägt.

Nachdem das beste Modell für jedes Verhalten ausgewählt worden war, grenzte die Studie die Liste der potenziellen Ursachen von achtunddreißig Prädiktoren auf neunundzwanzig Schlüsselvariablen ein. Dieser Auswahlprozess nutzte das SHAP-Tool selbst, um Variablen herauszufiltern, die wenig zum Gesamtbild beitrugen, wie etwa die Anzahl der Töchter einer Person oder spezifische Einstellungen zu Geschlechterrollen. Die verbleibenden neunundzwanzig Faktoren umfassten Demografika wie Alter und Einkommen sowie Einstellungen zu sozialer Gerechtigkeit und Sprachkenntnisse. Das Alter kristallisierte sich als der dominanteste Prädiktor über alle Bereiche hinweg heraus, dicht gefolgt von dem persönlichen Einkommen und den Sprachkenntnissen. Nachdem diese Schlüsselvariablen identifiziert worden waren, wandten die Forscher das Dual-SHAP-Framework an, um die Glaubwürdigkeit des Einflusses jedes Faktors zu berechnen. Sie fanden heraus, dass der durchschnittliche Glaubwürdigkeitswert über alle Beziehungen hinweg 0,727 betrug, was darauf hindeutet, dass, obwohl viele Faktoren einen direkten Einfluss haben, ein erheblicher Teil der durch Standardmodelle zugewiesenen Wichtigkeit durch Korrelationen aufgebläht wird.

Die Studie offenbarte ein breites Spektrum an Zuverlässigkeit. Einige Faktoren, wie die Wahrnehmung sozialer Gerechtigkeit oder die politischen Ansichten zur Migration, zeigten hohe Glaubwürdigkeitswerte, was bedeutet, dass ihr Einfluss auf soziale Ergebnisse robust und wahrscheinlich kausal ist. Im Gegensatz dazu zeigten Faktoren wie das Alter eines Ehepartners oder die Dauer einer Ehe oft niedrige oder sogar negative Glaubwürdigkeit, wenn ihre Verbindung zum Alter des Befragten unterbrochen wurde. Wenn die Studie beispielsweise ein Szenario simulierte, in dem das Alter eines Ehepartners unabhängig vom Alter des Befragten geändert wurde, verschwand der scheinbare Einfluss des Alters des Ehepartners auf die Internetnutzung oder kehrte sich sogar in der Richtung um. Dies diente als klare Warnung, dass das ursprüngliche Modell eine Korrelation mit einer Ursache verwechselt hatte. Die Forscher legten einen Schwellenwert fest, um diese Werte zu interpretieren: Sie schlugen vor, dass ein Wert von 0,80 oder höher als starker Indikator für eine primär kausale Beziehung zu betrachten sei. Unter Anwendung dieses Standards erfüllten nur etwa vierzig Prozent der Faktor-Verhaltens-Paare die Kriterien für eine primär kausale Beziehung. Wenn der Schwellenwert auf einen toleranteren Wert von 0,50 gesenkt wurde, erfüllten fast dreiundneunzig Prozent der Paare die Kriterien, doch die Forscher argumentierten, dass der strengere Standard notwendig sei, um nicht durch zufällige Muster in die Irre geführt zu werden.

Um sicherzustellen, dass diese Ergebnisse nicht bloß statistische Artefakte waren, führte die Studie eine abschließende Prüfung durch die Simulation realer Veränderungen durch. Sie fragten, was passieren würde, wenn ein Faktor, wie Einkommen oder Alter, in einer Person um einen Standardbetrag steigen würde. Die Ergebnisse waren konsistent mit dem gesunden Menschenverstand und der etablierten Sozialwissenschaft. So führte beispielsweise die Erhöhung des Alters einer Person in der Simulation zu einer vorhergesagten Abnahme der Internetnutzung, was den bekannten Digital Divide widerspiegelt, bei dem ältere Erwachsene Technologie seltener nutzen. Ähnlich führte eine Erhöhung des persönlichen Einkommens zu einer vorhergesagten Zunahme des Zeitungslesens, was die Idee stützt, dass ein höherer sozioökonomischer Status mit dem Konsum von Printmedien verknüpft ist. Diese Simulationen bestätigten, dass die Modelle echte, interpretierbare Beziehungen erfassen und nicht nur zufälliges Rauschen. Darüber hinaus, als die Forscher das Framework an verschiedenen Untergruppen testeten, wie etwa jüngeren gegenüber älteren Erwachsenen oder Stadtbewohnern gegenüber Landbewohnern, blieben die allgemeinen Muster stabil, wenngleich die spezifischen Glaubwürdigkeitswerte je nach Bevölkerungsgruppe leicht variierten. Dies demonstrierte, dass die Methode zwar robust ist, die Stärke einer kausalen Verbindung jedoch von der spezifischen Gruppe abhängen kann, die untersucht wird.

Letztendlich bietet diese Arbeit ein transparentes und reproduzierbares Werkzeug für Sozialwissenschaftler, um Signal von Rauschen in Erklärungen des maschinellen Lernens zu trennen. Sie behauptet nicht, Kausalität im absoluten Sinne zu beweisen, da immer noch ungemessene Faktoren im Spiel sein könnten, aber sie bietet eine praktische Möglichkeit zu diagnostizieren, wann eine Erklärung wahrscheinlich irreführend ist. Durch den Vergleich dessen, wie ein Modell reagiert, wenn es Daten so sieht, wie sie sind, im Gegensatz dazu, wie es reagiert, wenn es die natürlichen Verbindungen zwischen den Variablen aufbricht, können Forscher nun identifizieren, welche Faktoren tatsächlich soziale Ergebnisse antreiben und welche lediglich Schatten sind, die von anderen Variablen geworfen werden. Die Studie kommt zu dem Schluss, dass maschinelles Lernen zwar eine leistungsstarke Linse zur Betrachtung des menschlichen Verhaltens ist, es jedoch dieser Art von sorgfältiger Kalibrierung bedarf, um sicherzustellen, dass die gewonnenen Erkenntnisse nicht nur genaue Vorhersagen sind, sondern vertrauenswürdige Erklärungen dafür, warum Menschen so handeln, wie sie es tun.