cc-Shapley: Measuring Multivariate Feature Importance Needs Causal Context

Die Arbeit stellt cc-Shapley vor, eine kausal kontextualisierte Erweiterung der Shapley-Werte, die durch die Einbeziehung von Kausalwissen verzerrte Feature-Importanzen aufgrund von Kollider-Bias und Unterdrückungseffekten korrigiert und so verlässlichere Erklärungen für maschinelle Lernmodelle ermöglicht.

Das Wesentliche

Hier ist eine einfache Erklärung der Arbeit „cc-Shapley" auf Deutsch, verpackt in eine Geschichte und mit anschaulichen Vergleichen.

Das Problem: Der falsche Verdächtige

Stell dir vor, du bist ein Detektiv, der herausfinden soll, wer für ein Verbrechen (das „Ergebnis" oder die Vorhersage eines KI-Modells) verantwortlich ist. Du hast eine Liste von Verdächtigen (die „Merkmale" oder Datenpunkte).

Bisher haben Detektive eine Methode namens Shapley-Werte benutzt. Die Idee dahinter ist simpel: Man schaut sich jeden Verdächtigen einzeln an und dann in Kombination mit anderen, um zu sehen, wie viel „Schuld" (Bedeutung) jeder trägt.

Aber hier liegt der Haken:
Die alten Detektive haben nur geschaut, was sie beobachten konnten. Sie haben nicht bedacht, wie die Welt wirklich funktioniert. Das führt zu einem klassischen Fehler, den die Autoren Kollisions-Bias nennen.

Das Frühstück-Beispiel (Die Kollision)

Stell dir vor, ein Patient kommt zum Arzt, um zu prüfen, ob er Diabetes hat ($Y$).

1. Die Wahrheit: Diabetes führt zu hohem Blutzucker ($G$).
2. Der Störfaktor: Der Patient hat zum Frühstück viel Kohlenhydrate ($C$) gegessen. Das führt auch zu hohem Blutzucker ($G$).

Der Arzt misst den Blutzucker ($G$).

• Wenn der Patient Diabetes hat, ist der Zucker hoch.
• Wenn der Patient viel gegessen hat, ist der Zucker auch hoch.

Jetzt kommt der alte Detektiv (der Shapley-Wert) ins Spiel. Er schaut sich die Daten an und denkt: „Aha! Wenn der Blutzucker hoch ist, ist es oft, weil der Patient viel gegessen hat. Wenn der Blutzucker hoch ist, muss es also weniger Diabetes sein, weil die Kohlenhydrate die Schuld tragen!"

Das ist absurd! Viel Essen macht keinen Diabetes unwahrscheinlicher. Aber weil der Detektiv nur die Beobachtung betrachtet (Blutzucker ist hoch), verwechselt er die Ursache. Er denkt, das Essen „rettet" den Patienten vor der Diagnose, weil es den hohen Zucker schon erklärt. In der Statistik nennt man das einen Unterdrücker-Effekt. Der Detektiv gibt dem Essen eine negative Schuld, obwohl es gar nichts mit der Krankheit zu tun hat.

Die Moral: Wenn man nur schaut, was man sieht, ohne zu verstehen, wie die Dinge zusammenhängen, kann man völlig falsche Schlüsse ziehen.

---

Die Lösung: cc-Shapley (Der Detektiv mit Zeitmaschine)

Die Autoren (Jörg Martin und Stefan Haufe) sagen: „Halt! Um die Wahrheit zu finden, müssen wir nicht nur beobachten, wir müssen eingreifen."

Sie schlagen eine neue Methode vor: cc-Shapley (causal context Shapley).

Stell dir vor, unser Detektiv hat eine Zeitmaschine (oder eine magische Gabel, die das Universum manipuliert).

• Statt nur zu schauen: „Was passiert, wenn jemand viel gegessen hat?",
• fragt er: „Was würde passieren, wenn wir dem Patienten per Magie das Frühstück wegnehmen würden, während wir den Rest der Welt unverändert lassen?"

Das nennt man in der Wissenschaft eine Intervention.

Wie funktioniert das im Alltag?

Stell dir vor, du willst wissen, ob ein Regenschirm ($X$) dafür sorgt, dass der Boden nass wird ($Y$).

• Beobachtung (Alt): Du siehst, dass es oft regnet, wenn der Boden nass ist. Aber du siehst auch, dass Leute mit Regenschirmen oft auf nassen Straßen sind. Wenn du nur schaust, könnte man denken: „Regenschirme machen den Boden nass!" (Falsch!).
• Intervention (Neu - cc-Shapley): Du greifst ein. Du zwingst 100 Leute, einen Regenschirm zu tragen, obwohl es nicht regnet.
  • Ergebnis: Der Boden bleibt trocken.
  • Schlussfolgerung: Der Regenschirm ist nicht schuld am nassen Boden.

Im cc-Shapley-Verfahren wird genau das gemacht:

1. Man identifiziert die „falschen" Verbindungen (die Kollisionen, wie im Diabetes-Beispiel).
2. Man „schneidet" die Verbindung zwischen dem Störfaktor (Essen) und dem Messwert (Blutzucker) durch, indem man den Störfaktor künstlich verändert, ohne die Ursache (Diabetes) zu beeinflussen.
3. Erst dann wird berechnet, wie wichtig ein Merkmal wirklich ist.

Das Ergebnis: Warum das wichtig ist

Mit der alten Methode (Shapley) könnte eine KI denken: „Hoher BMI (Körpergewicht) ist gut für die Gesundheit, weil er den Blutzucker senkt" (weil sie die Kollision mit dem Essen nicht versteht). Das wäre katastrophal für die Wissenschaft oder die Medizin.

Mit der neuen Methode (cc-Shapley):

• Die KI erkennt: „Oh, das Essen ist nur ein Störfaktor. Wenn wir das Essen kontrollieren, sehen wir, dass BMI und Diabetes tatsächlich positiv zusammenhängen."
• Die falsche Schuld wird dem Essen genommen.
• Die wahre Bedeutung der Merkmale wird sichtbar.

Zusammenfassung in einem Satz

Die alten KI-Erklärungen schauen nur auf das, was passiert, und geraten dabei oft in die Irre, weil sie Zusammenhänge nicht verstehen; die neue cc-Shapley-Methode nutzt ein „Was-wäre-wenn"-Szenario (Intervention), um die wahren Ursachen zu finden und falsche Verdächtige auszusortieren.

Kurz gesagt: Um zu verstehen, warum etwas passiert, reicht es nicht, nur hinzuschauen. Man muss manchmal die Welt ein wenig manipulieren, um die Wahrheit zu sehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „cc-Shapley: Measuring Multivariate Feature Importance Needs Causal Context" auf Deutsch:

1. Problemstellung

Das Paper adressiert ein fundamentales Problem bei der Erklärung von maschinellen Lernmodellen (XAI), insbesondere bei der Verwendung von Shapley-Werten zur Messung der multivariaten Feature-Importanz.

• Das Kernproblem: Herkömmliche Shapley-Werte basieren rein auf beobachtungsdaten (observational data) und berechnen den Beitrag eines Features $X_j$ zum Zielwert $Y$ unter Berücksichtigung aller möglichen Teilmengen $S$ der anderen Features als Kontext. Dies geschieht durch bedingte Erwartungswerte $E[Y | X_j, S]$.
• Kollider-Bias (Collider Bias) und Suppression: Das Paper zeigt, dass diese rein datengetriebene Operationalisierung zu irreführenden Ergebnissen führt, wenn die Daten durch kausale Strukturen erzeugt werden, die Kollider enthalten. Ein Kollider ist ein Knoten, in den zwei Pfeile hineinführen (z. B. $A \rightarrow C \leftarrow B$). Wenn man auf einen Kollider konditioniert (d.h. den Wert des Kolliders fixiert oder beobachtet), entsteht eine scheinbare (spuriose) statistische Assoziation zwischen den Elternknoten, die in der Realität nicht existiert.
• Folge: Features, die kausal irrelevant für das Ziel sind, können als wichtig eingestuft werden (oder umgekehrt), weil sie als „Suppressoren" fungieren. Ein klassisches Beispiel im Paper ist die Diabetes-Vorhersage: Hoher Kohlenhydratkonsum ($C$) führt zu hohem Blutzucker ($G$), was wiederum Diabetes ($Y$) maskiert. Wenn man den Blutzucker ($G$) beobachtet, scheint ein hoher Kohlenhydratkonsum das Diabetes-Risiko zu senken (negative Assoziation), obwohl er kausal neutral oder sogar positiv korreliert ist. Herkömmliche Shapley-Werte interpretieren dies fälschlicherweise als negative Relevanz.

2. Methodik: cc-Shapley (Causal Context Shapley)

Die Autoren schlagen eine modifizierte Version der Shapley-Werte vor, die kausales Wissen integriert, um diese Verzerrungen zu eliminieren.

• Konzept: Anstatt den Kontext $S$ (die anderen Features) nur zu beobachten (zu konditionieren), wird auf den Kontext interveniert.
• Definition: Die Wichtigkeit eines Features $X_j$ in einem interventionalen Kontext $S$ wird definiert als:
  $$I_{do(S)}(X_j) = E[Y | X_j, do(S)] - E[Y | do(S)]$$
  Hier steht $do(S)$ für eine Intervention (nach Pearl's do-Kalkül), bei der die Variablen in $S$ auf bestimmte Werte gesetzt werden, ohne ihre natürlichen Ursachen zu berücksichtigen. Dies entspricht dem Löschen aller eingehenden Kanten in den Kollidern im kausalen Graphen.
• Berechnung der cc-Shapley-Werte:
  $$\phi_{cc}(X_j) = \sum_{S \subseteq F \setminus \{X_j\}} \gamma(S) \cdot I_{do(S)}(X_j)$$
  wobei $\gamma(S)$ die gleichen kombinatorischen Gewichte wie bei den klassischen Shapley-Werten sind.
• Unterschied zur Symmetrie: Im Gegensatz zu klassischen Shapley-Werten, die symmetrisch sind, ist cc-Shapley asymmetrisch: Das zu untersuchende Feature $X_j$ wird beobachtet (konditioniert), während der Kontext $S$ interveniert wird. Dies ist notwendig, um in anti-kausalen Settings (wo Features das Ziel nicht direkt verursachen) dennoch sinnvolle Wichtigkeiten zu erhalten, ohne durch Kollider-Bias verzerrt zu werden.
• Schätzung: Da das kausale Modell (SCM) oft unbekannt ist, wird vorgeschlagen, das SCM aus den Daten zu lernen (z.B. durch Regression der Features auf ihre Eltern im Graphen) und dann mittels Algorithmus 1 (Stichprobenziehung aus dem intervenierten Modell) die Erwartungswerte zu schätzen. In Fällen, wo keine Backdoor-Pfade existieren, fallen Intervention und Beobachtung zusammen.

3. Hauptbeiträge

1. Identifikation eines Blindflecks: Die Autoren zeigen theoretisch und empirisch, dass rein beobachtende XAI-Methoden (wie Standard-Shapley) anfällig für Kollider-Bias und Suppression sind, was zu falschen Schlussfolgerungen in der Modellanalyse und wissenschaftlichen Entdeckung führt.
2. Einführung von cc-Shapley: Sie entwickeln einen neuen Ansatz, der kausale Strukturinformationen nutzt, um die Kontextvariablen zu intervenieren statt zu konditionieren. Dies ist laut den Autoren der erste Ansatz, der Kollider-Bias vermeidet, ohne sich auf univariate Feature-Importanz beschränken zu müssen.
3. Theoretische Garantien: Es wird bewiesen, dass cc-Shapley-Werte die Statistical Association Property (SAP) erfüllen: Wenn ein Feature $X_j$ kausal unabhängig vom Ziel $Y$ ist ($X_j \perp Y$), dann ist der cc-Shapley-Wert null. Klassische Shapley-Werte verletzen dies in Gegenwart von Suppressoren.
4. Experimentelle Validierung: Die Methode wird auf synthetischen Daten (lineare und nicht-lineare SCMs) sowie auf realen Daten (Protein-Signaling-Daten von Sachs et al.) getestet.

4. Ergebnisse

• Synthetische Daten (Diabetes-Beispiel):
  • Bei der Vorhersage von Diabetes basierend auf Blutzucker ($G$) und Kohlenhydraten ($C$) zeigten klassische Shapley-Werte eine negative Relevanz für $C$ (fälschlicherweise: mehr Kohlenhydrate = weniger Diabetes).
  • Die cc-Shapley-Werte korrigierten dies: $C$ erhielt eine Importanz von null (da es kein direkter Prädiktor ist, sondern nur über $G$ wirkt), während $G$ die korrekte positive Relevanz behielt.
• Synthetische Daten (BMI-Beispiel):
  • In einem komplexeren Szenario mit BMI ($B$), Blutzucker ($G$) und HbA1c ($H$) zeigten klassische Shapley-Werte eine negative Relevanz für den BMI, was der medizinischen Intuition widerspricht.
  • cc-Shapley-Werte zeigten die erwartete positive Relevanz für den BMI, da die durch Kollider-Bias erzeugten negativen Assoziationen durch die Intervention eliminiert wurden.
• Reale Daten (Protein-Daten):
  • Auf dem Datensatz von Sachs et al. (Proteine wie PKA, Jnk, PKC, P38) zeigten klassische Shapley-Werte bei Proteinen wie PKC und P38 negative oder inkonsistente Relevanzen aufgrund von Kollidern im Signalweg.
  • cc-Shapley-Werte lieferten eine Relevanzverteilung, die besser mit der univariaten Analyse und der bekannten kausalen Struktur übereinstimmte.
• Lineare SCMs: In einer Studie mit 3.000 zufällig generierten linearen SCMs zeigte sich, dass bei hohem Kollider-Einfluss die beobachteten Regressionskoeffizienten stark von den wahren kausalen Effekten abwichen, während die interventionalen Schätzer (cc-Shapley) nahe an den wahren Werten lagen.

5. Bedeutung und Fazit

Das Paper stellt eine kritische Warnung an die XAI-Community dar: Ohne kausales Verständnis können Feature-Importanz-Metriken nicht nur irreführend, sondern wissenschaftlich gefährlich sein, da sie kausale Zusammenhänge verzerren.

• Paradigmenwechsel: Es wird gefordert, XAI von reinen Beobachtungsansätzen hin zu interventionalen Ansätzen zu bewegen, sobald kausales Wissen (oder zumindest die kausale Graphenstruktur) verfügbar ist.
• Praktische Implikation: Für Anwendungen, bei denen es um das Verständnis von Mechanismen (z.B. in der Medizin oder Biologie) geht, sind klassische Shapley-Werte unzureichend. cc-Shapley bietet einen Weg, um „echte" kausale Beiträge von Features zu isolieren und Suppressionseffekte zu korrigieren.
• Einschränkungen: Die Methode setzt voraus, dass die kausale Struktur (der Graph) bekannt ist oder zuverlässig geschätzt werden kann. Für hochdimensionale Daten oder Bilder (wo keine statischen kausalen Graphen existieren) sind weitere Entwicklungen im Bereich des kausalen Repräsentationslernens notwendig. Zudem ist die Berechnung rechnerisch aufwendig, da für jede Teilmenge $S$ ein neues Modell trainiert oder eine Intervention simuliert werden muss.

Zusammenfassend bietet das Paper einen theoretisch fundierten und empirisch validierten Rahmen, um Feature-Importanz-Messungen robust gegen kausale Verzerrungen zu machen.