Towards Attributions of Input Variables in a Coalition

Dieses Paper adressiert das Problem der Variablenpartitionierung in Shapley-Wert-basierten Erklärbarkeitsmethoden, indem es durch die Analyse von Interaktionen und die Einführung neuer Metriken zur Bewertung von Koalitionszuverlässigkeit attributive Konflikte löst und damit intuitivere Erklärungen für KI-Modelle ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein riesiges Puzzle, das ein KI-Modell ist. Jedes Puzzleteil ist ein Eingabewert (z. B. ein Wort in einem Satz oder ein Pixel in einem Bild). Die große Frage in der Welt der künstlichen Intelligenz lautet: Welches Teil ist für das Ergebnis am wichtigsten?

Bisher haben Forscher versucht, jedem einzelnen Teil eine "Punktzahl" (eine Attribution) zu geben. Aber hier liegt das Problem: Manchmal machen Teile mehr Sinn, wenn man sie als Gruppe betrachtet, statt einzeln.

Dieses Papier von Zheng, Deng und Zhang löst ein großes Rätsel: Warum ist die Summe der Einzelteile manchmal nicht gleich dem Ganzen?

Hier ist die Erklärung in einfachen Worten mit ein paar kreativen Vergleichen:

1. Das Problem: Der "Gruppen-Konflikt"

Stellen Sie sich vor, Sie bewerten eine Band.

• Wenn Sie jeden Musiker einzeln bewerten, sagen Sie vielleicht: "Der Gitarrist ist toll, der Drummer ist toll."
• Aber wenn Sie die ganze Band als eine Einheit bewerten, sagen Sie vielleicht: "Diese Band ist legendär!"

Das Problem in der KI-Forschung war bisher: Wenn man die Punktzahlen des Gitarristen und des Drummers addiert, kommt oft nicht genau die Punktzahl der legendären Band heraus. Es gibt einen "Konflikt". Bisher wusste niemand genau, warum das passiert oder wie man Gruppen fair bewertet.

2. Die Lösung: Das "AND-OR"-Geheimnis

Die Autoren haben herausgefunden, dass KI-Modelle wie ein riesiges Netzwerk von Logik-Schaltern funktionieren. Sie nutzen zwei Arten von Beziehungen:

• UND-Beziehungen (AND): Alles muss da sein, damit etwas passiert. (Beispiel: "Es regnet" UND "Katzen" UND "Hunde" = "Es regnet in Strömen". Fehlt ein Wort, funktioniert der Spruch nicht.)
• ODER-Beziehungen (OR): Es reicht, wenn eines da ist. (Beispiel: "Langweilig" ODER "Enttäuschend" = "Das ist ein schlechter Film".)

Die Forscher haben bewiesen, dass die "Punktzahl" eines einzelnen Teils eigentlich nur eine Aufteilung dieser UND- und **OR-**Effekte ist.

3. Warum gibt es den Konflikt? (Der "Teppich"-Vergleich)

Stellen Sie sich vor, Sie haben einen Teppich mit einem Muster.

• Wenn Sie den Teppich in kleine Quadrate schneiden und jedes Quadrat einzeln bewerten, zählen Sie die Musterlinien, die über die Kanten laufen, doppelt oder gar nicht richtig.
• Der Konflikt entsteht, weil die KI manche Muster nur erkennt, wenn bestimmte Teile zusammen sind, aber andere Muster erkennt sie auch, wenn nur ein Teil davon da ist.

Die Autoren haben gezeigt: Der Unterschied zwischen der "Gruppen-Punktzahl" und der "Summe der Einzel-Punktzahlen" kommt genau von diesen Teil-Mustern.

• Wenn die KI ein Muster sieht, das nur die ganze Gruppe braucht, ist das fair.
• Wenn die KI aber auch Muster sieht, die nur ein Teil der Gruppe brauchen, entsteht das Durcheinander.

4. Die neue Methode: Eine faire Waage

Die Autoren haben eine neue Formel erfunden, um Gruppen (Koalitionen) fair zu bewerten.
Stellen Sie sich vor, Sie wollen wissen, wie viel Wert eine ganze Familie hat.

• Die alte Methode: Zählt einfach alle Familienmitglieder einzeln auf.
• Die neue Methode: Schaut sich an, welche "Familien-Geheimnisse" (UND-Beziehungen) es gibt, die nur funktionieren, wenn die ganze Familie zusammen ist. Diese Geheimnisse werden der Gruppe als Ganzes gutgeschrieben. Alles, was auch schon mit einem einzelnen Mitglied funktioniert, wird anders gewichtet.

Dadurch können sie jetzt genau sagen: "Ist diese Gruppe ein echtes, sinnvolles Team, oder haben wir sie nur zufällig zusammengewürfelt?"

5. Wo wurde das getestet?

Die Forscher haben ihre Methode an drei verschiedenen Orten ausprobiert:

1. Texte (NLP): Sie haben Sätze analysiert. Zum Beispiel: "Raining cats and dogs" (Es regnet in Strömen). Die KI erkannte sofort, dass diese vier Wörter als eine Gruppe funktionieren. Wenn man sie zufällig mischte (z. B. "cats" und "blair" aus "Blair Witch"), funktionierte die Gruppe nicht – die neue Methode sagte das sofort voraus.
2. Bilder: Bei Bildern von Katzen oder Autos erkannte die KI, dass bestimmte Pixel-Gruppen (z. B. die Ohren einer Katze) zusammengehören.
3. Das Spiel Go: Das ist wie Schach, aber viel komplexer. Die Forscher nutzten ihre Methode, um zu verstehen, warum eine KI bestimmte Stein-Kombinationen mag. Sie stellten fest, dass die KI manchmal Muster erkennt, die selbst menschliche Go-Meister noch nicht kannten – wie neue, clevere Strategien, die aus der Ferne betrachtet funktionieren.

Fazit

Dieses Papier ist wie ein Übersetzer zwischen der komplexen Mathematik der KI und unserem menschlichen Verständnis. Es erklärt, warum Gruppen manchmal mehr sind als die Summe ihrer Teile, und gibt uns Werkzeuge an die Hand, um zu prüfen, ob eine Gruppe von Eingabewerten in einer KI wirklich "zusammengehört" oder nur zufällig da ist.

Kurz gesagt: Sie haben herausgefunden, wie man die "Team-Geister" in einer KI findet und misst, ob ein Team wirklich eins ist oder nur eine Ansammlung von Einzelspielern.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein fundamentales Problem im Bereich der Explainable AI (XAI), insbesondere bei attributionsbasierten Methoden wie dem Shapley-Wert.

• Das Partitionierungs-Problem: Bisherige Methoden berechnen die Wichtigkeit von Eingangsvariablen (Attribution) basierend auf einer vordefinierten Partitionierung der Eingabe (z. B. Pixel vs. Bildregionen bei Bildern, Wörter vs. Tokens bei Text). Es fehlt jedoch eine theoretische Grundlage, um zu bestimmen, welche Gruppierung von Variablen eine sinnvolle Einheit (eine „Koalition") bildet.
• Der Konflikt der Attributionen: Ein zentrales Phänomen ist der Konflikt zwischen der Attribution einer einzelnen Variable und der Attribution einer Gruppe (Koalition) dieser Variablen. Wenn man eine Koalition $S = \{x_1, x_2\}$ betrachtet, ist die Attribution der Koalition $\phi(S)$ oft nicht gleich der Summe der individuellen Attributionswerte $\phi(x_1) + \phi(x_2)$.
• Fehlende Theorie: Bestehende Ansätze versuchen diesen Konflikt oft durch Engineering-Lösungen (z. B. Verlustfunktionen, die die Summe erzwingen) zu umgehen, ohne die mathematische Ursache zu verstehen.

2. Methodik

Die Autoren entwickeln eine theoretische Analyse, die auf der Dekomposition von Modelloutputs in AND-OR-Interaktionen basiert.

• AND-OR-Interaktionen:

  • Der Output eines KI-Modells wird als Summe numerischer Effekte von AND- und OR-Interaktionen zwischen Eingangsvariablen modelliert.
  • AND-Interaktion ($I_{and}$): Tritt auf, wenn alle Variablen einer Teilmenge vorhanden sind (z. B. das Wortmuster „cats and dogs").
  • OR-Interaktion ($I_{or}$): Tritt auf, wenn mindestens eine Variable einer Teilmenge vorhanden ist.
  • Diese Interaktionen können den Modelloutput für jede maskierte Eingabe exakt nachbilden (Universal-Matching-Eigenschaft).

• Umformulierung des Shapley-Werts:

  • Die Autoren beweisen, dass der klassische Shapley-Wert $\phi(i)$ als eine gleichmäßige Zuteilung der numerischen Effekte aller AND- und OR-Interaktionen, an denen Variable $i$ beteiligt ist, interpretiert werden kann.
  • Formel: $\phi(i) = \sum_{S \subseteq N, i \in S} \frac{1}{|S|} [I_{and}(S) + I_{or}(S)]$.

• Neue Metrik für Koalitions-Attribution ($\phi(S)$):

  • Anstatt den Konflikt zu erzwingen, definieren die Autoren eine neue Attribution für eine Koalition $S$, die auf der Umverteilung der Interaktionseffekte basiert:
    $$\phi(S) = \sum_{T \supseteq S} \frac{|S|}{|T|} [I_{and}(T) + I_{or}(T)]$$
  • Hier werden nur Interaktionen $T$ berücksichtigt, die die gesamte Koalition $S$ enthalten.

• Analyse des Konflikts:

  • Der Kernbeitrag ist der Beweis, dass der Unterschied zwischen der Summe der Einzelattributionswerte und der Koalitionsattribution durch Interaktionen entsteht, die nur einen Teil der Koalition $S$ abdecken (d. h. $T \cap S \neq \emptyset$ und $T \cap S \neq S$).
  • Diese „partiellen" Interaktionen fließen in die Berechnung der Einzelwerte $\phi(i)$ ein, aber nicht in die Koalitionsattribution $\phi(S)$, was den Konflikt erklärt.

• Metriken für die Treue (Faithfulness):
  Um zu bewerten, ob eine gewählte Koalition „treu" (faithful) ist, d. h. ob sie als sinnvolle Einheit im Modell behandelt wird, schlagen die Autoren drei Metriken vor:

  1. $R(i)$: Misst, ob der Anteil der Interaktionen, die die gesamte Koalition $S$ enthalten, den Gesamtbeitrag der Variable $i$ dominiert.
  2. $R'(i)$: Eine feinere Granularität, die die Stärke der Interaktionen misst, die spezifisch von der Koalition $S$ zur Variable $i$ fließen.
  3. $Q(S)$: Bewertet die Treue der gesamten Koalition $S$ im Vergleich zu allen Interaktionen, an denen die Variablen von $S$ beteiligt sind.

3. Wichtige Beiträge

1. Theoretische Klärung des Konflikts: Die Autoren identifizieren und beweisen, dass der Konflikt zwischen Einzel- und Koalitionsattributen unvermeidbar ist und direkt aus Interaktionen resultiert, die nur Teilmengen der Koalition abdecken.
2. Neue Attributionsmetrik: Einführung einer neuen Definition für $\phi(S)$, die auf der Umverteilung von AND-OR-Interaktionen basiert und den Konflikt mathematisch erklärt, statt ihn zu unterdrücken.
3. Treue-Metriken: Entwicklung von drei Metriken ($R, R', Q$), um objektiv zu bewerten, ob eine menschlich definierte Gruppierung von Variablen (z. B. ein Phrase im Text oder eine Bildregion) im Modell als kohärente Einheit existiert.
4. Axiomatische Eigenschaften: Es wird gezeigt, dass die neue Koalitionsattribution wichtige Axiome erfüllt (Anonymität, Symmetrie, Additivität, Dummy-Eigenschaft).

4. Ergebnisse

Die Methoden wurden auf synthetischen Daten, NLP-Aufgaben (Sentiment-Analyse mit BERT/LLaMA), Bildklassifizierung (MNIST, CIFAR-10) und dem Spiel Go (mit KataGo) validiert.

• Synthetische Daten: Die Metriken konnten erfolgreich zwischen „treuen" (vollständig in Interaktionen enthaltenen), „untreuen" (nur teilweise enthaltenen) und „partiell treuen" Koalitionen unterscheiden.
• NLP (SST-2):
  • Natürliche Phrasen wie „mesmerizing performances" wurden als treue Koalitionen identifiziert (hohe Werte bei $Q, R, R'$).
  • Künstlich getrennte Phrasen wie „rivaling blair" (in „Blair Witch") wurden als untreu erkannt (niedrige Werte), was mit menschlicher Intuition übereinstimmt.
• Bildklassifizierung: Modelle wie VGG-11 und ResNet-20 zeigten, dass semantisch sinnvolle Bildregionen (z. B. der Kopf eines Pferdes) als treue Koalitionen erkannt wurden, während zufällige Regionen nicht.
• Go (Strategiespiel):
  • Die Methode wurde angewendet, um „Shape Patterns" (Stein-Konfigurationen) im Go-Spiel zu erklären.
  • Die identifizierten Koalitionen korrelierten stark mit dem Verständnis von Profispielern (z. B. „Shoulder-Hit"-Muster).
  • Interessanterweise entdeckte das Modell auch neue Muster, die über das traditionelle menschliche Wissen hinausgingen, indem es langfristige statistische Regularitäten im Wertnetzwerk des KI-Spielers aufdeckte.

5. Bedeutung und Ausblick

Dieses Paper liefert einen wichtigen theoretischen Durchbruch für die Interpretierbarkeit von KI-Modellen:

• Es beendet die Debatte, ob man den Konflikt zwischen Einzel- und Gruppenattributen erzwingen sollte, indem es zeigt, dass dieser Konflikt eine notwendige Konsequenz der nicht-linearen Interaktionen im Modell ist.
• Es bietet ein Werkzeug, um zu validieren, ob menschliche Konzepte (wie Wörtergruppen oder Bildobjekte) tatsächlich als kohärente Einheiten im neuronalen Netz kodiert sind.
• Die Anwendung auf komplexe Domänen wie Go zeigt das Potenzial, nicht nur menschliches Wissen zu erklären, sondern auch neue, für Menschen nicht offensichtliche Strategien oder Muster in KI-Systemen zu entdecken.

Zusammenfassend verschiebt das Paper den Fokus von der reinen Berechnung von Attributionswerten hin zum Verständnis der Struktur der Interaktionen innerhalb des Modells und wie diese die Bildung sinnvoller Erklärungsgruppen beeinflusst.