Technische Zusammenfassung: Attributionen bis ins Unendliche? Das Metaspiel der Interpretierbarkeit

Problemstellung

Attributionsmethoden sind grundlegend für die Interpretierbarkeit des maschinellen Lernens und quantifizieren, wie spezifische Variablen (z. B. Eingabetokens, Trainingsdaten) das Modellverhalten beeinflussen. Während Methoden erster Ordnung (z. B. Shapley-Werte, Integrierte Gradienten, Attention) weit verbreitet sind, beschränken sie sich auf die Erfassung des Einflusses einzelner Variablen und lassen häufig höherstufige Dynamiken wie Synergien und Antisynergien außer Acht.

Bestehende Interaktionsmethoden versuchen, dies zu beheben, indem sie Einflüsse zweiter Ordnung messen (z. B. Shapley-Interaktionen, Integrierte Hessische Matrizen). Diese Ansätze stoßen jedoch auf erhebliche Einschränkungen:

1. Interaktionsleckage: Serielle Methoden (die Anwendung einer Attributionsmethode auf ihre eigene Ausgabe) scheitern daran, reine individuelle Effekte sauber von Interaktionseffekten zu trennen, wodurch Interaktionsterme in individuelle Komponenten „lecken".
2. Richtungsabhängigkeit: Interaktionsindizes auf Basis von Mengen (z. B. Shapley-Interaktionen) behandeln Interaktionen als ungerichtete Teilmengen $\{i, j\}$ und erfassen nicht die hierarchische Richtungsabhängigkeit, wie ein Merkmal die Attribution eines anderen beeinflusst.
3. Rechen- und strukturelle Einschränkungen: Methoden, die auf Eingabe-Hessischen Matrizen basieren, erfordern architektonische Modifikationen, verursachen prohibitiv hohe Rechenkosten bei großen Eingaben und verschwinden oft in Standard-ReLU-Netzwerken.
4. Kombinatorische Komplexität: Die Anzahl der Interaktionsterme wächst kombinatorisch ($O(d^k)$), was die Interpretation höherstufiger Interaktionen erschwert.

Die Arbeit fragt, ob eine beliebige Attributionsmethode erster Ordnung aus ersten Prinzipien heraus generalisiert werden kann, um höherstufige Interaktionen ohne diese Einschränkungen zu erfassen.

Methodik: Das METAGAME-Framework

Die Autoren stellen METAGAME vor, ein konzeptionelles Framework, das die Attributionsmethode selbst als kooperatives Spiel behandelt, um Interaktionseffekte zweiter Ordnung zu quantifizieren.

Kernkonzept: Meta-Attributionen

Für jede Attributionsmethode erster Ordnung $\phi_i(f)$, die ein Modell $f$ erklärt, definiert das Framework eine Meta-Attribution $\phi_{j \to i}(f)$, die den gerichteten Einfluss des Merkmals $j$ auf die Attribution des Merkmals $i$ darstellt.

1. Der Metaspiel-Aufbau:

   • Anstatt das Modell $f$ direkt zu bewerten, bewertet das Framework die Attributionsmethode erster Ordnung $\phi_i$ als Wertfunktion eines neuen kooperativen Spiels.
   • Die „Spieler" in diesem Spiel sind die Eingabemerkmale (oder Tokens).
   • Der Wert einer Koalition $S$ im Metaspiel ist definiert als die Attribution des Merkmals $i$, wenn die Merkmale in $S \cup \{i\}$ vorhanden sind und die anderen maskiert werden (unter Verwendung einer Baseline).

2. Gerichtete Zerlegung:

   • Die Meta-Attribution $\phi_{j \to i}$ wird als Shapley-Wert des Merkmals $j$ innerhalb dieses Metaspiels berechnet und misst strikt den marginalen Beitrag von $j$ zu $\phi_i$, gegeben dass $i$ fixiert ist.
   • Hierarchische Effizienz: Das Framework beweist, dass die ursprüngliche Attributionsmethode erster Ordnung exakt die Summe ihres reinen individuellen Effekts und ihrer gerichteten Interaktionen ist:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • Diese Zerlegung isoliert reine individuelle Effekte (diagonale Terme) von Interaktionseffekten (off-diagonale Terme) und löst die bei seriellen Methoden beobachtete Leckage.

3. Theoretische Vereinheitlichung:

   • Die Autoren beweisen, dass bestehende Interaktionsindizes auf Mengenbasis implizit hierarchische Zerlegungen von Attributionen erster Ordnung darstellen.
   • Konkret werden Meta-Shapley-Werte als gerichtete Varianten des Shapley-Taylor-Interaktionsindex (STII) gezeigt, und Meta-Integrierte Gradienten sind die gerichteten Varianten des Sum-of-Power (SOP)-Index.
   • Im Gegensatz zu Methoden auf Mengenbasis bewahren Meta-Attributionen die Richtungsabhängigkeit (z. B. $\phi_{j \to i} \neq \phi_{i \to j}$ bei gradientenbasierten Methoden) und enthüllen asymmetrische Einflüsse.

Praktische Umsetzung

Das Framework ist als universeller Wrapper für bestehende Attributionsmethoden konzipiert (z. B. AttnLRP, Grad-ECLIP, ConceptAttention).

• Effizienz: Für kleine Spiele ($d < 20$) werden exakte Shapley-Werte berechnet. Für größere Spiele empfehlen die Autoren modernste Approximatoren (z. B. Monte-Carlo-Sampling oder regressionsbasierte Schätzer aus der shapiq-Bibliothek).
• Transformer: Die Methode wird für moderne Architekturen angepasst, indem Token-Attributionen über generierte Sequenzen aggregiert werden (für LLMs) oder kreuzmodale Interaktionen zwischen Text-Tokens und Bild-Patches berechnet werden (für Vision-Language-Encoder).

Hauptbeiträge

1. Prinzipielle Generalisierung: Eine Methode, um jede Attributionsmethode erster Ordnung zu generalisieren, um Interaktionen zweiter Ordnung über den Shapley-Wert zu quantifizieren, bezeichnet als Meta-Attributionen.
2. Hierarchische Zerlegung: Eine Perspektive, die die kombinatorische Komplexität bewältigt, indem sie Attributionen in gerichtete Interaktionen zerlegt und beweist, dass bestehende Indizes wie Shapley-Interaktionen und Integrierte Hessische Matrizen diese Zerlegung implizit durchführen.
3. Gerichtete Erweiterung: Die Einführung von METAGAME und Meta-Attributionen als neuartiger gerichteter Interaktionsindex, der als gerichtete Erweiterung bestehender Interaktionsindizes auf Mengenbasis (STII und SOP) nachgewiesen wird.
4. Empirische Validierung: Demonstration der Nützlichkeit des Frameworks über drei verschiedene KI-Domänen hinweg:
   • Quantifizierung von Token-Interaktionen in instruierten Large Language Models (LLMs).
   • Erklärung kreuzmodaler Ähnlichkeit in Vision-Language-Encodern.
   • Interpretation von Text-zu-Bild-Konzepten in multimodalen Diffusions-Transformern.

Experimentelle Ergebnisse

Die Arbeit validiert METAGAME über drei Anwendungsszenarien hinweg:

1. Sprachmodelle (Gemma 3):

   • Mit Meta-AttnLRP identifiziert das Framework gerichtete Token-Interaktionen (z. B. wie „Honig" die Attribution von „Butter" in einem veganen Kontext beeinflusst), die Methoden erster Ordnung übersehen.
   • Es wird erkannt, dass Modelle mehr Aufmerksamkeit auf „pulmonal" legen, wenn „Embolie" vorhanden ist, wohingegen das Entfernen von „pulmonal" die Bedeutung von „Embolie" erhöht.
   • Eine quantitative Evaluation zeigt eine verbesserte Recall-Rate bei der Erkennung von menschlich gelabelten Token-Interaktionen im Vergleich zu Baselines erster Ordnung.

2. Vision-Language-Encoder (CLIP, SigLIP-2, MetaCLIP-2):

   • Meta-Grad-ECLIP und Meta-MaskSigLIP wurden angewendet, um Ähnlichkeitskarten zu erklären.
   • Beim ImageNet-1k-Peaking-Interaktionserkennungs-Metrik übertrafen Meta-Attributionen konsistent Methoden erster Ordnung (Attention, MaskCLIP, Grad-ECLIP) und sogar die Black-Box-Baseline zweiter Ordnung FIxLIP.
   • Bemerkenswert ist, dass Meta-MaskSigLIP die höchste Glaubwürdigkeit für SigLIP-2 erreichte und Meta-Attention auf dem großen MetaCLIP-2-Modell Meta-Grad-ECLIP übertraf.

3. Multimodale Diffusions-Transformer (FLUX.1):

   • Meta-ConceptAttention wurde verwendet, um Konzepte bei der Text-zu-Bild-Generierung zu interpretieren.
   • Die Methode milderte die Einschränkung der Kontextabhängigkeit der ursprünglichen ConceptAttention.
   • Auf den Segmentierungs-Benchmarks Pascal VOC und MS COCO dominierte Meta-ConceptAttention die ursprüngliche Methode im Pareto-Sinne über die Metriken Genauigkeit, mIoU und mAP, selbst wenn die Anzahl der Kontextkonzepte zunahm.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das METAGAME-Framework einen mathematisch fundierten Weg zum Verständnis von Interaktionen zweiter Ordnung ohne die Leckage- und Richtungsabhängigkeitsprobleme früherer Methoden bietet. Durch die Behandlung von Attributionen als kooperative Spiele schließt es die Lücke zwischen diskreten spieltheoretischen Prinzipien und den kontinuierlichen Dynamiken moderner Interpretierbarkeitsmethoden.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu glaubwürdigeren maschinellen Lernsystemen. Sie betonen, dass das Framework zwar die Rechenkosten und die kognitive Last erhöht, aber eine rigorose hierarchische Zerlegung von Attributionen liefert, die genau aufzeigt, wie Merkmale die Beiträge einander beeinflussen. Die Arbeit ist in ihrem Umfang bescheiden und stellt fest, dass die Analyse von Sprachmodellen als illustrative Anwendung dient und dass rigorose Glaubwürdigkeitsmessungen (z. B. Einfüge-/Löschkurven) für umfassendere Vergleiche eine zukünftige Notwendigkeit bleiben. Das Framework wird als allgemeines Werkzeug präsentiert, das auf jede Attributionsmethode erster Ordnung anwendbar ist und über die spezifischen Beispiele hinausgeht.