Axiomatic On-Manifold Shapley via Optimal Generative Flows

Die Autoren stellen eine neue Theorie für Axiomatische On-Manifold-Shapley-Attribution vor, die auf optimalen generativen Flüssen und der Minimierung der kinetischen Energie basiert, um die Probleme von Off-Manifold-Artefakten zu lösen und eine geometrisch effiziente, stabile sowie semantisch kohärente Erklärungsmethode zu gewährleisten.

Das Wesentliche

Stell dir vor, du hast eine sehr kluge, aber etwas verschlossene KI, die ein Bild betrachtet und sagt: „Das ist ein Hund!" Du fragst dich: „Warum? Welche Teile des Bildes haben dazu beigetragen? War es die Nase? Die Ohren? Oder vielleicht nur ein zufälliger Fleck im Hintergrund?"

Um das herauszufinden, nutzen Forscher Methoden, die den KI-Entscheidungen „Guthaben" zuweisen. Das nennt man Feature Attribution. Eine der besten Methoden dafür ist der Shapley-Wert, ein Konzept aus der Spieltheorie. Es ist wie eine faire Aufteilung der Gewinnsumme unter allen Spielern (den Pixeln), basierend darauf, wie viel jeder einzelne zum Sieg (der Klassifizierung) beigetragen hat.

Aber hier liegt das Problem: Um zu berechnen, wie viel ein Pixel wert ist, muss man sich vorstellen, wie das Bild aussähe, wenn dieses Pixel fehlt. Wie füllt man die Lücke?

Das Problem: Die „Geister-Bilder" (Off-Manifold)

Die meisten bisherigen Methoden füllen die Lücke mit einem einfachen Trick: Sie nehmen einen grauen Hintergrund oder ein unscharfes Bild.

• Die Analogie: Stell dir vor, du versuchst zu erklären, warum ein Auto fährt. Du nimmst das Auto, entfernst die Räder und füllst die Lücken mit grauem Beton. Dann fragst du die KI: „Warum fährt das jetzt nicht?"
• Das Ergebnis: Die KI ist verwirrt. Sie sieht ein unmögliches Ding (ein Auto auf Beton). Sie reagiert auf diese „Geister-Bilder" mit Panik und liefert verrückte Erklärungen. In der Fachsprache nennt man das Off-Manifold-Artefakte. Die KI wird auf Dinge trainiert, die in der realen Welt (dem „Manifold") gar nicht existieren.

Die Lösung: Der perfekte Fluss (On-Manifold)

Die Autoren dieses Papiers sagen: „Nein, wir dürfen keine künstlichen Lücken füllen. Wir müssen das Bild auf einem Weg verändern, der immer realistisch bleibt."

Stell dir das Bild nicht als statisches Objekt vor, sondern als einen Punkt in einem riesigen Universum aller möglichen Bilder.

• Der alte Weg: Ein gerader Strich durch den leeren Raum, der dich von einem grauen Punkt zu deinem Foto führt. Auf diesem Weg landest du oft in „Niemandsland" (Bilder, die keine echten Hunde oder Autos sind).
• Der neue Weg (dieses Papier): Ein geschwungener Pfad, der sich immer entlang der Landkarte der realen Welt bewegt. Egal wo du bist, du bist immer auf einem „echten" Bild.

Wie finden sie diesen Pfad? (Die Optimalen Ströme)

Wie findet man den perfekten Pfad durch dieses Bild-Universum? Die Autoren nutzen eine Idee aus der Physik und Mathematik, die sie Optimale Generative Ströme nennen.

• Die Analogie: Stell dir vor, du willst eine Menge Wasser (dein Ausgangsbild) in eine andere Form (dein Zielbild) umgießen.
  • Die alten Methoden schütten das Wasser einfach wild umher. Es spritzt, es wird chaotisch.
  • Diese neue Methode sucht nach dem Weg, der am wenigsten Energie verbraucht. Sie fragt: „Wie kann ich das Wasser so umformen, dass es so geradlinig und sanft wie möglich fließt, ohne Wirbel zu erzeugen?"

Dieser energieeffizienteste Weg ist mathematisch bewiesen der „geradeste" Weg durch die Welt der realen Bilder. Er nennt sich Wasserstein-Geodäte.

Was bringt das?

1. Keine Halluzinationen mehr: Da der Pfad immer bei realen Bildern bleibt, reagiert die KI nicht auf Unsinn. Die Erklärung ist stabil.
2. Faire Aufteilung: Weil der Weg eindeutig definiert ist (nicht zufällig gewählt), ist die Berechnung des Shapley-Wertes jetzt einzigartig und korrekt. Es gibt keine „Willkür" mehr bei der Wahl des Hintergrunds.
3. Klarheit: Wenn man sich die Bilder ansieht, die von dieser Methode erzeugt werden, sieht man klare, scharfe Konturen (z. B. genau die Nase des Hundes), während alte Methoden oft nur verrauschte Flecken zeigen.

Zusammenfassung in einem Satz

Statt die KI mit künstlichen, unmöglichen Bildern zu verwirren, führt diese neue Methode sie auf einem energieeffizienten, realistischen Pfad durch die Welt der echten Bilder, um genau zu erklären, welche Pixel für die Entscheidung verantwortlich sind – so fair und stabil wie nur möglich.

Es ist der Unterschied zwischen einem chaotischen, spritzenden Wasserstrahl und einem sanften, perfekt fließenden Fluss, der sein Ziel erreicht, ohne etwas zu zerstören.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert fundamentale Mängel bei der post-hoc-Attribution (Erklärung von Modellentscheidungen) mittels Shapley-Werten, insbesondere im Bereich des Computer Vision.

• Off-Manifold-Artefakte: Herkömmliche Shapley-basierte Methoden (wie Integrated Gradients oder KernelSHAP) benötigen eine Baseline (Referenzbild), um das Fehlen von Features zu simulieren. Die Wahl dieser Baseline ist oft heuristisch (z. B. schwarzes Bild, Unschärfe). Da diese Baselines häufig außerhalb des Datenmanifolds (der Mannigfaltigkeit, auf der echte Daten liegen) liegen, durchlaufen die Erklärungspfade Bereiche, die für das Modell nicht gelernt wurden. Dies führt zu instabilen, irreführenden Erklärungen und „Artefakten".
• Pfad-Ambiguität: Selbst wenn man generative Methoden verwendet, um auf dem Datenmanifold zu bleiben, ist die Wahl des Pfades zwischen Baseline und Eingabe oft willkürlich. Es fehlt eine theoretische Grundlage dafür, welcher Pfad „kanonisch" (einzigartig und optimal) ist.
• Komplexität: Die exakte Berechnung diskreter Shapley-Werte ist für hochdimensionale Eingaben kombinatorisch nicht lösbar.

2. Methodik

Die Autoren schlagen einen theoretischen Rahmen vor, der Optimalen Transport (Optimal Transport, OT) mit Aumann-Shapley-Werten verbindet, um eine eindeutige, auf dem Datenmanifold liegende Attribution zu definieren.

• On-Manifold Aumann-Shapley: Statt diskreter Teilmengen wird die Attribution als Linienintegral des Modellgradienten entlang eines glatten Pfades $\gamma$ definiert, der eine Referenzverteilung $p_0$ mit der Datenverteilung $p_1$ verbindet.
  $$\Psi_i(f, x) = \int_0^1 \frac{\partial f}{\partial x_i}(\gamma(t)) \cdot \dot{\gamma}_i(t) \, dt$$
• Axiomatische Einzigartigkeit: Die Autoren beweisen einen Darstellungssatz: Unter Annahme von Axiomen wie Effizienz, Linearität, Dummy-Eigenschaft und Reparametrisierungsinvarianz (die Erklärung darf nicht von der Geschwindigkeit des Pfades abhängen) ist das Gradienten-Linienintegral die einzige Funktion, die diese Bedingungen erfüllt.
• Optimale Generative Flows (Kanonische Pfadwahl): Um die Willkür bei der Pfadwahl zu eliminieren, wird die Pfadwahl als Variationsproblem formuliert.
  • Ziel ist es, den Pfad zu finden, der den kinetischen Energie-Aufwand minimiert, um von $p_0$ nach $p_1$ zu gelangen.
  • Dies entspricht der Benamou-Brenier-Dynamik für die quadratische Wasserstein-Distanz ($W_2$).
  • Der resultierende Pfad ist eine Geodäte im Raum der Wahrscheinlichkeitsmaße. Diese Geodäte induziert eine eindeutige Familie von Charakteristik-Kurven auf dem Datenmanifold.
• Implementierung: In der Praxis wird dieser optimale Fluss durch Rectified Flows (RF) approximiert. Durch einen „Reflow"-Prozess (iteratives Training) wird die Trajektorie so gerade wie möglich gemacht, um sich der theoretischen OT-Geodäte anzunähern.

3. Wichtige Beiträge

1. Theoretischer Rahmen: Entwicklung einer axiomatischen Theorie für On-Manifold-Shapley-Attributionen, die auf optimalen Transportflüssen basiert.
2. Einzigartigkeitsbeweis: Beweis, dass die gradientenbasierte Linienintegration entlang einer festen, optimalen Trajektorie die einzige Attribution ist, die die definierten geometrischen Axiome erfüllt.
3. Kanonische Pfadwahl: Verknüpfung der Pfadwahl mit der $W_2$-Optimalität. Dies löst das Problem der willkürlichen Baseline-Auswahl, indem der Pfad als Lösung eines Variationsproblems (Minimierung der kinetischen Energie) definiert wird.
4. Stabilitätsgarantien: Herleitung von Stabilitätsschranken, die zeigen, dass der Fehler der Attribution linear mit dem Approximationsfehler des generativen Flusses skaliert.
5. Konsistenz: Nachweis, dass die Methode für additive Modelle exakt die klassischen diskreten Shapley-Werte wiederherstellt.

4. Ergebnisse

Die Methode wurde auf verschiedenen Datensätzen (CUB-200, CIFAR-10, CelebA-HQ) und in verschiedenen Szenarien evaluiert:

• Theoretische Validierung:
  • Axiomatische Prüfung: Die numerische Integration konvergiert schnell; bei 50 Schritten liegt der Fehler unter 6 %.
  • Geometrische Stabilität: Der „Reflowed Shapley" (2-RF) zeigt eine drastisch höhere Stabilität als ein einfacher One-Step-Ansatz (1-RF). Die Rangkorrelation der Feature-Importanz steigt von 0,66 auf 0,88, was zeigt, dass die Erklärung invariant gegenüber Stochastik ist.
  • Stabilitätsgrenzen: Es wurde empirisch bestätigt, dass der Attributionsfehler linear mit dem Fehler des generativen Modells skaliert (Bestätigung von Theorem 4.3).
• Geometrische Treue und Struktur:
  • Manifold-Konsistenz: Im Vergleich zu heuristischen Methoden (Integrated Gradients) und Diffusionsmodellen (DDIM) erreicht die Methode einen Flow Consistency Error (FCE), der um Größenordnungen niedriger ist (z. B. $1.78$ vs. $10^5$ bei DDIM auf CelebA-HQ). Dies beweist, dass der Pfad strikt auf dem Datenmanifold bleibt.
  • Strukturelle Ausrichtung: Die Methode erzeugt visuell kohärente Masken mit weniger Rauschen („Shattered Gradients") als IG oder DDIM. Metriken wie Structure-Aware Total Variation (SATV) zeigen, dass die Erklärungen scharf an semantischen Kanten liegen und keine hochfrequenten Artefakte enthalten.
  • Skalierbarkeit: Die Methode funktioniert robust sowohl bei niedriger Auflösung (CIFAR-10) als auch bei hoher Auflösung (CelebA-HQ 256x256).

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel in der interpretierbaren KI (XAI) dar:

• Von Heuristik zu Prinzip: Es ersetzt die willkürliche Auswahl von Baselines und Pfaden durch ein mathematisch fundiertes, optimales Transportproblem.
• Vertrauenswürdigkeit: Durch die strikte Einhaltung des Datenmanifolds werden Erklärungen robuster gegen Artefakte, die durch das Modell in nicht gelernten Bereichen des Eingaberaums erzeugt werden.
• Brücke zwischen Theorien: Die Arbeit verbindet erfolgreich die Theorie des Optimalen Transports mit der Spieltheorie (Shapley-Werte) und generativer Modellierung.
• Praktische Relevanz: Die Methode bietet eine theoretisch fundierte Alternative für hochdimensionale Anwendungen, wo traditionelle Shapley-Methoden versagen oder instabil sind, und liefert semantisch sinnvollere Erklärungen, die menschlicher Wahrnehmung entsprechen.

Zusammenfassend beweist das Paper, dass die Achtung der intrinsischen Geometrie der Daten keine Einschränkung, sondern eine Voraussetzung für vertrauenswürdige und semantisch korrekte Erklärungen ist.