Using the Path of Least Resistance to Explain Deep Networks

Dieses Paper stellt Geodesic Integrated Gradients (GIG) vor, eine Methode, die durch die Berechnung von Attributionswerten entlang von Geodäten in einem modellinduzierten Riemannschen Raum die Fehleranfälligkeit der herkömmlichen Integrated Gradients bei geraden Pfaden überwindet und durch ein neues Axiom sowie experimentelle Ergebnisse eine höhere Zuverlässigkeit nachweist.

Das Wesentliche

Das Problem: Der gerade Weg ist oft der falsche Weg

Stell dir vor, du möchtest erklären, warum ein KI-Modell (wie ein sehr kluger, aber manchmal verwirrter Roboter) ein Bild als „Jaguar" erkennt und nicht als „Katze".

Die bisherige Standardmethode, genannt Integrated Gradients (IG), funktioniert so:
Sie nimmt das Bild des Jaguars und ein völlig leeres, schwarzes Bild (die „Basis"). Dann zeichnet sie eine gerade Linie vom schwarzen Bild zum Jaguar-Bild. Sie fragt sich: „Welche Pixel haben sich auf diesem geraden Weg am meisten verändert, damit der Roboter von 'nichts' zu 'Jaguar' wechselt?"

Das Problem:
Der Roboter ist nicht linear. Er denkt in Kurven und Mustern. Wenn du eine gerade Linie durch den Raum der Bilder ziehst, landest du oft in seltsamen, unsinnigen Zwischenbildern (z. B. ein halb schwarzer, halb weißer Fleck, der gar nicht wie ein Tier aussieht).
Auf dieser geraden Linie stolpert die KI über „Hindernisse" (Bereiche, in denen sie sehr verwirrt ist und stark schwankt). Die alte Methode zählt diese Verwirrung fälschlicherweise als wichtige Entscheidungshilfe.
Das Ergebnis: Die Erklärung sagt dir, dass ein schwarzer Fleck am Rand des Bildes der Grund für die Erkennung ist, obwohl das gar nicht stimmt. Die KI wurde auf dem „geraden Weg" getäuscht.

Die Lösung: Der Weg des geringsten Widerstands (Geodätische IG)

Die Autoren schlagen eine neue Methode vor: Geodesic Integrated Gradients (GIG).

Stell dir den Raum aller möglichen Bilder nicht als flache Ebene vor, sondern als eine bergige Landschaft.

• Flache Täler: Hier ist die KI sicher und weiß genau, was sie sieht (z. B. ein klarer Jaguar).
• Steile Berge: Hier ist die KI verwirrt. Kleine Änderungen führen zu großen Unsicherheiten.

Die alte Methode (IG) läuft wie ein Roboter, der immer geradeaus läuft. Er läuft direkt gegen einen steilen Berg (Verwirrung) und klettert mühsam hoch. Das verzerrt die Messung.

Die neue Methode (GIG) ist wie ein erfahrener Wanderer, der den Weg des geringsten Widerstands sucht.

• Er läuft nicht geradeaus.
• Er umgeht die steilen Berge (die Bereiche, in denen die KI verwirrt ist).
• Er bleibt in den flachen Tälern, wo die KI sicher ist.

Er nimmt also eine gekrümmte Route durch die Landschaft, die den „Widerstand" (die Unsicherheit der KI) minimiert. Nur auf diesem Weg kann man wirklich verstehen, welche Pixel für die Entscheidung des Jaguars wirklich wichtig waren.

Ein neues Regelwerk: „Keine gegenseitige Aufhebung"

Die Autoren haben auch eine neue Regel für gute Erklärungen erfunden, die sie NCC (No-Cancellation Completeness) nennen.

Die Analogie:
Stell dir vor, du erklärst, warum du 100 Euro hast.

• Die alte Regel (Komplett): Du sagst: „Ich habe 200 Euro verdient, aber 100 Euro verloren." Das ergibt 100 Euro. Die Summe stimmt. Aber die Erklärung ist irreführend, weil die Verluste die Gewinne verstecken.
• Die neue Regel (NCC): Du sagst: „Ich habe 100 Euro verdient und 0 Euro verloren."

Die neue Methode stellt sicher, dass die KI nicht sagt: „Dieses Pixel war super wichtig (positiv), aber jenes war super wichtig im negativen Sinne (negativ), und zusammen heben sie sich auf." Das ist wie ein Trick, um die wahre Bedeutung zu verstecken. GIG verhindert diesen Trick und zeigt dir die echte Summe der Wichtigkeit.

Was haben die Forscher gemacht?

Um diesen „Wanderer" (die gekrümmte Route) zu finden, haben sie zwei Techniken entwickelt:

1. Für einfache Fälle (wie kleine Diagramme): Sie nutzen eine Art „Knoten-Netzwerk" (k-Nearest Neighbors). Sie bauen eine Landkarte mit vielen Punkten und suchen den kürzesten Weg, der die steilen Berge meidet.
2. Für komplexe Fälle (wie echte Fotos): Hier ist die Landschaft zu riesig, um sie Punkt für Punkt zu zeichnen. Stattdessen nutzen sie eine Art „intelligentes Suchen" (Stochastic Variational Inference). Stell dir vor, du wirfst einen Ball, der von selbst den Weg sucht, der am wenigsten Energie kostet, und er lernt dabei, die Berge zu umgehen.

Das Ergebnis

In Tests haben sie gezeigt, dass ihre neue Methode (GIG) viel besser ist als die alten Methoden:

• Sie findet die echten Gründe, warum die KI ein Bild erkennt (z. B. die Ohren des Jaguars), statt sich von schwarzen Flecken oder Rauschen täuschen zu lassen.
• Sie ist „ehrlicher" (faithful), weil sie die wahre Denkweise der KI widerspiegelt, nicht nur eine mathematische Kurve.

Der Preis:
Der „Wanderer" braucht etwas mehr Zeit als der „Roboter, der geradeaus läuft". Es ist rechenintensiver. Aber für wichtige Aufgaben – wie das Überprüfen von KI-Entscheidungen in der Medizin oder bei autonomen Autos – lohnt sich die extra Zeit, um eine korrekte und vertrauenswürdige Erklärung zu bekommen.

Zusammenfassend:
Die Autoren sagen: „Hört auf, Erklärungen auf geraden Linien zu suchen, die durch das Chaos führen. Sucht stattdessen den sanften, gekrümmten Weg, der die KI auf ihrem eigenen Terrain am besten versteht."

Technische Zusammenfassung

1. Problemstellung

Die Interpretierbarkeit von Deep-Learning-Modellen ist entscheidend für Vertrauen und Fairness. Eine weit verbreitete Methode zur Erklärbarkeit ist Integrated Gradients (IG). IG weist Eingangsmerkmalen Wichtigkeitswerte zu, indem sie die Modellgradienten entlang eines geraden Pfades (euklidische Gerade) von einem Basiswert (Baseline, z. B. ein schwarzes Bild) zum eigentlichen Eingabebild integrieren.

Das Paper identifiziert jedoch ein fundamentales Problem bei dieser Annäherung:

• Fehlerhafte Zuordnungen durch gerade Pfade: Gerade Linien im euklidischen Raum ignorieren die Krümmung der Modelllandschaft. Sie können durch Regionen mit extrem hohen Gradienten führen, die für die eigentliche Klassifizierung irrelevant sind, oder umgekehrt wichtige Entscheidungsgrenzen umgehen.
• Beispiel: In einem Bild mit schwarzen Objekten (z. B. Raketen auf schwarzem Hintergrund) führt der gerade Pfad von einem schwarzen Basisbild zum Eingabebild durch Bereiche, in denen das Modell „flach" ist (keine Gradienten). IG interpretiert dies fälschlicherweise als Unwichtigkeit der Objekte, obwohl diese die Klassifizierung bestimmen.
• Mangelnde Robustheit: IG ist stark abhängig von der Wahl der Baseline und kann zu Artefakten führen, die das tatsächliche Verhalten des Modells nicht widerspiegeln.

2. Methodik: Geodesic Integrated Gradients (GIG)

Die Autoren schlagen eine Verallgemeinerung von IG vor, die den Eingaberaum als Riemannsche Mannigfaltigkeit betrachtet, anstatt als flachen euklidischen Raum.

• Modell-induzierte Riemannsche Metrik:
  Anstatt einer euklidischen Metrik wird eine Metrik $G_x$ definiert, die durch die Jacobimatrix $J_x$ des Modells induziert wird:
  $$G_x = J_x^T J_x$$
  Diese Metrik misst die lokale „Widerstandskraft" des Modells. Regionen mit hohen Gradienten (hohe Sensitivität) haben eine hohe „Kosten" (Länge), während flache Regionen niedrige Kosten haben.

• Geodäten als Pfade der geringsten Widerstandskraft:
  Statt gerader Linien werden Geodäten (die kürzesten Pfade auf der Mannigfaltigkeit) verwendet, um von der Baseline zum Eingabebild zu gelangen. Ein Geodät umgeht automatisch Regionen mit hohen Gradienten, da diese „teuer" zu durchqueren sind. Dies führt zu einer Integration entlang des Pfades des geringsten Widerstands.

• Approximationsverfahren:
  Da die exakte Berechnung von Geodäten in hochdimensionalen Räumen (z. B. Bilder) schwierig ist, stellen die Autoren zwei Approximationsmethoden vor:

  1. k-Nearest Neighbours (kNN): Für niedrigdimensionale Daten (z. B. synthetische Daten). Der Raum wird diskretisiert, ein gewichteter Graph wird erstellt (Gewichte basieren auf der integrierten Gradienten-Norm), und der kürzeste Pfad wird mit Dijkstra oder A* gefunden.
  2. Stochastic Variational Inference (SVI): Für hochdimensionale Daten (z. B. Bilder). Hier wird ein Pfad als parametrisierte Kurve optimiert, um eine Energie-Funktion zu minimieren, die einen Kompromiss zwischen der Nähe zur geraden Linie und der Vermeidung von Hochgradienten-Regionen darstellt.

3. Schlüsselbeiträge und Axiome

Ein zentraler theoretischer Beitrag ist die Einführung und Analyse neuer Axiome:

• No-Cancellation Completeness (NCC):
  Das herkömmliche Axiom der Komplettiertheit (Completeness) besagt, dass die Summe der attribuierten Werte gleich der Differenz der Modellausgabe zwischen Baseline und Eingabe ist ($\sum A_i = f(x) - f(x')$). Dies erlaubt jedoch, dass positive und negative Beiträge sich gegenseitig aufheben (Kürzung), was zu irreführenden Einzelwerten führen kann.
  Die Autoren definieren NCC: Die Summe der absoluten Werte der Attributionen muss gleich dem absoluten Wert der Funktionsdifferenz sein:
  $$\sum |A_i(x)| = |f(x) - f(x')|$$
  Dies verhindert, dass wichtige Merkmale durch gegenseitige Aufhebung unsichtbar werden.

• Theorem 1 (Charakterisierung):
  Die Autoren beweisen, dass unter der modell-induzierten Metrik die Bedingung NCC genau dann erfüllt ist, wenn der Integrationspfad eine Geodäte ist. Damit wird GIG als die einzige Pfad-basierte Methode identifiziert, die dieses stärkere Axiom erfüllt.

• Symmetrie-Erhaltung:
  Es wird gezeigt, dass GIG auch das Symmetrie-Axiom erfüllt (wenn Eingabedimensionen symmetrisch sind, sind auch ihre Attributionen symmetrisch).

4. Ergebnisse und Experimente

Die Methode wurde auf synthetischen und realen Datensätzen evaluiert:

• Synthetische Daten (Half-Moons):

  • Auf einem klassischen „Half-Moons"-Klassifizierungsproblem zeigt IG Artefakte: Sie weist unterschiedliche Wichtigkeiten für Merkmale zu, obwohl das Modell in flachen Regionen konstant ist.
  • GIG liefert korrekte, stabile Attributionen, die die tatsächliche Modellentscheidung widerspiegeln.
  • Metrik: Purity (Reinheit). GIG (kNN) erreichte den höchsten AUC-Purity-Wert (0.531) im Vergleich zu IG (0.487) und anderen Methoden wie SHAP oder Occlusion.

• Reale Daten (Pascal VOC 2012 mit ConvNext):

  • Evaluation auf 100 zufälligen Bildern.
  • Metriken: Comprehensiveness (Wie stark sinkt die Wahrscheinlichkeit, wenn wichtige Merkmale maskiert werden?) und Log-Odds.
  • Ergebnis: GIG (SVI) übertrifft alle Vergleichsmethoden signifikant.
    • Verbesserung bei Comprehensiveness: ~29% (0.27 vs. 0.21 für den nächsten besten).
    • Verbesserung bei Log-Odds: ~15%.
  • Qualitative Analyse: In Bildbeispielen (z. B. Abbildung 1) erkennt GIG korrekt die Objekte (Raketen), während IG durch den schwarzen Hintergrund getäuscht wird und die Objekte als unwichtig einstuft.

• Rechenkosten:
  GIG ist rechenintensiver als IG (ca. 840-fache Zeit pro Bild bei SVI), was jedoch für Anwendungen, bei denen hohe Erklärqualität Priorität hat (Auditing, Debugging), akzeptabel ist.

5. Bedeutung und Fazit

• Theoretische Fundierung: Das Paper liefert eine rigorose mathematische Begründung dafür, warum Geodäten für Pfad-basierte Attributionen notwendig sind, um das NCC-Axiom zu erfüllen. Es verbindet Information Geometry (Fisher-Information-Metrik) mit Erklärbarkeit.
• Überwindung von IG-Limitationen: GIG löst das Problem der „falschen Pfade" in euklidischen Räumen, indem es die Geometrie des Modells selbst nutzt.
• Unterschied zu ähnlichen Arbeiten: Im Gegensatz zu Manifold Integrated Gradients (MIG), die eine Metrik aus einem VAE-Decoder nutzen, um auf der Datenmannigfaltigkeit zu bleiben, nutzt GIG die Metrik des klassifizierenden Modells selbst. Dies zielt direkt auf die Gradientenlandschaft des zu erklärenden Modells ab, ohne zusätzliche generative Modelle zu benötigen.
• Zukunftsausblick: Die Autoren sehen Potenzial in der Entwicklung effizienterer Geodäten-Löser (z. B. direkte ODE-Löser oder amortisierte Vorhersage), um die Rechenkosten zu senken und GIG für breitere Anwendungen zugänglich zu machen.

Zusammenfassend stellt GIG einen Paradigmenwechsel dar: Von der Annahme eines flachen Eingaberaums hin zu einer Krümmungsbasierten Betrachtung, die sicherstellt, dass Erklärungen den tatsächlichen „Weg des geringsten Widerstands" durch das Modellverhalten abbilden.