🤖 machine learning

FRInGe: Distribution-Space Integrated Gradients with Fisher--Rao Geometry

Der Artikel schlägt FRInGe vor, eine neuartige Attributionsmethode, die heuristische Eingangs-Baselines und geradlinige Pfade durch einen Maximum-Entropie-Referenzpunkt und eine Fisher-Rao-geodätische Interpolation im Raum der Vorhersagewahrscheinlichkeitsverteilungen ersetzt, um robustere und auf Kalibrierung ausgerichtete Erklärungen für Deep-Learning-Modelle zu erzeugen.

Ursprüngliche Autoren: Gabriele Martino, Sebastian Tschiatschek

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gabriele Martino, Sebastian Tschiatschek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Warum aktuelle KI-Erklärungen „brüchig" sind

Stellen Sie sich vor, Sie haben eine sehr intelligente KI, die ein Bild einer Katze betrachtet und sagt: „Das ist eine Katze!" Sie möchten wissen, warum. Sie bitten die KI, die Pixel zu markieren, die sie zur Entscheidung „Katze" veranlasst haben.

Eine beliebte Methode hierfür heißt Integrated Gradients (IG). Stellen Sie sich IG als einen Wanderer vor, der versucht, eine Berglandschaft zu erklären. Der Wanderer startet am Fuße des Berges (ein leeres, langweiliges Bild ohne Informationen) und wandert in einer geraden Linie zum Gipfel (das eigentliche Foto der Katze). Unterwegs misst er bei jedem Schritt, wie stark sich die Aussicht verändert, um herauszufinden, welche Teile des Weges am wichtigsten waren.

Das Problem? Die Erklärung des Wanderers hängt vollständig ab von:

Wo er startet: Wenn er bei einem schwarzen Bild startet versus einem grauen Bild, könnte er eine andere Geschichte erzählen.
Dem Weg, den er nimmt: Das Wandern in einer perfekt geraden Linie durch ein Gebirge bedeutet oft, durch Felsen, Klippen oder Bereiche zu gehen, in denen sich die Aussicht kaum verändert (Sättigung). Dies macht die Berechnung der „Bedeutung" unübersichtlich und unzuverlässig.

Die Lösung: FRInGe (Der „intelligente Navigator")

Die Autoren schlagen eine neue Methode namens FRInGe vor. Anstatt durch die „Pixelwelt" (das Bild selbst) zu wandern, entscheidet sich FRInGe, durch die „Vorhersagewelt" (das interne Vertrauen der KI) zu navigieren.

So funktioniert es, Schritt für Schritt:

1. Der Startpunkt: Die „leere Tafel"

Bei der alten Methode musste man raten, wie ein „leeres" Bild aussieht (z. B. alle schwarzen Pixel). Das ist so, als würde man raten, wie sich ein „leeres" Gefühl anfühlt.

Der Ansatz von FRInGe: Anstatt ein leeres Bild zu raten, startet es mit einer leeren Vorhersage. Stellen Sie sich vor, die KI ist zu 100 % verwirrt und sagt: „Es könnte eine Katze, ein Hund, ein Auto oder ein Toaster sein – alles mit gleicher Wahrscheinlichkeit." Dies ist der Zustand der „Maximalen Entropie". Es ist eine mathematisch perfekte Definition von „Ich weiß nichts", ohne dass ein falsches Bild erfunden werden muss.

2. Der Pfad: Die „gekrümmte Autobahn"

Bei der alten Methode wanderte der Wanderer in einer geraden Linie. Doch in der Welt der KI-Vorhersagen ist eine gerade Linie oft ein schlechter Pfad. Sie könnte durch Bereiche führen, in denen die KI verwirrt ist oder in denen sich die Aussicht nicht verändert.

Der Ansatz von FRInGe: Es verwendet eine Fisher–Rao-Geodäte.
- Die Analogie: Stellen Sie sich vor, Sie fliegen mit einem Flugzeug. Wenn Sie auf einer flachen Karte in einer geraden Linie fliegen, könnten Sie gegen einen Berg krachen. Wenn Sie jedoch entlang eines Großkreises fliegen (dem kürzesten Weg auf einem Globus), folgen Sie der natürlichen Krümmung der Erde.
- FRInGe fliegt entlang der „gekrümmten Autobahn" des Vertrauens der KI. Es bewegt sich reibungslos von „totaler Verwirrung" zu „totaler Gewissheit" auf eine Weise, die respektiert, wie die KI tatsächlich denkt, und vermeidet die felsigen, uninformative Bereiche.

3. Die Übersetzung: Der „Übersetzer"

Hier wird es knifflig: Die KI lebt in der „Vorhersagewelt", aber wir müssen Ihnen die Erklärung in der „Bildwelt" (Pixel) zeigen.

Der Ansatz von FRInGe: Es verwendet eine Pullback-Metrik.
- Die Analogie: Stellen Sie sich vor, Sie gehen über ein unebenes, holpriges Gelände (die Vorhersagewelt). Sie möchten wissen, wie Ihre Schritte auf eine flache Karte (das Bild) übertragen werden. FRInGe fungiert als intelligenter Übersetzer. Es sagt: „Um einen glatten Schritt in der Vorhersagewelt zu machen, muss ich einen spezifischen, leicht gekrümmten Schritt in der Bildwelt machen."
- Es verwendet auch eine Vertrauenszone (eine Sicherheitsleine). Wenn die Übersetzung versucht, in der Bildwelt zu weit zu springen (was wie ein fehlerhaftes, seltsames Bild aussehen würde), zieht die Leine sie zurück, um die Schritte klein und stabil zu halten.

Warum ist das besser?

Das Papier testete dies an sechs verschiedenen berühmten KI-Modellen (wie ResNet und VGG) mit Tausenden von Bildern.

Bessere Kalibrierung (Der „Wahrheitsmesser"): Der größte Gewinn für FRInGe ist, dass seine Erklärungen besser mit dem Vertrauen der KI übereinstimmen.
- Die Analogie: Wenn die KI zu 90 % sicher ist, dass es eine Katze ist, sollte eine gute Erklärung 90 % der „Katzenhaftigkeit" im Bild zeigen. Alte Methoden zeigten oft zu viel oder zu wenig. Die „Masse" der Erklärung von FRInGe ist perfekt auf das Vertrauen der KI kalibriert.
Weniger Rauschen: Da es die „gerade Linie" durch schlechte Bereiche vermeidet, sind die resultierenden Erklärungskarten sauberer. Sie konzentrieren sich auf das eigentliche Objekt (die Katze) und nicht auf zufälliges Rauschen.
Kein Raten von Baselines mehr: Sie müssen nicht mehr raten, wie ein „leeres" Bild aussieht. Die Methode definiert „Nichts" mathematisch im Vorhersageraum.

Der Kompromiss (Die „Kosten")

Es gibt einen Nachteil, der im Papier erwähnt wird: Geschwindigkeit.

Die Analogie: Die alte Methode (IG) ist wie das Nehmen eines Busses auf einer geraden Straße. Sie ist schnell. FRInGe ist wie das Anheuern eines Privatpiloten, der den perfekten gekrümmten Flugweg berechnen und jede Sekunde das Wetter prüfen muss. Die Berechnung der Erklärung dauert etwa 10 bis 20 Mal länger.
Die Autoren stellen jedoch fest, dass dies für die „Offline"-Nutzung in Ordnung ist – wenn Sie ein Modell tiefgehend verstehen möchten, nachdem es bereits trainiert wurde, anstatt sofort eine Erklärung zu benötigen, während die KI läuft.

Zusammenfassung

FRInGe ist eine neue Art, KI-Entscheidungen zu erklären. Anstatt eine gerade, langweilige Linie durch ein Bild zu wandern, navigiert es die interne „Vertrauenskarte" der KI entlang der glattesten, natürlichsten Kurve, die möglich ist. Es übersetzt diese glatte Reise zurück in das Bild und liefert uns Erklärungen, die genauer, besser kalibriert und weniger von willkürlichen Vermutungen abhängig sind.

Technische Zusammenfassung: FRInGe – Distribution-Space Integrated Gradients mit Fisher–Rao-Geometrie

1. Problemstellung

Gradientbasierte Attributionsmethoden, wie Integrated Gradients (IG), werden aufgrund ihrer Modelltreue und Skalierbarkeit häufig zur Erklärung von Vorhersagen tiefer neuronaler Netze eingesetzt. Jedoch leiden Standard-IG-Verfahren unter mehreren praktischen Einschränkungen, die die Stabilität und Interpretierbarkeit von Erklärungen beeinträchtigen:

Baselinesensitivität: Die Wahl der Baseline im Eingaberaum (z. B. Null-Bilder oder Rauschen) ist heuristisch und kann zu qualitativ unterschiedlichen Erklärungen führen.
Pfadartefakte: Die Standard-Interpolation entlang einer geraden Linie im Eingaberaum durchläuft oft Regionen, in denen Gradienten schlecht konditioniert sind, von Artefakten dominiert werden oder gesättigt sind.
Sättigung: Entlang standardmäßiger Pfade können Modellvorhersagen zu Beginn schnell variieren und dann in eine Sättigung übergehen, wodurch informative Gradienten in einem schmalen Segment konzentriert werden, während spätere Schritte lediglich Rauschen beitragen.
Diskretisierungsfehler: Die Approximation des Pfadintegrals durch endliche Riemann-Summen kann erhebliche Fehler verursachen, wenn Gradienten stark variieren.

Bestehende Versuche, diese Probleme zu adressieren, beinhalten oft die direkte Gestaltung von Trajektorien im Eingaberaum oder die Abhängigkeit von expliziten generativen Modellen zur Definition von Datenmanigfaltigkeiten, was die Qualität der Attribution mit der Qualität des generativen Modells vermischen kann.

2. Methodik: FRInGe

Die Autoren schlagen FRInGe (Fisher–Rao Integrated Gradients) vor, eine Methode, die den Referenzpunkt und den Interpolationsplan im Raum der Vorhersageverteilungen neu definiert, anstatt im Eingaberaum. Die Methode besteht aus drei Kernkomponenten:

A. Referenz der Vorhersageverteilung

Anstatt eine heuristische Eingabebaseline zu wählen, definiert FRInGe die Referenz im Raum der Vorhersageverteilungen. Es wird eine Maximum-Entropie-Referenz ( $q^\star = \frac{1}{C}\mathbf{1}$ ) angenommen, die eine Gleichverteilung über die Klassen darstellt. Dies operationalisiert „keine Information" direkt auf der Ebene des Modellausgangs und entfernt die Abhängigkeit von datentypspezifischen Baseline-Designs.

B. Fisher–Rao-Geodätenplan

Die Interpolation zwischen der Vorhersageverteilung des Modells $p(x)$ und der Maximum-Entropie-Referenz $q^\star$ wird als Fisher–Rao-Geodäte auf dem Wahrscheinlichkeitssimplex definiert.

Mithilfe der Quadratwurzel-Einbettung $\psi(p) = \sqrt{p}$ wird das Simplex auf den positiven Orthanten einer Einheitskugel abgebildet.
Die Geodäte wird mittels sphärischer linearer Interpolation (slerp) in diesem eingebetteten Raum berechnet, wodurch sichergestellt wird, dass der Pfad der intrinsischen Geometrie der Vorhersageverteilungen folgt.

C. Trajektorie im Eingaberaum via Pullback-Metrik

Um diese Trajektorie im Raum der Verteilungen im Eingaberaum zu realisieren, verwendet FRInGe die Pullback-Fisher-Metrik.

Geometriebewusste Schritte: Die Methode minimiert einen sphärischen Ausrichtungsverlust zwischen der aktuellen Vorhersage und dem nächsten Wegpunkt auf der Geodäte. Die Abstiegsrichtung wird unter Verwendung der Pullback-Fisher-Metrik $G(x) = J_F(x)^\top S(x) J_F(x)$ berechnet, wobei $J_F$ die Jacobi-Matrix der Logits und $S(x)$ die Fisher-Informationsmatrix der Softmax-Verteilung ist.
Trust-Region-Stabilisierung: Um numerische Stabilität zu gewährleisten und große, nicht wahrnehmbare Eingabeverzerrungen zu verhindern, wendet die Methode eine duale Trust-Region-Regel an:
1. KL-Steuerung: Begrenzt die Schrittwerte basierend auf der lokalen KL-Divergenz (approximiert durch die Fisher-Norm), um konstanten Fortschritt im Vorhersageraum sicherzustellen.
2. Euklidische Obergrenze: Setzt eine maximale euklidische Schrittwerte durch, um Instabilität in Regionen zu verhindern, in denen die Vorhersagegeometrie flach ist.
Räumliche Regularisierung: Um adversariale, hochfrequente Störungen zu unterdrücken, wird ein räumlicher Glättungsoperator (z. B. diskreter Laplace-Operator) zum linearen System hinzugefügt, das die Aktualisierungsrichtung löst.

D. Berechnung der Attribution

Feature-Attributionen werden durch Integration der Eingabe-Gradienten entlang der realisierten Trajektorie im Eingaberaum gewonnen. Da sich die Trajektorie vom Eingabewert zur Referenz bewegt, wird das kumulierte Integral negiert, um die Standardorientierung von Baseline zu Eingabe wiederherzustellen. Die Methode erfüllt die Vollständigkeit bezüglich des realisierten Endpunkts der Trajektorie.

3. Hauptbeiträge

Definition im Verteilungsraum: FRInGe ist die erste Attributionsmethode, die sowohl den IG-Referenzpunkt als auch den Interpolationsplan vollständig innerhalb des Raums der Vorhersageverteilungen unter Verwendung einer Maximum-Entropie-Referenz definiert.
Intrinsische Geometrie: Sie konstruiert den Integrationsplan als Fisher–Rao-Geodäte und vermeidet willkürliche euklidische Geraden im Eingaberaum.
Pullback-Realisierung: Sie induziert die entsprechende Trajektorie im Eingaberaum über die Pullback-Fisher-Metrik und erzeugt so ein modellbewusstes Richtungsfeld, ohne ein explizites generatives Modell der Datenmanigfaltigkeit zu benötigen.
Stabilisierungsmechanismus: Die Integration von KL-basierten Trust-Regionen und euklidischen Obergrenzen gewährleistet eine stabile numerische Realisierung des Pfads und adressiert Probleme der Sättigung und des Diskretisierungsfehlers.

4. Experimentelle Ergebnisse

Die Autoren evaluierten FRInGe an 1.000 ImageNet-Validierungsbildern über sechs Architekturen hinweg (Inception-v3, ResNet-18/50/101/152, VGG-19).

Kalibrierungsmetriken (MAS): FRInGe zeigt die signifikanteste Verbesserung bei Magnitude Aligned Scoring (MAS)-Metriken (sowohl Insertion als auch Deletion). Dies deutet darauf hin, dass FRInGe-Attributionen besser an die Konfidenzdynamik des Modells kalibriert sind; die kumulierte Attributionsmasse verfolgt eng die tatsächliche Änderung der Modellkonfidenz.
Perturbationsmetriken: FRInGe bleibt bei standardmäßigen perturbationsbasierten AUC-Werten (Insertion/Deletion) und Infidelity-Metriken konkurrenzfähig, dominiert jedoch nicht einheitlich alle Baselines (z. B. schneidet SmoothGrad bei Deletion AUC manchmal besser ab).
Vergleich mit geometrischen Baselines: FRInGe übertrifft andere geometriebewusste Methoden wie GGIG und GeoIG bei MAS und Infidelity, was darauf hindeutet, dass die Verbesserungen aus der Kombination von Vorhersageraum-Planung und Pullback-Geometrie resultieren und nicht allein aus dem Pfaddesign.
Ablationsstudien: Das Entfernen der Pullback-Geometrie (euklidisches Tracking) oder der räumlichen Regularisierung führt zu verrauschten, hochfrequenten Trajektorien und niedrigeren Kalibrierungswerten, was bestätigt, dass alle drei Komponenten (Vorhersagereferenz, Fisher-Geometrie und Regularisierung) für eine optimale Leistung notwendig sind.
Rechenkosten: FRInGe ist rechnerisch teurer als Standard-IG (erfordert konjugierte Gradienten-Lösungen in jedem Schritt), mit Laufzeiten, die je nach Architektur 4- bis 22-mal langsamer sind. Die Autoren stellen jedoch fest, dass dies für Offline-Analysen und Audits akzeptabel ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass FRInGe eine prinzipielle Alternative zu euklidischen Integrated Gradients bietet, indem es die Definition von „Fortschritt" von der Pixelraum-Distanz auf Änderungen im Vorhersagezustand des Modells verlagert.

Ausrichtung auf Modelldynamik: Der Hauptvorteil liegt in der Ausrichtung der Attributionsgröße an der internen Konfidenzdynamik des Modells. Durch das Befolgen der Fisher–Rao-Geodäte vermeidet die Methode die Sättigung und Artefakte, die bei geradlinigen Pfaden üblich sind, und erzeugt Erklärungen, die dem tatsächlichen Informationsverarbeitungsprozess des Modells treuer sind.
Modusunabhängigkeit: Durch die Definition der Referenz im Verteilungsraum (Maximum Entropy) reduziert die Methode den Bedarf an handgefertigten, datenmodus-spezifischen Baselines.
Einschränkungen: Die Autoren erkennen den Rechenaufwand als die wichtigste praktische Einschränkung an. Sie schlagen vor, dass zukünftige Arbeiten sich auf kostengünstigere strukturelle Approximationen der inversen Pullback-Metrik oder amortisierte Prädiktoren konzentrieren könnten, um die Methode zu beschleunigen.

Die Arbeit kommt zu dem Schluss, dass FRInGe erfolgreich demonstriert, dass Erklärungen, die den eigenen Vorhersagedynamiken des Modells folgen (via Fisher–Rao-Geometrie), qualitativ hochwertigere und besser kalibrierte Attributionen liefern als solche, die willkürlichen euklidischen Pfaden folgen.