🤖 machine learning

Attribution via Distributional Paths for Information Revelation

Das Papier stellt Reveal-IG vor, eine neuartige Methode zur Merkmalsattribution, die pfadbasierte Erklärungen vom Rohdatenraum in einen Raum strukturierter Sondenverteilungen verschiebt, um Informationen schrittweise offenzulegen, wodurch Vollständigkeit bewahrt wird, während Pfadartefakte vermieden werden und stabile, Vorzeichen aufweisende Attributionen für Bild- und Tabellendaten erzeugt werden.

Ursprüngliche Autoren: Kieran A. Murphy, Shameen Shrestha

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kieran A. Murphy, Shameen Shrestha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Black-Box-Maschine (eine KI), die ein Bild einer Katze betrachtet und sagt: „Das ist eine Katze!“ Sie möchten wissen, warum sie diese Entscheidung getroffen hat. Welche Teile des Bildes waren wichtig? Waren es die Ohren? Die Schnurrhaare? Oder hat sie sich durch den Hintergrund verwirren lassen?

Dies ist die Aufgabe der Merkmalsattribution (Feature Attribution): Jedem Teil des Inputs einen Score zu geben, um die Antwort der KI zu erklären.

Das Paper stellt eine neue Methode namens Reveal-IG vor. Um zu verstehen, was sie so besonders macht, schauen wir uns an, wie die alten Methoden funktionieren und wo sie stecken bleiben.

Der alte Weg: Auf einem Drahtseil gehen

Denken Sie an die traditionelle Methode (genannt Integrated Gradients) wie das Gehen auf einem Drahtseil von einem leeren weißen Bildschirm (der „Baseline“) hin zu Ihrem eigentlichen Foto.

Wie es funktioniert: Sie machen einen Schritt-für-Schritt-Weg vom leeren Bildschirm zum Foto. Bei jedem einzelnen Schritt fragen Sie die KI: „Was hältst du von dieser verschwommenen Version?“ und zeichnen ihre Reaktion auf.
Das Problem: Dieser Weg ist sehr starr. Wenn Sie in einer geraden Linie gehen, könnten Sie durch seltsame, unsinnige Bilder wandern (wie eine halb-Katze, halb-verschwommen), die die KI so noch nie gesehen hat. Die KI könnte durch diese „Geisterbilder“ verwirrt werden und Ihnen eine seltsame Erklärung liefern. Es ist, als würde man versuchen, ein Gemälde zu erklären, indem man durch einen Flur voller verzerrter Spiegel geht; die Reflexionen sagen einem vielleicht mehr über den Flur als über das Gemälde selbst.

Der neue Weg: Die „Gradual Reveal“-Party

Die Autoren dieses Papers sagen: „Hören wir auf, durch den Flur voller seltsamer Bilder zu gehen. Lassen Sie uns stattdessen eine Party feiern, bei der wir die Wahrheit langsam enthüllen.“

Reveal-IG ändert das Spiel, indem es von einem „Punkt-zu-Punkt“-Weg zu einer „distributionellen“ Enthüllung übergeht. Hier ist die Analogie:

Stellen Sie sich vor, Sie versuchen, ein geheimes Wort zu erraten.

Der alte Weg (IG): Sie bitten die KI, das Wort zu erraten, während Sie ihr jeweils einen einzelnen, leicht verschwommenen Buchstaben zeigen. Wenn der Buchstabe wie ein „P“ aussieht, aber eigentlich ein „B“ ist, die Unschärfe aber ein „P“ suggeriert, wird die KI verwirrt, und diese Verwirrung verfälscht Ihre Erklärung.
Der neue Weg (Reveal-IG): Anstatt der KI einen einzelnen, verschwommenen Buchstaben zu zeigen, zeigen Sie ihr eine Wolke aus Möglichkeiten.
- Anfang: Am Anfang ist die Wolke riesig und diffus. Sie sagt: „Es könnte jeder beliebige Buchstabe sein!“ (Hohe Unsicherheit).
- Mitte: Im Verlauf wird die Wolke kleiner und dichter. Sie sagt: „Es ist wahrscheinlich ein B, aber vielleicht auch ein R.“
- Ende: Schließlich schrumpft die Wolke zu einem einzigen, scharfen Punkt zusammen: „Es ist definitiv ein B.“

Reveal-IG bittet die KI, eine Vorhersage basierend auf dieser Wolke aus Möglichkeiten bei jedem Schritt zu treffen, anstatt basierend auf einem einzelnen verschwommenen Bild. Es verfolgt dann, wie sich das Vertrauen der KI verändert, während die Wolke immer dichter wird.

Warum ist das besser?

Das Paper behauptet, dass dieser Ansatz zwei Hauptprobleme löst:

Keine Ablenkung durch „Geister“ mehr: Da Reveal-IG eine Spanne von Möglichkeiten (die Wolke) betrachtet statt eines einzelnen seltsamen Punktes, mittelt es die Verwirrung heraus. Es lässt sich nicht von den „Geisterbildern“ täuschen, die nur auf einem geraden Pfad existieren. Es konzentriert sich auf die Information, die enthüllt wird, nicht auf die spezifischen Pixel.
Besser darin zu erkennen, was wichtig ist (und was nicht): Das Paper hat dies an tausenden Bildern getestet (wie Katzen, Hunde, Autos) und festgestellt, dass Reveal-IG viel besser darin ist, zwischen „Dieser Teil hilft der KI, ‚Katze‘ zu sagen“ (Positiv) und „Dieser Teil verwirrt die KI“ (Negativ) zu unterscheiden.
- Analogie: Alte Methoden könnten sagen: „Der Hintergrund ist wichtig!“, nur weil die KI durch einen seltsamen Schatten auf dem Pfad verwirrt wurde. Reveal-IG sagt: „Nein, der Hintergrund spielt keine Rolle; nur die Ohren und die Schnurrhaare helfen der KI tatsächlich bei der Entscheidung.“

Funktioniert es auch bei anderen Dingen?

Ja. Die Autoren haben dies auch bei „tabellarischen Daten“ getestet (wie Tabellen mit Hauspreisen oder Weinqualität).

Das Problem mit Tabellen: Man kann eine Tabelle nicht wirklich „verschwimmen“ lassen. Wenn man versucht, von einem durchschnittlichen Hauspreis zu einem spezifischen Hauspreis zu wandern, landet man vielleicht bei unmöglichen Zahlen (wie einem Haus mit 50 Schlafzimmern und einem negativen Preis).
Die Reveal-IG-Lösung: Anstatt durch unmögliche Zahlen zu wandern, verschiebt es langsam die Wahrscheinlichkeit der Merkmale. Es beginnt mit der Aussage: „Das Haus könnte überall in der Stadt sein“, und verengt es dann langsam auf: „Dieses spezifische Haus in diesem spezifischen Viertel.“ Dies hält die Erklärung in realen, möglichen Daten verankert.

Der Kompromiss

Das Paper räumt ein, dass es einen Preis gibt. Da Reveal-IG die KI tausende Male nach diesen „Wolken“ von Möglichkeiten fragen muss (anstatt nur einen einzelnen Pfad abzulaufen), dauert es etwa 7- bis 1.000-mal länger als die alten Methoden. Es ist ein langsamerer, aber sorgfältigerer Detektiv.

Zusammenfassung

Reveal-IG ist eine neue Art, KI-Entscheidungen zu erklären. Anstatt die KI zu zwingen, einem einzelnen, potenziell verwirrenden Pfad von „Nichts“ zu „Etwas“ zu folgen, enthüllt es die Information schrittweise durch eine Serie von „diffusen Wolken“, die immer schärfer werden. Dies hilft der KI, verwirrende Ablenkungen zu ignorieren, und liefert eine klarere, genauere Antwort darüber, was tatsächlich für die Entscheidung ausschlaggebend war.

Technisches Resümee: Attribution über distributionale Pfade zur Informationsenthüllung

Problemstellung
Merkmalsattributionsmethoden zielen darauf ab, Modellvorhersagen durch die Zuweisung von Wichtigkeitswerten an Eingabemerkmale zu erklären. Zwei dominante Ansätze, SHAP (Shapley Additive exPlanations) und Integrated Gradients (IG), erfüllen beide die Eigenschaft der Vollständigkeit (Completeness), was sicherstellt, dass die Attributionen der Änderung der Modellausgabe zwischen einem Referenzzustand und dem Input entsprechen. Beide weisen jedoch deutliche Einschränkungen auf:

SHAP stützt sich auf diskrete, kombinatorische Merkmalsenthüllungsoperationen. Es behandelt Merkmale entweder als vollständig unbekannt oder als vollständig beobachtet, was eine diskontinuierliche Intervention erzeugt, der es an gradueller Informationsenthüllung mangelt.
IG definiert einen kontinuierlichen Pfad im Eingaberaum (z. B. eine gerade Linie vom Baseline-Wert zum Input). Dieser Ansatz evaluiert das Modell punktweise entlang einer Trajektorie, die semantisch bedeutungslose Regionen des Eingaberaums durchqueren kann. Infolgedessen ist IG anfällig für „Pfad-Artefakte“, wie etwa „Schatten“, bei denen Merkmale, die früh im Trajektorienverlauf (nahe der Baseline) auftauchen, die Attribution des endgültigen Inputs unverhältnismäßig stark beeinflussen, selbst wenn diese Merkmale für die spezifische Vorhersage irrelevant sind.

Das Kernproblem besteht darin, dass Standard-Pfadmethoden die Rohantwort des Modells an spezifischen Punkten im Eingaberaum integrieren, ohne die Auflösung oder die Unsicherheit zu kontrollieren, mit der die Merkmale abgefragt werden.

Methodik: Reveal-IG
Die Autoren schlagen Reveal-IG vor, eine Methode, die den Pfadattributionsrahmen vom Eingaberaum auf einen Raum von strukturierten Sondierverteilungen (Probe Distributions) hebt. Anstatt eine Trajektorie von Rohwerten im Eingaberaum zu durchlaufen, durchläuft Reveal-IG eine Trajektorie von Wahrscheinlichkeitsverteilungen, die sich progressiv um den Ziel-Input ( $x^\star$ ) konzentrieren.

Distributionale Pfadformulierung:
Die Methode definiert einen Pfad durch einen Raum von Sondierverteilungen $q_\theta(z | x^\star)$ , die durch $\theta$ parametrisiert sind. Die zu dekomponierende Größe ist die erwartete Modellantwort:
$G(\theta; x^\star) = \mathbb{E}_{z \sim q_\theta(\cdot|x^\star)}[f(z)]$
Die Attribution wird durch Integration der Gradienten der erwarteten Antwort entlang des Pfades der Verteilungen erhalten:
$\Delta G = \int_S \nabla_\theta \mathbb{E}_{z \sim q_\theta(z|x^\star)}[f(z)] \cdot d\theta$
Dies bewahrt die Vollständigkeitseigenschaft von Pfadintegralen, wendet sie jedoch auf die erwartete Antwort statt auf den Rohwert an.
Design der Sonden (Probes):

Bilddaten: Die Sonde ist eine faktorisierte Gauß-Verteilung über die Pixelkanäle. Der Pfad beginnt bei einer breiten Referenz (hohe Unsicherheit, z. B. $\mu=0, \sigma=1$ ) und endet bei einer Sonde, die um das beobachtete Bild konzentriert ist. Die Endvarianz ( $\sigma_{final}$ ) kann fixiert oder adaptiv basierend auf der Rauschskala gewählt werden, bei der die Ziel-Logit des Modells stabil bleibt.
Tabulardaten: Da eine lineare Interpolation im Tabularraum oft semantisch ungültig ist, wird die Sonde über empirische Randverteilungen aus den Trainingsdaten definiert. Ein temperaturgesteuerter Ähnlichkeitskern überführt die Verteilung von der empirischen Randverteilung hin zu einer konzentrierten Verteilung um den beobachteten Merkmalswert $x^\star_i$ . Der Pfad wird durch eine Verringerung der Temperatur definiert, wodurch Informationen über die Merkmale schrittweise enthüllt werden.

Gradientenschätzung:
Die Gradienten werden in Bezug auf die Sondeparameter $\theta$ berechnet, nicht auf die Eingabewerte.

Für differenzierbare Modelle und Gauß-Sonden ermöglicht der Reparametrisierungstrick ( $z = \mu + \sigma\epsilon$ ) eine effiziente Gradientenschätzung mittels automatischer Differenzierung.
Für nicht-differenzierbare Modelle (z. B. Baum-Ensembles) oder Tabulardaten mit empirischen Sonden verwendet die Methode einen Black-Box-Schätzer. Dabei werden Merkmalswerte aus dem Trainingsdatensatz gezogen und gemäß der Sondeverteilung gewichtet, was eine Gradientenschätzung ohne die Notwendigkeit der Differenzierbarkeit des Modells ermöglicht.

Zentrale Beiträge

Gehobene Pfadintegration (Lifted Path Integration): Das Papier führt einen Rahmen ein, in dem die Pfadintegration über einen Raum strukturierter Verteilungen statt über rohe Eingabepunkte erfolgt. Dies ermöglicht die Kontrolle über die „Auflösung“, mit der Merkmale abgefragt werden.
Kontinuierliche Informationsenthüllung: Reveal-IG bietet ein kontinuierliches Analogon zur diskreten Merkmalsenthüllung von SHAP, indem es die abrupte Einbeziehung von Merkmalen durch einen differenzierbaren Pfad von hoch-unsicheren Sonden zu konzentrierten Sonden ersetzt.
Domänenadaptivität: Der Rahmen wird sowohl für die Bildklassifikation (unter Verwendung von Gauß-Sonden) als auch für die Tabular-Regression (unter Verwendung von empirischen Rand-Sonden) instanziiert, was zeigt, dass die „gehobene“ Sicht eine gemeinsame Sprache für die Attribution über Domänen mit unterschiedlichen geometrischen Strukturen hinweg bietet.
Artefakt-Minimierung: Durch die Mittelung der Modellantworten über breite Verteilungen in den frühen Stadien des Pfades verdünnt die Methode den Einfluss entfernter oder baseline-naher Strukturen, die typischerweise die „Schatten“-Artefakte in Standard-IG verursachen.

Experimentelle Ergebnisse

Synthetische Diagnostik: In 2D-Kontroll-Experimenten vermeidet Reveal-IG die „Schatten“-Artefakte, die bei IG auftreten (wo die Attribution durch Merkmale beeinflusst wird, die weit vom Punkt von Interesse entfernt liegen), sowie die achsenparallele strukturelle Verzerrung von SHAP. Es erzeugt Attributionsfelder, die zwischen den Extremen von SHAP und IG interpolieren, je nachdem, wie die Granularität des Enthüllungspfades verändert wird.
Bildklassifikation (ImageNet): In der Evaluierung von ResNet-50 und ViT-B/16 erreicht Reveal-IG State-of-the-Art oder Near-State-of-the-Art-Leistung.
- Es übertrifft die Baselines signifikant auf Metriken, die den Vorzeichen der Attribution nutzen (z. B. Positive-Evidence Insertion/Deletion und Sensitivity-n), was auf eine bessere Unterscheidung zwischen Merkmalen hindeutet, die die Zielklasse unterstützen versus unterdrücken.
- Es bleibt wettbewerbsfähig auf größenbasierten Metriken (z. B. RMA), obwohl Methoden wie Blur-IG und IDG starke Konkurrenten für unvorzeichenbehaftete Salienzaufgaben sind.
- Eine Analyse der Akkumulation der Attribution entlang des Pfades zeigt, dass Reveal-IG den Großteil der Attribution spät im Verlauf zuweist (wenn sich die Sonde konzentriert), während IG viel seiner Attribution früh zuweist, nahe der Baseline.
Tabulare Regression: Evaluierung auf den Datensätzen Bike Sharing, California Housing und Wine Quality.
- Reveal-IG ist konsistent stark bei metrischen Verfahren zur Richtungsbestimmung (signed attribution consistency) und bei Sensitivity-max (Stabilität).
- Während KernelSHAP und Feature Ablation bei Suffizienz/Komprehensivität (Metriken, die nativ zu Perturbationsmethoden gehören) konkurrenzfähig bleiben, bietet Reveal-IG einen vorteilhaften Kompromiss, indem es eine Performance bietet, die der von Perturbationsmethoden nahekommt, bei gleichzeitig deutlich höherer Stabilität und einem natürlicheren Pfad für Tabular-Daten, der ungültige lineare Interpolationen vermeidet.

Bedeutung und Behauptungen
Das Paper behauptet, dass Reveal-IG die Pfadattribution als ein Glättungsproblem neu definiert. Während Methoden wie Blur-IG den Eingaberaum glätten (grob-zu-fein), glättet Reveal-IG die Modellantwort, indem es Vorhersagen über Verteilungen mit abnehmender Unsicherheit integriert.

Die Autoren argumentieren, dass die Wahl des Pfadraums bestimmt, welche Teile des Input-Output-Verhaltens des Modells in die Erklärung einfließen. Durch den Übergang vom Eingaberaum zum Verteilungsraum ermöglicht Reveal-IG:

Kontrollierte Auflösung: Die Fähigkeit, das Modell auf unterschiedlichen Skalen von Information abzufragen.
Domänenspezifische Sonden: Die Flexibilität, Sonden zu definieren, die die Struktur der Daten respektieren (z. B. empirische Randverteilungen für Tabular-Daten), ohne willkürliche geometrische Interpolationen aufzuzwingen.
Robustheit: Eine Reduktion von pfadabhängigen Artefakten, was zu stabileren und semantisch bedeutsameren Attributionen führt, insbesondere hinsichtlich des Vorzeichens der Merkmalswichtigkeit.

Das Paper räumt Einschränkungen ein, darunter den erhöhten Rechenaufwand (etwa 7-mal langsamer als IG für Bilder und bis zu 1000-mal langsamer für Tabular-Daten aufgrund von Monte-Carlo-Sampling) sowie die Annahme faktorisierter Verteilungen, die Korrelationen zwischen Merkmalen vernachlässigt. Es postuliert jedoch, dass dieser Trade-off zu einem robusteren und interpretierbareren Attributionsrahmen führt, insbesondere für Aufgaben, bei denen das Vorzeichen der Attribution entscheidend ist.