🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Dieses Paper führt DECAF ein, ein neuartiges Framework, das perturbationsbasierte Modell-Erklärungen in distinkte Komponenten aus Evidenz, Kontradiktion und Fragilität zerlegt und zeigt, dass dieser trajektorienbewusste Ansatz herkömmliche, auf Magnituden basierende Attributionsmethoden hinsichtlich Genauigkeit, Effizienz und Interpretierbarkeit über diverse Vision- und Tabular-Aufgaben hinweg signifikant übertrifft.

Ursprüngliche Autoren: Lei You

Veröffentlicht 2026-08-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lei You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, warum ein Freund eine bestimmte Entscheidung getroffen hat, wie zum Beispiel die Wahl eines roten Hemdes gegenüber einem blauen. Sie könnten fragen: „Wie stark hat er auf die Farbe reagiert?“ Wenn er sofort nach dem roten Hemd griff, würden Sie sagen: „Wow, eine riesige Reaktion!“ Aber hier liegt der knifflige Teil: Eine riesige Reaktion bedeutet nicht immer dasselbe. Vielleicht hat er das rote Hemd geliebt (ein guter Grund). Vielleicht hat er das blaue Hemd so sehr gehasst, dass er das rote nahm, nur um sich davon in Sicherheit zu bringen (ein schlechter Grund). Oder vielleicht griff er nach dem roten Hemd, weil er verwirrt war, nur um halbwegs zu realisieren, dass er eigentlich das blaue bevorzugt hatte (eine flüchtige, zerbrechliche Reaktion).

Dies ist die Welt der „KI-Erklärbarkeit“ (AI explainability), ein Feld, in dem Wissenschaftler versuchen, in die „Black Box“ von Computermodellen hineinzublicken, um zu sehen, was diese denken. Lange Zeit war das Hauptwerkzeug dafür, die „Magnitude“ einer Reaktion zu messen – im Grunde, wie groß die Änderung in der Antwort der KI war, wenn man den Input leicht veränderte. Es ist, als würde man messen, wie laut eine Tür ins Schloss fällt. Aber wie dieses neue Paper aufzeigt, sagt das Wissen darüber, wie laut die Tür geknallt ist, nichts darüber aus, ob sie vor Wut, vor Freude oder durch einen Windstoß, der gar nicht richtig griff, zugeschlagen wurde. Der Autor, unter der Leitung von Lei You von der Technischen Universität Dänemark, argumentiert, dass wir die Bedeutung hinter dem Lärm ignoriert haben, und er hat einen neuen Weg entwickelt, um dies zu sortieren.

Das Paper stellt eine Methode namens DECAF vor (was für Decomposition of Evidence, Contradiction, and Fragility steht). Stellen Sie sich DECAF wie einen superintelligenten Detektiv vor, der nicht nur hört, wie laut die Tür zugeschlagen hat, sondern die ganze Geschichte beobachtet, wie die Person sich der Tür genähert hat.

So funktioniert DECAF, erklärt anhand einer einfachen Geschichte: Stellen Sie sich vor, Sie beobachten einen Zaubertrick, bei dem ein Magier eine Karte von einem König in eine Dame verwandelt.

Evidence (Evidenz): Wenn sich die Veränderung, während der Magier die Karte enthüllt, so anfühlt, als würde sie auf das Endergebnis (die Dame) hinarbeiten, nennt DECAF dies Evidence. Es ist der Teil der Reaktion, der die endgültige Entscheidung unterstützt.
Contradiction (Widerspruch): Manchmal sieht die Karte für einen kurzen Moment wie ein König aus, dann wie eine Dame, dann wieder wie ein König, bevor sie sich schließlich als Dame festlegt. Wenn die Reaktion zu irgendeinem Zeitpunkt gegen das Endergebnis läuft, nennt DECAF dies Contradiction. Es ist, als würde die KI sagen: „Warte, ich dachte, es wäre ein König!“, bevor sie ihre Meinung ändert.
Fragility (Zerbrechlichkeit): Stellen Sie sich schließlich vor, der Magier schwenkt eine Karte, die wie eine Dame aussieht, aber wenn man genau hinsieht, ist es am Ende nur ein leeres Stück Papier. Die Karte schien sich zu verändern, aber das Endergebnis war quasi „nichts“. Wenn die KI während des Tricks stark reagiert, das Endergebnis aber praktisch Null ist, nennt DECAF dies Fragility. Es ist eine Reaktion, die nur aufgrund des gewählten Pfades existiert, nicht wegen eines echten Unterschieds.

Der Autor testete diese Idee auf verschiedene Arten. Zuerst erstellte er kontrollierte Videospiele und Rätsel, bei denen er genau wusste, was die KI tun sollte. Er fand heraus, dass DECAF erkennen konnte, wann eine KI auf eine „Abkürzung“ zurückgriff (wie das Raten basierend auf der Hintergrundfarbe) im Gegensatz zum eigentlichen Objekt. Wenn die KI eine Abkürzung nutzte, entsprach der „Evidence“-Score von DECAF perfekt diesem Verhalten. Wenn die KI verwirrt war oder ihre Meinung änderte, schoss der „Contradiction“-Score in die Höhe.

Dann übertrug er dies auf die reale Welt mit einem massiven Test unter Einbeziehung von 72 verschiedenen KI-Modellen, die Bilder aus dem ImageNet-9 Datensatz (eine Sammlung von Bildern mit unterschiedlichen Hintergründen) betrachteten. Er verglich Fälle, in denen die KI exakt dieselbe „Lautstärke“ der Reaktion aufwies, aber unterschiedliche zugrunde liegende Verhaltensweisen zeigte.

Das Ergebnis: Wenn man nur nach der Lautstärke (Magnitude) geschaut hätte, hätte man das korrekte Verhalten nur in 35,0 % der Fälle erraten können. Es war im Grunde ein Münzwurf.
Der DECAF-Fix: Als er DECAF nutzte, um nach der Art der Reaktion zu schauen (Evidence vs. Contradiction vs. Fragility), bekam er in 96,4 % der Fälle die richtige Antwort.

Das Paper entdeckte auch etwas Überraschendes darüber, wie wir Informationen an die KI weitergeben. Es testete zwei Wege, wie ein Bild gezeigt wird: einer, bei dem das gesamte Bild langsam einblendet (wie ein Blend-Effekt), und einer, bei dem das Bild Stück für Stück enthüllt wird (wie ein Puzzle). Es fand heraus, dass die Art und Weise, wie das Bild enthüllt wird, die gesamte „Lautstärke“ der Reaktion um fast 80 % veränderte. Die „Evidence“ (die guten, soliden Gründe) änderte sich jedoch kaum. Stattdessen explodierte die „Fragility“ (der verwirrende, pfadabhängige Lärm) und wuchs um mehr als das Vierfache. Dies beweist, dass die Gesamtgröße einer Reaktion irreführend sein kann; sie sagt oft nur aus, wie empfindlich die KI auf die Methode der Bildpräsentation reagiert, nicht auf das Bild selbst.

Schließlich zeigte der Autor, dass DECAF unglaublich effizient ist. Bei einem riesigen KI-Modell mit 1 Milliarde Parametern (einem DINOv2-Modell) konnte DECAF seine Aufgabe mit 4,75-mal weniger Zeit und 2,36-mal weniger Speicher als andere populäre Methoden erledigen, während es seine Arbeit ebenso gut verrichtete.

Zusammenfassend lässt sich sagen, dass das Paper nahelegt, dass wir uns zu sehr darauf konzentriert haben, wie viel eine KI reagiert, und nicht genug darauf, was diese Reaktion bedeutet. Indem es Reaktionen in Evidence (Unterstützung), Contradiction (Widerspruch) und Fragility (flüchtiger Lärm) unterteilt, liefert DECAF ein viel klareres, ehrlicheres Bild davon, was diese digitalen Gehirne tatsächlich denken. Es ist ein Werkzeug, das nicht nur das Schlagen der Tür misst, sondern hilft zu verstehen, warum sie überhaupt geschlagen hat.

Technisches Resümee: DECAF – Dekomposition von Evidenz, Kontradiktion und Fragilität in Perturbations-Antworten

1. Problemstellung

Perturbationsbasierte Erklärungsverfahren interpretieren Modellentscheidungen, indem sie die Änderungen der Vorhersagen unter veränderten Eingaben messen. Es besteht jedoch eine fundamentale semantische Lücke: Die Standardmetrik, die Antwortmagnitude (die absolute Differenz der Vorhersagen), quantifiziert zwar, wie viel ein Modell reagiert, erklärt aber nicht, was diese Reaktion bedeutet.

Das Paper identifiziert, dass identische Antwortmagnituden aus drei unterschiedlichen Verhaltensregimen resultieren können:

Alignment (Ausrichtung): Die Reaktion unterstützt den finalen faktisch–kontrafaktischen Unterschied.
Opposition (Gegensatz): Die Reaktion steht dem finalen Unterschied entgegen (z. B. suggeriert ein Zwischenschritt ein Ergebnis, während der Endzustand ein anderes nahelegt).
Fragility (Fragilität): Die Reaktion ist entlang des Perturbationspfads stark, verschwindet jedoch am Endpunkt, was auf eine Sensitivität gegenüber dem Enthüllungsprozess hindeutet, statt auf einen bedeutsamen finalen Effekt.

Die Behandlung dieser unterschiedlichen Verhaltensweisen als äquivalent verschleiert kritische interpretative Informationen. Bestehende Methoden reduzieren komplexe Trajektorien oft auf einen einzelnen Skalar oder verlassen sich auf gradientenbasierte interne Signale, wodurch die semantische Rolle intermediärer Antworten relativ zum finalen Kontrast verloren geht.

2. Methodik: DECAF

Der Autor führt DECAF (Decomposition of Evidence, Contradiction, And Fragility) ein, ein modellagnostisches Framework, das paarweise Perturbationsantworten in drei semantische Komponenten zerlegt.

Formale Einrichtung

Gegeben sei eine Modell-Score-Funktion $q$ , ein faktischer Input $x^+$ und ein Kontrafaktum $x^-$ . Der finale Kontrast ist $d = q(x^+) - q(x^-)$ . Eine paarweise Enthüllungstrajektorie $(x^+(t), x^-(t))$ für $t \in [0, 1]$ beginnt in einem uninformativen Zustand $x^0$ und schreitet zu den Endpunkten voran. Die signierte Stufenantwort ist $r(t) = q(x^+(t)) - q(x^-(t))$ .

Semantisches Routing

DECAF nutzt den finalen Kontrast $d$ als semantische Referenz, um die intermediären Antworten $r(t)$ zu routen:

Gate ( $a$ ): Ein binäres Gate bestimmt, ob der finale Kontrast bedeutsam ist ( $|d| \ge \epsilon$ ).
Orientierung ( $s$ ): Das Vorzeichen von $d$ ( $s = \text{sign}(d)$ ) definiert die „korrekte“ Richtung.
Dekomposition: Die Antwort wird in drei Komponenten zerlegt:
- Evidence (Evidenz) ( $E$ ): Antworten, die mit der finalen Richtung übereinstimmen, wenn der finale Kontrast aktiv ist ( $a=1, s \cdot r(t) > 0$ ).
- Contradiction (Kontradiktion) ( $C$ ): Antworten, die der finalen Richtung entgegenstehen, wenn der finale Kontrast aktiv ist ( $a=1, s \cdot r(t) < 0$ ).
- Fragility (Fragilität) ( $F$ ): Antworten, die auftreten, wenn der finale Kontrast vernachlässigbar ist ( $a=0$ ), was eine Sensitivität repräsentiert, die nicht bis zum Endpunkt persistiert.

Die Dekomposition ist verlustfrei: $|r(t)| = e(t) + c(t) + f(t)$ . Die aggregierten Metriken sind die Erwartungswerte dieser Komponenten über die Trajektorie und den Datensatz.

Theoretische Grundlagen

Das Paper beweist, dass unter drei operationalen Axiomen – Konservierung (keine Magnitude geht verloren), Endpunkt-Gating (Fragilität ist auf vernachlässigbare Endpunkte isoliert) und Direktionale Unterstützung (Evidenz/Kontradiktion werden durch das Vorzeichen getrennt) – dieses Routing eindeutig ist. Darüber hinaus ist DECAF eine strikte Verfeinerung der gewöhnlichen Magnitude; während die Magnitude aus DECAF abgeleitet werden kann ($Abs = E + C + F$), ist das Umkehrverfahren unmöglich, da unterschiedliche Verhaltensprofile (z. B. reine Evidenz vs. reine Kontradiktion) identische Magnituden erzeugen können.

3. Kernbeiträge

Problemidentifikation: Explizite Definition der semantischen Lücke in Perturbations-Erklärungen, bei der die Magnitude versagt, zwischen Ausrichtung, Umkehrung und pfadabhängiger Sensitivität zu unterscheiden.
Paired Reveal Interface: Einführung eines Frameworks zur Verfolgung faktisch–kontrafaktischer Kontraste entlang passender Trajektorien, während Informationen sukzessive enthüllt werden.
DECAF-Algorithmus: Eine verlustfreie, eindeutige Dekomposition von Antworten in Evidenz, Kontradiktion und Fragilität basierend auf endpunktbezogener Semantik. Es erfordert keine Gradienten, internen Aktivierungen oder gelernten Explainer-Modelle.
Verhaltensvalidierung: Nachweis, dass diese Komponenten unabhängig gemessene Verhaltensweisen (Shortcut-Abhängigkeit, Effektumkehrung und Pfad-Sensitivität) über neuronale, lineare und baumbasierte Modelle hinweg verfolgen.
Praktischer Nutzen: Demonstration, dass DECAF die Antwort-Semantik selbst dann wiederherstellt, wenn die Magnituden angeglichen sind, und stabile protokollübergreifende Diagnosen liefert.

4. Experimentelle Ergebnisse

Kontrollierte Validierung (3D-Formen & Covertype)

Evidenz: In Vision-Aufgaben mit korrelierten Shortcuts (z. B. Wandfarbe vs. Objektform) korreliert die Komponente Evidence ( $E$ ) stark (Spearman $\rho = 0,936$ ) mit der Anfälligkeit eines Modells für Shortcut-Umkehrungen.
Fragilität: In Aufgaben, die eine Sensitivität gegenüber Zwischenzuständen induzieren (z. B. Änderungen der Bodenfarbe), verfolgt die Komponente Fragility ( $F$ ) die Rate der Vorhersageänderungen bei Endpunkt-Null-Paaren ( $\rho = 0,974$ ).
Kontradiktion: In Aufgaben, bei denen sich ein Effekt unter Kontextänderung umkehrt, verfolgt Kontradiktion ( $C$ ) die Label-Swap-Rate ( $\rho = 0,961$ ), während die gewöhnliche Magnitude versagt ( $\rho = -0,036$ ).
Tabellarischer Transfer: Auf dem Covertype-Datensatz verfolgen die DECAF-Komponenten erfolgreich Erhaltung, Inversion und Endpunkt-Null-Änderungen über 135 Klassifikatoren (linear, Baum und neuronal) hinweg und übertreffen dabei SHAP und andere Baselines in der Identifikation von Mechanismen.

Real-World-Audit (ImageNet-9)

Semantische Rekonstruktion: In einem 72-Modell-Zoo (24 fertige ImageNet-1k Modelle und 48 feinabgestimmte ImageNet-9 Modelle) identifiziert DECAF korrekt die dominante Verhaltensrolle (Evidenz, Kontradiktion oder Fragilität) in 96,4 % der Fälle, in denen die Modelle nahezu identische Antwortmagnituden aufweisen. Im Gegensatz dazu erreicht die Magnitude allein nur eine Genauigkeit von 35,0 %.
Pfadsensitivität: Die Änderung des Enthüllungspfads (z. B. von einem globalen Blend zu einer Patch-für-Patch-Enthüllung) erhöhte die gesamte Antwortmagnitude um fast 80 %, wobei dieser Anstieg fast ausschließlich durch Fragilität und Kontradiktion getrieben wurde, während die Evidenz stabil blieb. Dies zeigt, dass eine höhere Magnitude nicht zwangsläufig eine stärkere Evidenz impliziert.
Ranking-Stabilität: Rankings von Modellen basierend auf gewöhnlicher Magnitude waren über verschiedene Enthüllungspfade hinweg hochgradig instabil ( $\rho \approx 0,17$ ), während Rankings basierend auf Evidenz und Kontradiktion stabil blieben ( $\rho > 0,77$ ).

Attributions-Benchmarks & Skalierung

Leistung: Auf FunnyBirds und ImageNet-1k übertrafen kurze Forward-only DECAF-Trajektorien (3–9 Stufen) die getesteten allgemeinen Attributions-Baselines (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Effizienz: Bei einem 1B-Parameter DINOv2-Modell erreichte eine kurze DECAF-Trajektorie die Qualität einer starken gradientenbasierten Baseline (Integrated Gradients) bei 4,75-mal geringerer Wall-Time und 2,36-mal niedrigerem Peak-Speicherbedarf, da DECAF nur Forward-Passes benötigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DECAF eine semantische Ambiguität adressiert, die in Perturbations-Methoden inhärent ist. Durch die Dekomposition der Antwort-Trajektorie relativ zum finalen Kontrast offenbart es, welche Art von Antwort eine gegebene Magnitude erzeugt hat.

Interpretierbarkeit: Es unterscheidet zwischen einem Modell, das konsistent auf ein Merkmal vertraut (Evidenz), einem Modell, das verwirrt ist oder seine Entscheidung umkehrt (Kontradiktion), und einem Modell, das sensitiv auf den spezifischen Pfad der Enthüllung, aber nicht auf den Endzustand reagiert (Fragilität).
Robustheit: Die Komponenten bieten stabilere Diagnosen über verschiedene Perturbationsprotokolle hinweg als die rohe Magnitude.
Effizienz: Es bietet eine hochwertige, modellagnostische Erklärungs-Methode, die effizient auf große Modelle skaliert, ohne Gradienten oder internen Zugriff zu benötigen.

Der Autor betont, dass diese Rollen relativ zum gewählten Kontrafaktum-Paar, dem Score und dem Enthüllungspfad sind; sie inferieren keine latenten kausalen Mechanismen, sondern beschreiben das beobachtbare Verhalten der Modellantwort auf eine spezifische Intervention. Die Arbeit legt nahe, dass zukünftige Erklärungsbemühungen über skalare Magnituden hinausgehen sollten, um die semantische Zusammensetzung der Antwort-Trajektorie zu berücksichtigen.