🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

Dieses Paper stellt GradSkip vor, eine neuartige Methode zur Relevanzpropagation für Vision Transformer, die durch die adaptive Gewichtung von Attention-Heads und die dynamische Verteilung der Relevanz über Residualverbindungen die Treue und Lokalisierung verbessert und dabei eine State-of-the-Art-Leistung mit über 14-mal weniger GFLOPs als bestehende Ansätze erzielt.

Ursprüngliche Autoren: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein super-intelligentes Robotergehirn namens Vision Transformer (ViT). Es ist fantastisch darin, Bilder anzusehen und zu erkennen, was darin zu sehen ist – wie zum Beispiel das Entdecken eines Marienkäfers oder eines Lastwagens. Aber das Problem ist: Der Roboter ist ein wenig wie eine „Black Box“. Man kann ihn fragen: „Warum hast du gedacht, dass das ein Lastwagen ist?“, und er antwortet nur: „Weil ich es eben so gesagt habe.“ Er zeigt einem nicht, welche Teile des Bildes ihn zu dieser Entscheidung geführt haben.

Wissenschaftler haben versucht, in das Gehirn des Roboters hineinzuschauen, um zu verstehen, wie er denkt, aber ihre alten Werkzeuge waren wie ein Vorschlaghammer, um eine Nuss zu knacken. Sie behandelten jeden Teil des Robotergehirns so, als wäre er gleichermaßen wichtig, und ignorierten die „Abkürzung“-Drähte, durch die Informationen einfach hindurchsausen konnten, ohne verändert zu werden. Das machte die Erklärungen unordentlich und oft falsch.

Hier kommt GradSkip ins Spiel, ein neues, schickes Werkzeug, das von Christopher Buratti und seinem Team erfunden wurde, um dieses Chaos zu beheben. Stellen Sie sich GradSkip wie einen klugen Detektiv vor, der nicht einfach das ganze Gehirn auf einmal betrachtet, sondern genau weiß, welche Neuronen die schwere Arbeit leisten und welche gerade nur ein Nickerchen machen.

Die zwei großen Fehler, die alte Werkzeuge machten

Das Paper weist auf zwei große Fehler hin, die frühere Detektive machten:

Der „Alle sind gleich“-Fehler: Stellen Sie sich einen Chor vor, in dem einige Sänger Solisten sind, die perfekte hohe Töne treffen, während andere nur im Hintergrund summen. Alte Werkzeuge behandelten jeden Sänger so, als würde er mit der gleichen Lautstärke singen. GradSkip erkennt, dass einige „Attention Heads“ (die Chorabschnitte) super wichtig für die Entscheidung sind, während andere nur Rauschen sind. Es lernt, den Solisten zuzuhören und das Summen zu ignorieren.
Der „Abkürter“-Fehler: Transformer besitzen diese coolen „Skip Connections“ – wie ein Geheimtunnel, der es einer Nachricht ermöglicht, ein ganzes Zimmer zu überspringen und direkt in das nächste zu gelangen. Alte Werkzeuge behandelten diese Tunnel so, als wären sie nur leere Flure, die nichts verändern würden. Aber manchmal verändert sich die Nachricht im Hauptraum, und manchmal tut sie es nicht. GradSkip ist das erste Werkzeug, das prüft: „Hat diese Nachricht den Tunnel genommen, oder wurde sie im Hauptraum transformiert?“ Es findet heraus, wie viel Anerkennung es jedem Pfad genau geben muss.

Wie GradSkip das Rätsel löst

GradSkip nutzt eine clevere Zwei-Schritte-Strategie, um herauszufinden, was der Roboter denkt:

Schritt 1: Der „Wer ist wer“-Filter: Es schaut in das Gehirn des Roboters und fragt: „Welche Attention Heads leisten tatsächlich die Arbeit?“ Es nutzt einen speziellen mathematischen Trick (eine Kombination aus Gradientenfluss und einem „Sparsity“-Maß, ähnlich der Prüfung, wie fokussiert ein Scheinwerferlicht ist), um die wichtigsten Heads auszuwählen. Es ist wie ein Türsteher in einem Club, der nur die coolen, relevanten Neuronen reinlässt und die störenden rauswirft.
Schritt 2: Der „Pfad-Teiler“: Wenn der Detektiv den Denkprozess rückwärts verfolgt, teilt er die „Relevanz“ (die Anerkennung für die Entscheidung) zwischen dem Hauptpfad und dem Skip-Pfad auf. Wenn der Roboter die Information hauptsächlich nur durchgereicht hat, ohne sie zu verändern, gibt GradSkip den Großteil der Anerkennung an den Skip-Pfad. Wenn der Roboter jedoch viel nachgedacht hat, gibt es die Anerkennung dem Hauptpfad. Dies ist eine dynamische, faire Art, die Anerkennung zu verteilen.

Der Beweis: Es funktioniert, und es ist schnell!

Das Team testete GradSkip an einer Vielzahl von Bildern, von einem Standarddatensatz mit 1.000 Bildern (ImageNet1K) bis hin zu medizinischen Blutzellfotos (BloodMNIST). Sie testeten es auch bei einer Aufgabe, bei der der Roboter jeden Teil eines Bildes farblich kodieren muss (Segmentierung).

Hier ist das, was sie herausfanden:

Es ist die ehrlichste Erklärung: Als sie testeten, wie gut die Erklärungen mit den tatsächlichen Entscheidungen des Roboters übereinstimmten, war GradSkip am besten. Beim ImageNet1K-Test übertraf es die zweitbeste Methode um 12,50 % in einem Schlüsselmetrik. Beim Test mit medizinischen Blutzellen war es ebenso gut.
Es ist unglaublich präzise: Als sie den Roboter baten, auf das Objekt zu zeigen, war GradSkip am genauesten.
Es ist ein Geschwindigkeits-Dämon: Das ist der coolste Teil. Die alten, genauen Methoden waren wie das Fahren eines Panzers – sie funktionierten großartig, verbrauchten aber eine Menge Treibstoff. GradSkip ist wie ein eleganter Sportwagen. Es benötigt 14,45-mal weniger GFLOPs (ein Maß für die Rechenarbeit) als die zweitbeste genaue Methode. Für die Klassifizierung benötigte es nur 69,39 GFLOPs, und für die Segmentierung nur 28,52 GFLOPs.

Was GradSkip NICHT ist

Das Paper ist sehr deutlich darüber, was GradSkip nicht tut:

Es funktioniert nicht, wenn man nicht in das Gehirn des Roboters schauen kann. Man muss in der Lage sein, einen „Backward Pass“ (das Überprüfen der Gradienten) durchzuführen, damit es funktionieren kann; es kann also nicht für Modelle verwendet werden, bei denen man die internen Zahnräder nicht sehen kann.
Es behebt nicht magisch alles. In einigen schwierigen Fällen, wie etwa wenn es mehrere Objekte derselben Art in einem Bild gibt, ist es immer noch sehr gut, aber das Paper gibt zu, dass es schwieriger ist, perfekte Ergebnisse zu erzielen.
Es betrachtet nicht den „CLS-Token“ (ein spezielles Token, das einige Roboter verwenden, um das gesamte Bild zusammenzufassen). Die Autoren merken an, dass das Ignorieren dieses Tokens bei Standard-Robotern, die diesen Token nutzen, dazu führen könnte, dass man einige Hinweise verpasst, aber für andere Typen (wie SegFormer) funktioniert es perfekt.

Das Fazit

GradSkip ist nicht nur eine kleine Anpassung; es ist eine intelligentere Art, dem Roboter zuzuhören. Indem es erkennt, dass nicht alle Gehirnteile gleich sind, und indem es die „Abkürzungs“-Drähte respektiert, bietet es uns einen klaren, ehrlichen und superschnellen Einblick in die Art und Weise, wie Vision Transformer Entscheidungen treffen. Die Autoren deuten an, dass dies ein Wendepunkt für Bereiche wie die medizinische Bildgebung sein könnte, in denen das Verständnis darüber, warum ein Roboter eine Diagnose gestellt hat, genauso wichtig ist wie die Diagnose selbst. Und das Beste daran? Es erledigt all das, ohne dass man einen Supercomputer dafür benötigt.

Technisches Resümee: Gradient-Skipping Relevance Propagation für effiziente Erklärbarkeit von Vision Transformern

1. Problemstellung

Vision Transformer (ViTs) haben eine State-of-the-Art-Leistung in der Computer Vision erreicht, bleiben jedoch schwer interpretierbar. Bestehende Erklärbarkeitsmethoden – kategorisiert in gradientenbasierte, auf Attention basierende und perturbationsbasierte Ansätze – leiden unter erheblichen Einschränkungen bei der Anwendung auf Transformer-Architekturen.

Die identifizierten Kernprobleme sind:

Einheitliche Behandlung von Heads: Die meisten auf Attention basierenden Ansätze gehen davon aus, dass alle Attention-Heads eine gleichmäßige Bedeutung besitzen. Die Literatur zeigt jedoch, dass Heads heterogene Rollen spielen; einige kodieren semantisch fokussierte Muster, während andere diffus aufmerksam sind. Eine einheitliche Behandlung verwässert die Erklärung durch das Vermischen von informativen und uninformativen Signalen.
Vernachlässigung von Residualverbindungen: Bestehende Methoden modellieren Skip-Connections oft als Identitätspfade oder verwenden feste Heuristiken. Dies versäumt es, zwischen Relevanz zu unterscheiden, die der gelernten Transformation zugeschrieben wird, und Relevanz, die lediglich entlang des Identitätspfades erhalten bleibt, was zu einer ungenauen Relevanzattribution führt.
Effizienz- vs. Treue-Trade-off (Efficiency vs. Faithfulness): Gradientenbasierte Methoden sind rechentechnisch günstig, leiden aber unter instabilen Attributionen in tiefen Transformern. Perturbationsbasierte Methoden bieten eine hohe Treue (Faithfulness), erfordern jedoch einen massiven Rechenaufwand (tausende Vorwärtsdurchläufe). Auf Attention basierende Methoden sind effizient, lassen aber oft eine kausale Zuverlässigkeit vermissen.

2. Methodik: GradSkip

Um diese Einschränkungen zu adressieren, schlagen die Autoren GradSkip vor, eine Methode zur Relevanzpropagation, die zwei konzeptionelle Innovationen einführt: adaptive Head-Gewichtung und Skip-Connection-bewusste Propagation.

2.1 Adaptive Attention Head Gewichtung

Anstatt alle Heads zu mitteln, berechnet GradSkip dynamische, head-spezifische Gewichtungsfaktoren ( $\omega^l_q$ ) durch die Kombination zweier komplementärer Metriken:

Gradientenbasierte Flow-Metrik ( $\tilde{g}^l_q$ ): Diese quantifiziert den kausalen Einfluss eines Heads auf die Entscheidung des Modells, indem sie die Gradientengröße gewichtet nach Attention-Scores misst. Ein Schwellenwertmechanismus filtert Heads mit vernachlässigbarem Gradientenfluss heraus, um Rauschen zu reduzieren.
Gini-basierte Sparsitäts-Metrik ( $\tilde{s}^l_q$ ): Diese erfasst den räumlich-semantischen Fokus eines Heads. Der Gini-Koeffizient wird auf den sortierten Attention-Werten berechnet; hohe Gini-Koeffizienten deuten auf "gespitzte" (spiked) Attention-Muster hin (fokussiert auf spezifische Regionen) und unterscheiden sie von diffusen Verteilungen.

Die endgültige Gewichtung ist eine konvexe Kombination: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ , wobei $\alpha$ die Balance zwischen kausaler Relevanz und räumlicher Kohärenz steuert.

2.2 Skip-Connection-bewusste Relevanzpropagation

GradSkip modelliert explizit die Residualstruktur der Transformer-Blöcke während der Rückwärtspropagation. Anstatt den Skip-Pfad als festen Identitätspfad zu behandeln, partitioniert GradSkip die Relevanz dynamisch zwischen dem Attention-Transformationspfad und dem Skip-Connection-Pfad basierend auf deren relativem kausalem Beitrag.

Der Beitrag jedes Pfades wird mittels gradientengewichteter Aktivierungsgrößen quantifiziert:

$\beta^l_{main}$ : Das normalisierte Relevanz-Gate für den Haupt-Attention-Pfad.
$\beta^l_{skip}$ : Das komplementäre Gate für die Skip-Connection ( $1 - \beta^l_{main}$ ).

Die Relevanz bei Schicht $l-1$ wird berechnet als:
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
wobei $\tilde{W}^l$ eine gewichtete Attention-Matrix ist, die Head-Wichtigkeit, Gradientengrößen und Embedding-Größen berücksichtigt. Dies stellt sicher, dass Blöcke, die primär als Identitätsabbildungen fungieren, minimal zur Erklärung beitragen und die Relevanz über die Skip-Connection bewahren.

2.3 Implementierungsdetails

Der Prozess umfasst einen einzelnen Vorwärtsdurchlauf, um Zwischenrepräsentationen, Gradienten und Attention-Maps zu erfassen, gefolgt von einem einzelnen Rückwärtsdurchlauf, um die Relevanz zu propagieren. Die Methode beinhaltet Gradienten-Reskalierung, um Fluss-Imbalancen zu adressieren und FullGrad-Vollständigkeit zu gewährleisten.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Adaptive Head-Gewichtung: Ein Mechanismus, der gradientenbasierten Flow und Gini-basierte Sparsität kombiniert, um den kausalen Einfluss und die Selektivität einzelner Attention-Heads zu erfassen und so die einheitliche Behandlung zu überwinden.
Skip-Connection-bewusste Propagation: Eine dynamische Regel, die die Relevanz zwischen Attention- und Residualpfaden basierend auf ihrem relativen kausalen Beitrag aufteilt und so die fundamentale Residualstruktur von Transformern respektiert.
Umfassende Evaluierung: Umfangreiche Experimente auf Klassifikations-Benchmarks (ImageNet1K, BloodMNIST) und Segmentierungs-Benchmarks (ADE20K-150), die eine State-of-the-Art-Treue und Lokalisierung bei signifikant reduzierten Rechenkosten demonstrieren.

4. Experimentelle Ergebnisse

4.1 Klassifikationsleistung

Evaluierung auf ImageNet1K und BloodMNIST unter Verwendung von ViT-Base und DeiT-Base Modellen:

Treue (Faithfulness): GradSkip erreichte eine State-of-the-Art-Leistung bei der Insertion-Deletion-Metrik und dem Faithfulness Violation Test. Beispielsweise übertraf GradSkip bei ImageNet1K mit ViT-Base den zweitbesten Ansatz (MUTEX) um bis zu 12,50 % bei den Insertion-Deletion-Scores.
Lokalisierung: Bei der Pointing Game-Metrik erreichte GradSkip die höchsten Scores auf ViT-Base (0,868) und kompetitive Ergebnisse auf DeiT-Base (0,831).
Effizienz: GradSkip benötigte 69,39 GFLOPs, um eine Attributionskarte zu generieren. Dies entspricht 14,45-mal weniger Operationen als MUTEX und 256,66-mal weniger als TIS, während es im Vergleich zu anderen effizienten Methoden wie LRP-Varianten eine überlegene Treue beibehält.

4.2 Segmentierungsleistung

Evaluierung auf ADE20K-150 unter Verwendung des SegFormer-Modells:

GradSkip erreichte die höchste Pixel Accuracy (PA) (0,815) und den höchsten mean Intersection over Union (mIoU) (0,371).
Es übertraf den zweitbesten Ansatz (MUTEX) um 53,94 % im mIoU.
Im Gegensatz zu Methoden wie Finer-CAM, die eine hohe PA, aber einen niedrigen mIoU aufgrund zu weit gestreckter Saliency-Maps erreichten, demonstrierte GradSkip eine überlegene Fähigkeit, klassenspezifische Regionen präzise abzugrenzen.
Effizienz: Es benötigte lediglich 28,52 GFLOPs, was vergleichbar mit den effizientesten LRP-basierten Methoden ist, jedoch eine signifikant höhere Segmentierungsgenauigkeit bietet.

4.3 Ablation und Analyse

Head-Sparsity: Eine statistische Analyse bestätigte eine signifikante Korrelation zwischen Attention-Sparsität (gemessen am Gini-Koeffizienten) und den Faithfulness-Scores. Die Auswahl der obersten 25 % der Heads basierend auf der Sparsität verbesserte die Leistung, während die Nutzung der untersten 25 % diese verschlechterte.
Hyperparameter: Das optimale Gleichgewicht zwischen Gradientenfluss und Sparsität wurde bei $\alpha = 0,50$ gefunden. Die ausschließliche Nutzung einer einzelnen Metrik führte zu Leistungseinbußen von bis zu 26,67 %.
Qualitative Analyse: Visualisierungen zeigten, dass GradSkip fokussierte, räumlich präzise Heatmaps erzeugt, die diskriminative Regionen (z. B. kleine Objekte wie Marienkäfer oder dünne Strukturen wie Fahnenmasten) korrekt isolieren und gleichzeitig Hintergrundrauschen unterdrücken, wodurch es konkurrierende Methoden übertrifft, die diffuse oder verstreute Aktivierungen aufweisen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass GradSkip die Lücke zwischen Recheneffizienz und Erklärungs-Treue in Vision Transformern erfolgreich schließt. Die Bedeutung liegt in:

Architektur-Bewusstsein: Durch die explizite Modellierung der heterogenen Rollen der Attention-Heads und der dynamischen Natur der Residualverbindungen liefert GradSkip Erklärungen, die besser widerspiegeln, wie das Modell die Eingabe verarbeitet.
Praktische Implementierung: Es liefert die hohe Treue, die normalerweise mit kostspieligen Perturbations-basierten Ansätzen assoziiert wird, jedoch zu einem Bruchteil des Rechenbudgets (vergleichbar mit LRP), was es für praktische Anwendungen mit begrenzten Ressourcen geeignet macht.
Robustheit: Die Methode zeigt eine konsistente Leistung über verschiedene Datensätze (allgemein und medizinisch), Modellarchitekturen (ViT, DeiT, SegFormer) und Aufgabentypen (Klassifikation und Segmentierung) hinweg.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass GradSkip Zugriff auf die Modell-Internals (Gradienten und Aktivierungen) erfordert und nicht in rein vorwärtsgerichteten, gradientenfreien Settings angewendet werden kann. Zudem verwirft die aktuelle Implementierung den CLS-Token, was die Anwendbarkeit auf Standard-ViTs einschränken könnte, bei denen der CLS-Token den globalen Kontext aggregiert, wenngleich sie direkt auf Varianten wie SegFormer anwendbar ist, die nicht darauf angewiesen sind.