🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

Dit artikel introduceert GradSkip, een nieuwe methode voor relevantiepropagatie voor Vision Transformers die de getrouwheid en lokalisatie verbetert door aandachtskoppen adaptief te wegen en relevantie dynamisch te verdelen via residuele verbindingen, waarmee een staat van de kunst wordt bereikt met meer dan 14 keer minder GFLOPs dan bestaande benaderingen.

Oorspronkelijke auteurs: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robotbrein hebt, een Vision Transformer (ViT). Het is geweldig in het bekijken van plaatjes en het vertellen wat erin te zien is—zoals het spotten van een lievekop of een vrachtwagen. Maar er is een probleem: de robot is een beetje een "black box". Je kunt hem vragen: "Waarom dacht je dat het een vrachtwagen was?" en hij zegt alleen maar: "Omdat ik dat zeg." Hij laat je niet zien welke delen van de afbeelding hem tot die beslissing hebben gebracht.

Wetenschappers hebben geprobeerd in de robothersenen te gluren om te zien hoe hij denkt, maar hun oude gereedschappen waren als het gebruik van een sloophamer om een walnoot te kraken. Ze behandelden elk deel van de robothersenen alsof ze even belangrijk waren, en ze negeerden de "shortcut"-draden die informatie razendsnel doorlieten zonder deze te veranderen. Dit maakte de uitleg rommelig en vaak foutief.

Maak kennis met GradSkip, een nieuw, flitsend hulpmiddel uitgevonden door Christopher Buratti en zijn team om deze puinhoop op te lossen. Denk aan GradSkip als een slimme detective die niet alleen naar het hele brein tegelijk kijkt, maar precies weet welke neuronen het zware werk doen en welke gewoon een dutje doen.

De twee grote fouten die oude tools maakten

Het artikel wijst op twee grote fouten in hoe vorige detectives te werk gingen:

De "Iedereen is gelijk"-fout: Stel je een koor voor waarbij sommige zangers solisten zijn die perfecte hoge noten halen, terwijl anderen alleen maar op de achtergrond neuriën. Oude tools behandelden elke zanger alsof ze allemaal even hard zongen. GradSkip beseft dat sommige "attention heads" (de koorsecties) superbelangrijk zijn voor de beslissing, terwijl anderen slechts ruis zijn. Het leert te luisteren naar de solisten en de neuriëndjes te negeren.
De "Shortcut"-fout: Transformers hebben deze coole "skip connections"—als een geheime tunnel waardoor een bericht een hele kamer kan overslaan en direct naar de volgende gaat. Oude tools behandelden deze tunnels alsof het gewoon lege gangen waren die niets veranderden. Maar soms verandert het bericht wel in de hoofdkamer, en soms niet. GradSkip is de eerste die controleert: "Heeft dit bericht de tunnel genomen, of is het in de hoofdkamer getransformeerd?" Het ontdeft precies hoeveel krediet het aan elk pad moet geven.

Hoe GradSkip het mysterie oplost

GradSkip gebruikt een slimmetje met een tweestapsstrategie om uit te zoeken waar de robot aan het denken is:

Stap 1: De "Wie is wie"-filter: Het kijkt in de robothersenen en vraagt: "Welke attention heads doen eigenlijk het werk?" Het gebruikt een speciale wiskundige truc (het combineren van gradient flow en een "sparsity"-maatstaf, een beetje zoals controleren hoe gefocust een spotlight is) om de belangrijkste heads te selecteren. Het is als een uitsmijter bij een club die alleen de hippe, relevante neuronen binnenlaat en de ruis eruit trapt.
Stap 2: De "Padsplitter": Wanneer de detective het denkproces achteruit volgt, verdeelt het de "relevantie" (het krediet voor de beslissing) tussen het hoofdpad en het skip-pad. Als de robot de informatie vooral onveranderd heeft doorgegeven, geeft GradSkip het meeste krediet aan het skip-pad. Als de robot echt diep heeft nagedacht, geeft het krediet aan het hoofdpad. Het is een dynamische, eerlijke manier om de eer te verdelen.

Het bewijs: Het werkt, en het is snel!

Het team heeft GradSkip getest op een hele reeks afbeeldingen, van een standaard set van 1.000 beelden (ImageNet1K) tot medische foto's van bloedcellen (BloodMNIST). Ze hebben het ook geprobeerd bij een taak waarbij de robot elk deel van een afbeelding een kleurcode moet geven (segmentatie).

Dit is wat ze vonden:

Het is de meest eerlijke uitleg: Toen ze testten hoe goed de uitleg overeenkwam met de werkelijke beslissingen van de robot, was GradSkip de beste. Bij de ImageNet1K-test versloeg het de op één na beste methode met 12,50% in één belangrijke metriek. Op de medische test met bloedcellen was het net zo goed.
Het is ongelooflijk precies: Wanneer ze de robot vroegen om naar het object te wijzen, was GradSkip het meest accuraat.
Het is een snelheidsduivel: Dit is het coolste deel. De oude, accurate methoden waren als het rijden in een tank—ze werkten geweldig, maar verbruikten enorm veel brandstof. GradSkip is als een gestroomlijnde sportwagen. Het gebruikt 14,45 keer minder GFLOPs (een maatstaf voor computerwerk) dan de op één na beste accurate methode. Voor classificatie had het slechts 69,39 GFLOPs nodig, en voor segmentatie slechts 28,52 GFLOPs.

Wat GradSkip NIET is

Het artikel is heel duidelijk over wat GradSkip niet doet:

Het werkt niet als je niet in de hersenen van de robot kunt kijken. Je moet een "backward pass" kunnen uitvoeren (het controleren van de gradiënten), dus het kan niet worden gebruikt bij modellen waarbij je de interne tandwielen niet kunt zien.
Het fixt niet magisch alles. In sommige lastige gevallen, zoals wanneer er meerdere objecten van dezelfde soort in een plaatje staan, is het nog steeds erg goed, maar het artikel geeft toe dat het moeilijker is om perfecte scores te halen.
Het kijkt niet naar de "CLS token" (een speciale token die sommige robots gebruiken om het hele beeld samen te vatten). De auteurs merken op dat voor standaard robots die deze token gebruiken, het negeren ervan misschien aanwijzingen mist, maar voor andere soorten (zoals SegFormer) werkt het perfect.

De kern van het verhaal

GradSkip is niet zomaar een kleine aanpassing; het is een slimmere manier om naar de robot te luisteren. Door te beseffen dat niet alle hersendelen gelijk zijn en door respect te tonen voor de "shortcut"-draden, geeft het ons een helder, eerlijk en supersnel kijkje in hoe Vision Transformers beslissingen nemen. De auteurs suggereren dat dit een gamechanger kan zijn voor velden zoals medische beeldvorming, waar begrijpen waarom een robot tot een diagnose komt, net zo belangrijk is als de diagnose zelf. En het beste deel? Het doet dit allemaal zonder dat er een supercomputer voor nodig is.

Technische Samenvatting: Gradient-Skipping Relevance Propagation voor Efficiënte Uitlegbaarheid van Vision Transformers

1. Probleemstelling

Vision Transformers (ViTs) hebben de state-of-the-art prestaties bereikt in computer vision, maar blijven moeilijk te interpreteren. Bestaande uitlegmethoden—gecategoriseerd als gradiëntgebaseerd, aandachtgebaseerd en perturbatiegebaseerd—lijden onder significante beperkingen wanneer ze op transformer-architecturen worden toegepast.

De geïdentificeerde kernproblemen zijn:

Uniforme Behandeling van Heads: De meeste aandachtgebaseerde benaderingen gaan ervan uit dat alle aandachtsheads een uniforme belangrijkheid bezitten. De literatuur geeft echter aan dat heads heterogene rollen spelen; sommige coderen semantisch gefocuste patronen terwijl andere diffuus aandacht besteden. Het uniform behandelen van deze heads verwatert de uitleg door informatieve en niet-informatieve signalen te mengen.
Verwaarlozing van Residuele Verbindingen: Bestaande methoden modelleren skip-verbindingen vaak als identiteitspaden of gebruiken vaste heuristieken. Dit faalt in het onderscheiden tussen relevantie die wordt toegeschreven aan geleerde transformaties en relevantie die simpelweg behouden blijft langs het identiteitsroute, wat leidt tot onnauwkeurige relevantietoeschrijving.
Efficiëntie versus Getrouwheid (Faithfulness) Trade-off: Gradiëntgebaseerde methoden zijn computationeel goedkoop maar lijden onder instabiele attributies in diepe transformers. Perturbatiegebaseerde methoden bieden een hoge getrouwheid, maar vereisen enorme computationele kosten (duizenden forward passes). Aandachtgebaseerde methoden zijn efficiënt, maar missen vaak causale betrouwbaarheid.

2. Methodologie: GradSkip

Om deze beperkingen aan te pakken, stellen de auteurs GradSkip voor, een methode voor relevantie-propagatie die twee conceptuele innovaties introduceert: adaptieve head-weging en skip-verbinding-bewuste propagatie.

2.1 Adaptieve Aandachtshead-weging

In plaats van alle heads te middelen, berekent GradSkip dynamische, head-specifieke belangrijkheidsgewichten ( $\omega^l_q$ ) door twee complementaire metrieken te combineren:

Gradiëntgebaseerde Flow-metriek ( $\tilde{g}^l_q$ ): Deze kwantificeert de causale invloed van een head op de beslissing van het model door de gradiëntgrootte te meten, gewogen door aandachtsscores. Een drempelmechanisme filtert heads met verwaarloosbare gradiëntflow eruit om ruis te verminderen.
Gini-gebaseerde Sparsity-metriek ( $\tilde{s}^l_q$ ): Deze legt de ruimtelijk-semantische focus van een head vast. De Gini-coëfficiënt wordt berekend op de gesorteerde aandachtswaarden; hoge Gini-coëfficiënten duiden op "gepiekte" aandachtspatronen (gefocust op specifieke regio's), wat ze onderscheidt van diffuse distributies.

Het uiteindelijke gewicht is een convexe combinatie: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ , waarbij $\alpha$ de balans bepaalt tussen causale relevantie en ruimtelijke coherentie.

2.2 Skip-Verbinding-Bewuste Relevantie-propagatie

GradSkip modelleert expliciet de residuele structuur van transformer-blokken tijdens de backward-propagatie. In plaats van het skip-pad als een vaste identiteit te behandelen, verdeelt het dynamisch de relevantie tussen het aandachtstransformatiepad en het skip-verbindingpad op basis van hun relatieve causale bijdrage.

De bijdrage van elk pad wordt gekwantificeerd met gradiënt-gewogen activatie-magnitudes:

$\beta^l_{main}$ : De genormaliseerde relevantiepoort voor het hoofd-aandachtspad.
$\beta^l_{skip}$ : De complementaire poort voor de skip-verbinding ( $1 - \beta^l_{main}$ ).

De relevantie bij laag $l-1$ wordt berekend als:
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
waarbij $\tilde{W}^l$ een gewogen aandachtmatrix is die head-belangrijkheid, gradiëntmagnitudes en embedding-magnitudes incorporeert. Dit zorgt ervoor dat blokken die primair fungeren als identiteitsmappings minimaal bijdragen aan de uitleg, waardoor relevantie via de skip-verbinding behouden blijft.

2.3 Implementatiedetails

Het proces omvat een enkele forward pass om intermediaire representaties, gradiënten en aandachtskaarten vast te leggen, gevolgd door een enkele backward pass om relevantie te propageren. De methode bevat gradiënt-rescaling om stromingsimbalansen aan te pakken en FullGrad-volledigheid te garanderen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Adaptieve Head-weging: Een mechanisme dat gradiëntgebaseerde flow en Gini-gebaseerde sparsity combineert om de causale invloed en selectiviteit van individuele aandachtsheads vast te leggen, waarmee de uniforme behandeling wordt overstegen.
Skip-Verbinding-Bewuste Propagatie: Een dynamische regel die de relevantie tussen aandacht en residuele paden verdeelt op basis van hun relatieve causale bijdrage, waarbij de fundamentele residuele structuur van transformers wordt gerespecteerd.
Uitgebreide Evaluatie: Uitgebreide experimenten op classificatie- (ImageNet1K, BloodMNIST) en segmentatiebenchmarks (ADE20K-150) demonstreren state-of-the-art getrouwheid en lokalisatie met aanzienlijk lagere computationele kosten.

4. Experimentele Resultaten

4.1 Classificatieprestaties

Geëvalueerd op ImageNet1K en BloodMNIST met ViT-Base en DeiT-Base modellen:

Getrouwheid (Faithfulness): GradSkip behaalde state-of-the-art prestaties op de Insertion-Deletion metriek en de Faithfulness Violation Test. Zo presteerde het op ImageNet1K met ViT-Base tot 12,50% beter dan de op één na beste benadering (MUTEX) in Insertion-Deletion scores.
Lokalisatie: Op de Pointing Game metriek behaalde GradSkip de hoogste scores op ViT-Base (0,868) en competitieve resultaten op DeiT-Base (0,831).
Efficiëntie: GradSkip vereiste 69,39 GFLOPs om een attributiekaart te genereren. Dit is 14,45 keer minder operaties dan MUTEX en 256,66 keer minder dan TIS, terwijl het een superieure getrouwheid behield vergeleken met andere efficiënte methoden zoals LRP-varianten.

4.2 Segmentatieprestaties

Geëvalueerd op ADE20K-150 met het SegFormer-model:

GradSkip behaalde de hoogste Pixel Accuracy (PA) (0,815) en mean Intersection over Union (mIoU) (0,371).
Het presteerde 53,94% beter dan de op één na beste benadering (MUTEX) in mIoU.
In tegenstelling tot methoden zoals Finer-CAM, die een hoge PA maar lage mIoU behaalden door overdreven saliency-kaarten, demonstreerde GradSkip een superieur vermogen om klasse-specifieke regio's nauwkeurig af te bakenen.
Efficiëntie: Het vereiste slechts 28,52 GFLOPs, vergelijkbaar met de meest efficiënte LRP-gebaseerde methoden, maar met aanzienlijk hogere segmentatie-accuratesse.

4.3 Ablatie en Analyse

Head Sparsity: Statistische analyse bevestigde een significante correlatie tussen aandacht-sparsity (gemeten door de Gini-coëfficiënt) en getrouwheidsscores. Het selecteren van alleen de top 25% van de heads op basis van sparsity verbeterde de prestaties, terwijl het gebruik van de onderste 25% de prestaties verslechterde.
Hyperparameters: De optimale balans tussen gradiëntflow en sparsity werd gevonden bij $\alpha = 0,50$ . Het uitsluitend vertrouwen op één metriek resulteerde in prestatieverliezen van tot wel 26,67%.
Kwalitatieve Analyse: Visualisaties toonden aan dat GradSkip gefocuste, ruimtelijk precieze heatmaps produceert die correct discriminerende regio's isoleren (bijv. kleine objecten zoals lieveheersbeestjes of dunne structuren zoals vlaggenmasten) terwijl achtergrondruis wordt onderdrukt, waarbij het de concurrentie overtreft die diffuse of verspreide activaties vertoonde.

5. Betekenis en Claims

Het artikel claimt dat GradSkip erin slaagt de kloof tussen computationele efficiëntie en de getrouwheid van uitleg in Vision Transformers te overbruggen. De betekenis ligt in:

Architecturale Bewustheid: Door de heterogene rollen van aandachtsheads en de dynamische aard van residuele verbindingen expliciet te modelleren, biedt GradSkip uitleg die beter reflecteert hoe het model de input verwerkt.
Praktische Implementatie: Het levert de hoge getrouwheid die typisch is voor kostbare perturbatiegebaseerde benaderingen, maar tegen een fractie van het computationele budget (vergelijkbaar met LRP), wat het geschikt maakt voor praktische toepassingen waar middelen beperkt zijn.
Robuustheid: De methode demonstreert consistente prestaties over verschillende datasets (algemeen en medisch), modelarchitecturen (ViT, DeiT, SegFormer) en taaltypen (classificatie en segmentatie).

De auteurs merken beperkingen op, specifelijk dat GradSkip toegang vereist tot de interne modellen (gradiënten en activaties) en niet kan worden toegepast in puur forward, gradiëntvrije settings. Daarnaast verwerpt de huidige implementatie de CLS-token, wat de toepasbaarheid op standaard ViTs kan beperken waar de CLS-token globale context aggregeert, hoewel het direct toepasbaar is op varianten zoals SegFormer die hier niet afhankelijk van zijn.