🤖 AI

DAVE: Distribution-aware Attribution via ViT Gradient Decomposition

Het artikel introduceert DAVE, een wiskundig gefundeerde attributiemethode voor Vision Transformers die inputgradiënten deelt om stabiele, lokaal equivariante componenten te isoleren en architecturale artefacten te elimineren, waardoor de generatie van hoogresolutie en stabiele pixelgebaseerde verklaringen mogelijk wordt.

Oorspronkelijke auteurs: Adam Wróbel, Siddhartha Gairola, Jacek Tabor, Bernt Schiele, Bartosz Zieliński, Dawid Rymarczyk

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adam Wróbel, Siddhartha Gairola, Jacek Tabor, Bernt Schiele, Bartosz Zieliński, Dawid Rymarczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot hebt (een Vision Transformer) die naar een foto kijkt en zegt: "Dat is een voetbal!" Maar als je de robot vraagt: "Waarom dacht je dat?", geeft hij een verwarrend antwoord. Hij wijst misschien vaag naar de hele foto, of erger nog, hij wijst naar een vreemd rasterpatroon dat alleen bestaat omdat de robot op die manier is gebouwd, en niet vanwege de bal zelf.

Dit artikel introduceert een nieuwe tool genaamd DAVE (Distribution-aware Attribution via ViT Gradient Decomposition) om deze verwarring op te lossen. Denk aan DAVE als een hoogresolutie, ruisonderdrukkende zaklamp die ons helpt precies te zien waar de robot daadwerkelijk naar kijkt.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het probleem: De "statische ruis" op de radio

Wanneer huidige AI-modellen proberen hun beslissingen uit te leggen, produceren ze vaak "statische ruis" of "artefacten".

De analogie: Stel je voor dat je naar een radiostation luistert, maar er is een constante brom en een vreemd rasterpatroon over de muziek heen. Je hoort het liedje (de voorspelling), maar de statische ruis (de uitleg) maakt het moeilijk om te horen welk instrument welke noot speelt.
De realiteit: In Vision Transformers creëert de manier waarop het model beelden verwerkt (door ze op te delen in patches en "attention" te gebruiken) deze kunstmatige patronen. Bestaande methoden raken vaak afgeleid door deze statische ruis en wijzen naar de rasterlijnen in plaats van naar het eigenlijke object.

2. De oplossing: Het signaal scheiden van de ruis

DAVE werkt door het "denkproces" van de robot (de gradiënt) wiskundig uiteen te rafelen in twee duidelijke delen:

Deel A: Het echte signaal (Effectieve Transformatie): Dit is het deel van de hersenen van de robot dat daadwerkelijk verandert op basis van wat er in de afbeelding staat. Als je de voetbal verplaatst, beweegt dit deel met de bal mee. Dit is de nuttige informatie.
Deel B: De eigenaardigheden van de robot (Operator Variatie): Dit is het deel dat verandert simpelweg omdat de interne tandwielen van de robot een klein beetje verschoven zijn, zelfs als de afbeelding niet veranderde. Dit is de "ruis" of het "rasterpatroon".

De metafoor: Stel je een chef-kok voor die een soep proeft.

Het signaal: De chef zegt: "Het smaakt zout door het zout." (Dit is de echte reden).
De ruis: De chef zegt: "Het smaakt zout omdat de lepel die ik vasthoud trilt." (Dit is een artefact van het gereedschap, niet van de soep).
DAVE's taak: DAVE filtert de trillende lepel eruit en vertelt je: "Het komt door het zout."

3. De magische truc: Het "vaste hand"-filter

Zodra DAVE het echte signaal scheidt van de eigenaardigheden van de robot, doet het iets slims genaamd Equivariant Filtering.

De analogie: Stel je voor dat je een specifiek gezicht in een menigte probeert te vinden. Als je je hoofd een klein beetje kantelt, blijft het gezicht nog steeds hetzelfde gezicht. Als je je ogen een klein beetje verplaatst, is het gezicht er nog steeds.
Hoe DAVE dit gebruikt: DAVE vraagt aan het model: "Als ik deze afbeelding een klein beetje roteer of een paar pixels verschuif, verandert je uitleg dan?"
- Als de uitleg wild alle kanten op springt, weet DAVE dat dit onstabiele "ruis" is en gooit het weg.
- Als de uitleg consistent blijft (zoals het gezicht dat hetzelfde blijft), houdt DAVE het vast.
Het resultaat: Dit creëert een gladde, stabiele kaart die het eigenlijke object (zoals de voetbal) benadelt zonder de hoekige, rasterachtige artefacten.

4. De laatste afwerking: De ruwe randjes verzachten

Ten slotte past DAVE een milde "vervaging" (low-pass filtering) toe op het resultaat.

De analogie: Denk aan het kijken naar een foto met hoge definitie door een licht beslagen raam. De mist verwijdert de kleine, afleidende stofjes (hoogfrequente ruis), maar houdt de hoofdafbeelding helder.
Het resultaat: De uiteindelijke kaart is glad, nauwkeurig en benadert precies de pixels die het model gebruikte om zijn beslissing te nemen.

Wat hebben ze ontdekt?

De auteurs hebben DAVE getest op veel verschillende AI-modellen (zoals DeiT en DINO) met behulp van een enorme database van afbeeldingen (ImageNet).

Betere nauwkeurigheid: Wanneer ze controleerden of de uitleg van de AI daadwerkelijk naar het object wees, was DAVE veel beter dan eerdere methoden. Het vond het object vaker.
Minder ruis: De visuele kaarten die door DAVE werden geproduceerd, hadden niet die irritante rasterpatronen. Ze zagen eruit als natuurlijke, menselijk begrijpelijke highlights.
Stabiliteit: Als ze de afbeelding licht veranderden (roteerden of verschoven), bleef de uitleg van DAVE hetzelfde, wat bewees dat het naar het object keek, en niet naar de pixels.

Kortom: DAVE is een nieuwe manier om naar AI-modellen te luisteren die de "statische ruis" veroorzaakt door de architectuur van het model zelf wegfiltert, waardoor we een helder, stabiel en accuraat beeld krijgen van wat de AI daadwerkelijk ziet.

Technische Samenvatting: DAVE – Distributie-bewuste Attributie via ViT Gradiënt-decompositie

1. Probleemstelling

Vision Transformers (ViTs) hebben state-of-the-art prestaties bereikt in computer vision, maar vormen aanzienlijke uitdagingen voor Explainable AI (XAI). In tegenstelling tot Convolutional Neural Networks (CNN's) verwerken ViTs afbeeldingen als sequenties van patch-tokens met behulp van aandachtmechanismen (attention mechanisms). Deze architectuur introduceert specifieke artefacten in attributiemaps:

Gestructureerde Artefacten: Gradiënt- en aandachtgebaseerde verklaringen vertonen vaak rasterachtige patronen of "patch-grid" artefacten, veroorzaakt door tokenisatie en attention routing.
Instabiliteit: Bestaande methoden produceren vaak instabiele pixel-niveau attributies of zijn gedwongen te vertrouwen op grove patch-niveau verklaringen die een gebrek aan fijnmazig visueel bewijs vertonen.
Gevoeligheid: Standaard gradiëntgebaseerde methoden vatten zowel de effectieve input-output transformatie als de variatie van de operator ten op respectie van de input. Dit laatste vergroot vaak hoogfrequente, lokaal instabiele componenten, wat leidt tot ruisige verklaringen.

Het artikel stelt dat het verkrijgen van stabiele, hoog-resolutie en klasse-consistente attributiemaps voor ViTs een openstaand probleem blijft, wat een methode noodzakelijk maakt die in staat is om ware semantische kenmerken te ontwarren van architectuur-geïnduceerde ruis.

2. Methodologie: DAVE

De auteurs stellen DAVE voor (Distribution-aware Attribution via ViT Gradient Decomposition), een wiskundig gefundeerd framework dat de input-gradiënt decomponeert om de stabiele, effectieve transformatie van het model te isoleren.

2.1. Gestructureerde Gradiënt-decompositie

De kern van de theoretische bijdrage is de decompositie van de laag-afgeleide. De auteurs modelleren ViT-lagen als differentieerbare operator-waardige kaarten $L(X)$ gevolgd door een bias. De afgeleide van een laag $F(X)$ wordt getoond als bestaande uit twee afzonderlijke termen (Vergelijking 3):

Effectieve Transformatie ( $L(X)$ ): De directe, input-geconditioneerde actie van de laag op de input. Dit vertegenwoordigt de stabiele mapping die wordt gebruikt voor voorspelling.
Operator Variatie: De afgeleide van de operator $L(X)$ ten respecte van de input. Deze term legt vast hoe de interne mechanismen veranderen onder kleine perturbaties en wordt geïdentificeerd als de bron van hoogfrequente instabiliteit en artefacten.

DAVE verwerpt de operator variatie term en behoudt alleen de effectieve transformatie als het basis-attributiesignaal.

2.2. Equivariante Filtering

Om architectuur-geïnduceerde patronen (zoals grid-artefacten van patch embeddings) aan te pakken die stabiel zijn over inputs heen maar niet informatief voor specifieke voorspellingen, past DAVE een Reynolds-geïnspireerde operator toe.

Equivariantie Criterium: De methode gaat ervan uit dat attributiemaps consistent transformeren onder kleine ruimtelijke transformaties (bijv. rotaties, verschuivingen) van de input.
Filtering: Door de effectieve transformatie te middelen over een lokale buurt van ruimtelijke transformaties (gesampled uit een waarschijnlijkheidsmaat $\nu$ ), onderdrukt DAVE componenten die de lokale equivariantie schenden. Dit isoleert attributiesignalen die consistent variëren met de semantische inhoud van de input.

2.3. Low-Pass Stabilisatie

Om hoogfrequente artefacten verder te onderdrukken, past DAVE een low-pass filtering operatie toe. Dit wordt bereikt door de verwachting te nemen van de equivariante effectieve transformatie onder kleine Gaussische perturbaties ( $\epsilon$ ).

Wiskundig gezien is dit gelijk aan het convolueren van de equivariante transformatie met een smoothing kernel $K$ (Vergelijking 7).
In tegenstelling tot standaard SmoothGrad (die ruwe gradiënten middelt), middelt DAVE de effectieve transformatie, waardoor de attributie wordt gestabiliseerd zonder de weggegooide operator-variatie artefacten opnieuw te introduceren.

2.4. Finale Attributie Map

De finale DAVE attributie map wordt berekend door de distributie-bewuste effectieve transformatie op de input toe te passen via element-gewijze vermenigvuldiging:
$\text{DAVE}(X) = \tilde{W}^{eq}_L(X) \odot X$
waarbij $\tilde{W}^{eq}_L(X)$ de verwachting is van de getransformeerde effectieve operator over ruimtelijke transformaties en ruis.

3. Belangrijkste Bijdragen

Wiskundig Framework: Een gestructureerde decompositie van de input-gradiënt die de effectieve input-output transformatie scheidt van de operator variatie, wat een theoretische basis biedt voor stabiele ViT attributie.
DAVE Algoritme: Een praktische implementatie voor Vision Transformers die gebruikmaakt van architecturale eigenschappen om patch- en attention-geïnduceerde artefacten te onderdrukken, wat resulteert in stabiele, hoog-resolutie pixel-niveau attributies.
Veelzijdigheid: Demonstratie dat de methode effectief werkt op zowel volledig gesuperviseerde (bijv. DeiT, ViT) als zelf-gesuperviseerde (bijv. DINO) foundation modellen, evenals inherent interpreteerbare architecturen (B-cos netwerken).

4. Experimentele Resultaten

De auteurs evalueerden DAVE op ImageNet-1k met standaard ViT backbones (ViT-B/16, DeiT-B/16, DeiT-III-B/16, DINO ViT-B/16) en B-cos modellen.

4.1. Lokalisatie Prestaties

Grid Pointing Game (GridPG): DAVE presteerde beter dan alle baselines (inclusief I×G, Integrated Gradients, SmoothGrad, LeGrad, AttnLRP, en Chefer-LRP).
- Op DeiT-III-B/16 behaalde DAVE 65.76%, een verbetering van +11.92 procentpunt ten opzichte van de beste concurrerende methode.
- Op DeiT-B/16 behaalde het 63.52% (+8.05 p.p. verbetering).
Energy Pointing Game (EnergyPG): DAVE behaalde de hoogste scores op DeiT-B/16 (82.23%) en DeiT-III-B/16 (82.43%), en verbeterde significant op DINO-B/16 (83.38%).
B-cos Modellen: DAVE verbeterde de inherente verklaringen van B-cos netwerken, met een verbetering van +9.14 p.p. in EnergyPG op B-cos-ViT.

4.2. Getrouwheid (Pixel Deletie)

Gebruikmakend van pixel deletie curves (het verwijderen van pixels van minst naar meest belangrijk), vertoonde DAVE de vlakste curves, wat aangeeft dat de voorspellingszekerheid van het model langer stabiel bleef terwijl pixels werden verwijderd. Dit suggereert dat DAVE attributies consistenter zijn met het werkelijke besluitvormingsproces van het model vergeleken met eerdere methoden.

4.3. Kwalitatieve Analyse

Visuele vergelijkingen toonden aan dat DAVE scherpere, object-gealigneerde maps produceert met minder achtergrondruis.
In tegen 달리 van baselines (bijv. SmoothGrad, IntGrad) die vaak diffuse responsen of patch-grid artefacten vertoonden, benadrukte DAVE consistent semantisch betekenisvolle kenmerken (bijv. contouren, onderscheidende onderdelen) over diverse ViT varianten heen.

5. Betekenis en Claims

Het artikel claimt dat DAVE de kritieke kloof in ViT verklaarbaarheid adresseert door een mechanisme te bieden om stabiele, hoog-resolutie en klasse-consistente attributiemaps te produceren.

Betrouwbaarheid: Door de effectieve transformatie te isoleren en operator variatie en architectuur-geïnduceerde artefacten te onderdrukken, biedt DAVE een betrouwbaarder mechanisme voor het auditen van high-capacity vision modellen.
Toepasbaarheid: De methode wordt gepresenteerd als een instrument voor practitioners om model bias te identificeren, misclassificaties te debuggen en mens-AI samenwerking te verbeteren door visueel bewijs te leveren dat overeenkomt met menselijke perceptie.
Bescheidenheid: De auteurs erkennen dat de middeling-operator een hogere computationele overhead met zich meebrengt vergeleken met ruwe gradiëntmethoden. Zij suggereren dat toekomstig werk zich kan richten op efficiëntere sampling of automatische selectie van transformatiegroepen om deze kosten te verlagen.

Samenvattend biedt DAVE een wiskundig rigoureuze aanpak om het "signaal" van een ViT's voorspelling te ontwarren van de "ruis" van de architecturale implementatie, wat resulteert in verklaringen die zowel ruimtelijk precies als robuust zijn.