🤖 AI

DAVE: Distribution-aware Attribution via ViT Gradient Decomposition

L'article introduit DAVE, une méthode d'attribution mathématiquement fondée pour les Vision Transformers qui décompose les gradients d'entrée afin d'isoler des composantes stables et localement équivariantes et d'éliminer les artefacts architecturaux, permettant ainsi la génération d'explications au niveau du pixel à haute résolution et stables.

Auteurs originaux : Adam Wróbel, Siddhartha Gairola, Jacek Tabor, Bernt Schiele, Bartosz Zieliński, Dawid Rymarczyk

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adam Wróbel, Siddhartha Gairola, Jacek Tabor, Bernt Schiele, Bartosz Zieliński, Dawid Rymarczyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent (un Vision Transformer) qui regarde une image et dit : « C'est un ballon de football ! » Mais si vous demandez au robot : « Pourquoi as-tu pensé cela ? », il donne une réponse déroutante. Il peut pointer l'image entière de manière vague, ou pire, pointer un motif de grille étrange qui n'existe que parce que le robot a été construit ainsi, et non à cause du ballon lui-même.

Cette publication présente un nouvel outil appelé DAVE (Distribution-aware Attribution via ViT Gradient Decomposition) pour corriger cette confusion. Considérez DAVE comme une lampe de poche à haute résolution et à réduction de bruit qui nous aide à voir exactement ce que le robot regarde réellement.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : La « friture » sur la radio

Lorsque les modèles d'IA actuels tentent d'expliquer leurs décisions, ils produisent souvent de la « friture » ou des « artefacts ».

L'analogie : Imaginez que vous écoutez une station de radio, mais qu'il y a un bourdonnement constant et un étrange motif de grille qui se superpose à la musique. Vous entendez la chanson (la prédiction), mais la friture (l'explication) rend difficile l'identification de l'instrument qui joue quelle note.
La réalité : Dans les Vision Transformers, la façon dont le modèle traite les images (en les découpant en patchs et en utilisant l'« attention ») crée ces motifs artificiels. Les méthodes existantes sont souvent distraites par cette friture, pointant les lignes de la grille au lieu de l'objet réel.

2. La Solution : Séparer le signal du bruit

DAVE décompose mathématiquement le « processus de pensée » du robot (le gradient) en deux parties distinctes :

Partie A : Le vrai signal (Transformation effective) : C'est la partie du cerveau du robot qui change réellement en fonction de ce qui se trouve dans l'image. Si vous déplacez le ballon de football, cette partie se déplace avec lui. C'est l'information utile.
Partie B : Les particularités du robot (Variation de l'opérateur) : C'est la partie qui change simplement parce que les rouages internes du robot ont légèrement bougé, même si l'image n'a pas changé. C'est le « bruit » ou le « motif de grille ».

La métaphore : Imaginez un chef goûtant une soupe.

Le signal : Le chef dit : « C'est salé à cause du sel. » (C'est la vraie raison).
Le bruit : Le chef dit : « C'est salé à cause de la cuillère que je tiens qui vibre. » (C'est un artefact de l'outil, pas de la soupe).
Le rôle de DAVE : Il filtre la cuillère qui vibre et vous dit : « C'est le sel. »

3. Le Tour de Magie : Le filtre à la « Main Stable »

Une fois que DAVE a séparé le vrai signal des particularités du robot, il réalise une opération ingénieuse appelée Filtrage Équivariant.

L'analogie : Imaginez que vous essayez de trouver un visage spécifique dans une foule. Si vous penchez légèrement la tête, le visage est toujours le même visage. Si vous déplacez légèrement vos yeux, le visage est toujours là.
Comment DAVE l'utilise : DAVE demande au modèle : « Si je fais pivoter cette image un tout petit peu ou si je la décale de quelques pixels, est-ce que ton explication change ? »
- Si l'explication saute de façon sauvage, DAVE sait qu'il s'agit d'un « bruit » instable et le jette.
- Si l'explication reste cohérente (comme le visage qui reste le même), DAVE la conserve.
Le résultat : Cela crée une carte lisse et stable qui met en évidence l'objet réel (comme le ballon de football) sans les motifs de grille accidentés.

4. La Touche Finale : Adoucir les contours rugueux

Enfin, DAVE applique un léger « flou » (filtrage passe-bas) au résultat.

L'analogie : Pensez à regarder une photo haute définition à travers une fenêtre légèrement embrumée. Le brouillard élimine les minuscules grains de poussière distrayants (le bruit à haute fréquence) mais garde l'image principale claire.
Le résultat : La carte finale est lisse, précise et met en évidence exactement les pixels que le modèle a utilisés pour prendre sa décision.

Qu'ont-ils découvert ?

Les auteurs ont testé DAVE sur de nombreux modèles d'IA différents (comme DeiT et DINO) en utilisant une base de données massive d'images (ImageNet).

Une meilleure précision : Lorsqu'ils ont vérifié si l'explication de l'IA pointait réellement vers l'objet, DAVE était bien meilleur que les méthodes précédentes. Il trouvait l'objet plus souvent.
Moins de bruit : Les cartes visuelles produites par DAVE ne présentaient pas ces motifs de grille agaçants. Elles ressemblaient à des mises en évidence naturelles et compréhensibles par l'humain.
Stabilité : Si l'on modifiait légèrement l'image (rotation ou décalage), l'explication de DAVE restait la même, prouvant qu'il regardait l'objet et non les pixels.

En bref : DAVE est une nouvelle façon d'écouter les modèles d'IA qui filtre la « friture » causée par l'architecture même du modèle, nous offrant une vue claire, stable et précise de ce que l'IA voit réellement.

Résumé Technique : DAVE – Attribution sensible à la distribution via la décomposition du gradient des ViT

1. Énoncé du Problème

Les Vision Transformers (ViT) ont atteint des performances de pointe en vision par ordinateur mais présentent des défis importants pour l'IA explicable (XAI). Contrairement aux réseaux de neurones convolutifs (CNN), les ViT traitent les images sous forme de séquences de jetons de patchs (patch tokens) en utilisant des mécanismes d'attention. Cette architecture introduit des artefacts spécifiques dans les cartes d'attribution :

Artefacts structurés : Les explications basées sur le gradient et l'attention présentent souvent des motifs de type grille ou des artefacts de « grille de patchs » induits par la tokenisation et le routage de l'attention.
Instabilité : Les méthodes existantes produisent fréquemment des attributions au niveau du pixel instables ou sont contraintes de s'appuyer sur des explications grossières au niveau du patch qui manquent de preuves visuelles fines.
Sensibilité : Les méthodes standard basées sur le gradient capturent à la fois la transformation effective entrée-sortie et la variation de l'opérateur par rapport à l'entrée. Cette dernière amplifie souvent les composantes à haute fréquence et localement instables, menant à des explications bruitées.

L'article postule que l'obtention de cartes d'attribution stables, à haute résolution et cohérentes avec la classe pour les ViT reste un défi ouvert, nécessissant une méthode capable de désentrelacer les caractéristiques sémantiques réelles du bruit induit par l'architecture.

2. Méthodologie : DAVE

Les auteurs proposent DAVE (Distribution-aware Attribution via ViT Gradient Decomposition), un cadre mathématiquement fondé qui décompose le gradient d'entrée pour isoler la transformation effective et stable du modèle.

2.1. Décomposition structurée du gradient

La contribution théorique centrale est la décomposition de la dérivée de la couche. Les auteurs modélisent les couches ViT comme des applications de type opérateur différentiable $L(X)$ suivies d'un biais. La dérivée d'une couche $F(X)$ est montrée comme étant composée de deux termes distincts (Équation 3) :

Transformation effective ( $L(X)$ ) : L'action directe de la couche sur son entrée, conditionnée par l'entrée. Cela représente la mise en correspondance stable utilisée pour la prédiction.
Variation de l'opérateur : La dérivée de l'opérateur $L(X)$ par rapport à l'entrée. Ce terme capture la manière dont les mécanismes internes changent sous de petites perturbations et est identifié comme la source de l'instabilité à haute fréquence et des artefacts.

DAVE écarte le terme de variation de l'opérateur, ne conservant que la transformation effective comme signal d'attribution de base.

2.2. Filtrage équivariant

Pour traiter les motifs induits par l'architecture (tels que les artefacts de grille provenant des plongements de patchs) qui sont stables à travers les entrées mais non informatifs pour des prédictions spécifiques, DAVE applique un opérateur inspiré de Reynolds.

Critère d'équivariance : La méthode suppose que les cartes d'attribution doivent se transformer de manière cohérente sous de petites transformations spatiales (ex: rotations, décalages) de l'entrée.
Filtrage : En moyennant la transformation effective sur un voisinage local de transformations spatiales (échantillonné à partir d'une mesure de probabilité $\nu$ ), DAVE supprime les composantes qui violent l'équivariance locale. Cela isole les signaux d'attribution qui varient de manière cohérente avec le contenu sémantique de l'entrée.

2.3. Stabilisation par passe-bas

Pour supprimer davantage les artefacts à haute fréquence, DAVE applique une opération de filtrage passe-bas. Cela est réalisé en prenant l'espérance de la transformation effective équivariante sous de petites perturbations gaussiennes ( $\epsilon$ ).

Mathématiquement, cela équivaut à convoluer la transformation équivariante avec un noyau de lissage $K$ (Équation 7).
Contrairement au SmoothGrad standard (qui moyenne les gradients bruts), DAVE moyenne la transformation effective, stabilisant ainsi l'attribution sans réintroduire les artefacts de variation de l'opérateur écartés.

2.4. Carte d'attribution finale

La carte d'attribution DAVE finale est calculée en appliquant la transformation effective sensible à la distribution à l'entrée via une multiplication élément par élément :
$\text{DAVE}(X) = \tilde{W}^{eq}_L(X) \odot X$
où $\tilde{W}^{eq}_L(X)$ est l'espérance de l'opérateur effectif transformé sur les transformations spatiales et le bruit.

3. Contributions Clés

Cadre mathématique : Une décomposition structurée du gradient d'entrée qui sépare la transformation effective entrée-sortie de la variation de l'opérateur, fournissant une base théorique pour une attribution stable des ViT.
Algorithme DAVE : Une implémentation pratique pour les Vision Transformers qui exploite les propriétés architecturales pour supprimer les artefacts induits par les patchs et l'attention, produisant des attributions au niveau du pixel stables et à haute résolution.
Polyvalence : Démonstration que la méthode fonctionne efficacement sur les modèles de fondation (foundation models) tant supervisés (ex: DeiT, ViT) que non supervisés (ex: DINO), ainsi que sur les architectures intrinsèquement interprétables (réseaux B-cos).

4. Résultats Expérimentaux

Les auteurs ont évalué DAVE sur ImageNet-1k en utilisant des backbones ViT standards (ViT-B/16, DeiT-B/16, DeiT-III-B/16, DINO ViT-B/16) et des modèles B-cos.

4.1. Performance de localisation

Grid Pointing Game (GridPG) : DAVE a surpassé toutes les méthodes de référence (incluant I×G, Integrated Gradients, SmoothGrad, LeGrad, AttnLRP et Chefer-LRP).
- Sur DeiT-III-B/16, DAVE a atteint 65,76 %, soit une amélioration de +11,92 points de pourcentage par rapport à la meilleure méthode concurrente.
- Sur DeiT-B/16, il a atteint 63,52 % (+8,05 p.p. d'amélioration).
Energy Pointing Game (EnergyPG) : DAVE a obtenu les scores les plus élevés sur DeiT-B/16 (82,23 %) et DeiT-III-B/16 (82,43 %), et s'est nettement amélioré sur DINO-B/16 (83,38 %).
Modèles B-cos : DAVE a amélioré les explications intrinsèques des réseaux B-cos, obtenant une amélioration de +9,14 p.p. en EnergyPG sur B-cos-ViT.

4.2. Fidélité (Suppression de pixels)

En utilisant des courbes de suppression de pixels (retrait des pixels du moins au plus important), DAVE a présenté les courbes les plus plates, indiquant que la confiance de la prédiction du modèle est restée stable plus longtemps lors du retrait des pixels. Cela suggère que les attributions de DAVE sont plus cohérentes avec le processus de décision réel du modèle par rapport aux méthodes précédentes.

4.3. Analyse Qualitative

Les comparaisons visuelles ont montré que DAVE produit des cartes plus nettes et alignées sur l'objet, avec un bruit de fond réduit.
Contrairement aux méthodes de référence (ex: SmoothGrad, IntGrad) qui affichent souvent des réponses diffuses ou des artefacts de grille de patchs, DAVE met systématiquement en évidence des caractéristiques sémantiquement significatives (ex: contours, parties distinctives) à travers diverses variantes de ViT.

5. Signification et Revendications

L'article affirme que DAVE comble la lacune critique de l'explicabilité des ViT en fournissant un mécanisme pour produire des cartes d'attribution stables, à haute résolution et cohérentes avec la classe.

Fiabilité : En isolant la transformation effective et en supprimant la variation de l'opérateur et les artefacts induits par l'architecture, DAVE offre un mécanisme plus fiable pour auditer les modèles de vision à haute capacité.
Applicabilité : La méthode est présentée comme un outil pour les praticiens afin d'identifier les biais des modèles, de déboguer les erreurs de classification et d'améliorer la collaboration humain-IA en fournissant des preuves visuelles qui s'alignent avec la perception humaine.
Modestie : Les auteurs reconnaissent que l'opérateur de moyennage introduit un surcoût de calcul plus élevé par rapport aux méthodes de gradient brut. Ils suggèrent que les travaux futurs pourraient se concentrer sur un échantillonnage plus efficace ou sur la sélection automatique de groupes de transformations pour réduire ce coût.

En résumé, DAVE fournit une approche mathématiquement rigoureuse pour désentrelacer le « signal » de la prédiction d'un ViT du « bruit » de sa mise en œuvre architecturale, produisant des explications qui sont à la fois spatialement précises et robustes.