🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

Cet article introduit GradSkip, une nouvelle méthode de propagation de la pertinence pour les Vision Transformers qui améliore la fidélité et la localisation en pondérant de manière adaptative les têtes d'attention et en distribuant dynamiquement la pertinence à travers les connexions résiduelles, atteignant des performances de pointe avec plus de 14 fois moins de GFLOPs que les approches existantes.

Auteurs originaux : Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot super intelligent appelé Vision Transformer (ViT). Il est incroyable pour regarder des images et dire ce qu'elles contiennent — comme repérer une coccinelle ou un camion. Mais il y a un problème : le robot est un peu une « boîte noire ». Vous pouvez lui demander : « Pourquoi as-tu pensé que c'était un camion ? » et il répond simplement : « Parce que je l'ai dit. » Il ne vous montre pas quelles parties de l'image l'ont amené à décider.

Les scientifiques ont essayé de jeter un coup d'œil à l'intérieur du cerveau du robot pour voir comment il réfléchit, mais leurs anciens outils étaient comme utiliser un marteau-pilon pour casser une noix. Ils traitaient chaque partie du cerveau du robot comme si elle était également importante, et ils ignoraient les fils « raccourcis » qui permettent à l'information de circuler rapidement sans être modifiée. Cela rendait les explications confuses et souvent erronées.

Entrez en scène GradSkip, un nouvel outil élégant inventé par Christopher Buratti et son équipe pour réparer ce désordre. Voyez GradSkip comme un détective intelligent qui ne se contente pas de regarder tout le cerveau à la fois, mais qui sait exactement quels neurones font le gros du travail et lesquels font la sieste.

Les deux grandes erreurs des anciens outils

L'article souligne deux erreurs majeures dans la façon dont les anciens détectives travaillaient :

L'erreur du « Tout le monde est égal » : Imaginez une chorale où certains chanteurs sont des solistes atteignant des notes hautes parfaites, tandis que d'autres se contentent de fredonner en arrière-plan. Les anciens outils traitaient chaque chanteur comme s'il chantait au même volume. GradSkip réalise que certains « têtes d'attention » (les sections de la chorale) sont super importantes pour la décision, tandis que d'autres ne sont que du bruit. Il apprend à écouter les solistes et à ignorer les fredonnements.
L'erreur du « Raccourci » : Les Transformers possèdent ces superbes « connexions de saut » (skip connections) — comme un tunnel secret qui permet à un message de sauter une pièce entière pour aller directement à la suivante. Les anciens outils traitaient ces tunnels comme s'il s'agissait de simples couloirs vides qui ne changeaient rien. Mais parfois, le message est modifié dans la pièce principale, et parfois il ne l'est pas. GradSkip est le premier à vérifier : « Ce message a-t-il emprunté le tunnel, ou a-t-il été transformé dans la pièce principale ? » Il détermine exactement quel crédit accorder à chaque chemin.

Comment GradSkip résout le mystère

GradSkip utilise une stratégie astucieuse en deux étapes pour comprendre comment le robot réfléchit :

Étape 1 : Le filtre « Qui est qui » : Il regarde le cerveau du robot et demande : « Quelles têtes d'attention font réellement le travail ? » Il utilise une astuce mathématique spéciale (combinant le flux de gradient et une mesure de « parcimonie », un peu comme vérifier la concentration d'un projecteur) pour sélectionner les têtes les plus importantes. C'est comme un videur de boîte de nuit qui ne laisse entrer que les neurones cool et pertinents et qui expulse les bruyants.
Étape 2 : Le « Séparateur de chemin » : Lorsque le détective remonte le processus de pensée, il répartit la « pertinence » (le crédit pour la décision) entre le chemin principal et le chemin de saut. Si le robot a principalement transmis l'information sans la modifier, GradSkip attribue la majeure partie du crédit au chemin de saut. Si le robot a fait un gros travail de réflexion, il donne le crédit au chemin principal. C'est une façon dynamique et équitable de partager le crédit.

La preuve : Ça marche, et c'est rapide !

L'équipe a testé GradSkip sur un ensemble de photos, d'un jeu standard de 1 000 images (ImageNet1K) à des photos médicales de cellules sanguines (BloodMNIST). Ils l'ont également testé sur une tâche où le robot doit colorer chaque partie d'une image (segmentation).

Voici ce qu'ils ont trouvé :

C'est l'explication la plus honnête : Lorsqu'ils ont testé la capacité des explications à correspondre aux décisions réelles du robot, GradSkip a été le meilleur. Sur le test ImageNet1K, il a battu la deuxième meilleure méthode de 12,50 % sur une métrique clé. Sur le test médical des cellules sanguines, il était tout aussi performant.
C'est incroyablement précis : Lorsqu'on a demandé au robot de pointer l'objet, GradSkip a été le plus précis.
C'est un champion de la vitesse : C'est la partie la plus cool. Les anciennes méthodes précises étaient comme conduire un char d'assaut — elles fonctionnaient très bien mais consommaient énormément de carburant. GradSkip est comme une voiture de sport élégante. Il utilise 14,45 fois moins de GFLOPs (une mesure du travail informatique) que la deuxième meilleure méthode précise. Pour la classification, il n'a eu besoin que de 69,39 GFLOPs, et pour la segmentation, seulement 28,52 GFLOPs.

Ce que GradSkip N'EST PAS

L'article est très clair sur ce que GradSkip ne fait pas :

Il ne fonctionne pas si vous ne pouvez pas voir à l'intérieur du cerveau du robot. Vous devez pouvoir effectuer une « passe arrière » (vérifier les gradients), il ne peut donc pas être utilisé sur des modèles où vous ne pouvez pas voir les rouages internes.
Il ne répare pas tout par magie. Dans certains cas complexes, comme lorsqu'il y a plusieurs objets du même type dans une image, il est toujours très bon, mais l'article admet qu'il est difficile d'obtenir des scores parfaits.
Il n'examine pas le « jeton CLS » (un jeton spécial que certains robots utilisent pour résumer toute l'image). Les auteurs notent que pour les robots standards utilisant ce jeton, ignorer celui-ci pourrait faire manquer des indices, mais pour d'autres types (comme SegFormer), cela fonctionne parfaitement.

L'essentiel

GradSkip n'est pas seulement une petite amélioration ; c'est une manière plus intelligente d'écouter le robot. En réalisant que toutes les parties du cerveau ne sont pas égales et en respectant les fils « raccourcis », il nous donne un regard clair, honnête et super rapide sur la façon dont les Vision Transformers prennent leurs décisions. Les auteurs suggèrent que cela pourrait changer la donne dans des domaines comme l'imagerie médicale, où comprendre pourquoi un robot a posé un diagnostic est aussi important que le diagnostic lui-même. Et le meilleur dans tout ça ? Il fait tout cela sans avoir besoin d'un supercalculateur pour le faire tourner.

Résumé Technique : GradSkip – Propagation de la Pertinence par Saut de Gradient pour une Explicabilité Efficace des Vision Transformers

1. Énoncé du Problème

Les Vision Transformers (ViT) ont atteint des performances de pointe en vision par ordinateur mais restent difficiles à interpréter. Les méthodes d'explicabilité existantes — classées en approches basées sur le gradient, l'attention et la perturbation — souffrent de limitations significatives lorsqu'elles sont appliquées aux architectures de type transformer.

Les problèmes fondamentaux identifiés sont :

Traitement Uniforme des Têtes : La plupart des approches basées sur l'attention supposent que toutes les têtes d'attention possèdent une importance uniforme. Cependant, la littérature indique que les têtes jouent des rôles hétérogènes ; certaines encodent des motifs sémantiques focalisés tandis que d'autres sont de diffusion diffuse. Traiter ces têtes de manière uniforme dilue l'explication en mélangeant des signaux informatifs et non informatifs.
Négligence des Connexions Résiduelles : Les méthodes existantes modélisent souvent les connexions de saut comme des chemins d'identité ou utilisent des heuristiques fixes. Cela ne permet pas de distinguer la pertinence attribuée aux transformations apprises de la pertinence simplement préservée le long de la route d'identité, ce qui conduit à une attribution de pertinence inexacte.
Compromis Efficacité vs Fidélité : Les méthodes basées sur le gradient sont peu coûteuses en calcul mais souffrent d'attributions instables dans les transformers profonds. Les méthodes basées sur la perturbation offrent une grande fidélité mais nécessitent des coûts de calcul massifs (des milliers de passages avant). Les méthodes basées sur l'attention sont efficaces mais manquent souvent de fiabilité causale.

2. Méthodologie : GradSkip

Pour répondre à ces limitations, les auteurs proposent GradSkip, une méthode de propagation de la pertinence qui introduit deux innovations conceptuelles : la pondération adaptative des têtes et la propagation consciente des connexions de saut.

2.1 Pondération Adaptative des Têtes d'Attention

Au lieu de moyenner toutes les têtes, GradSkip calcule des poids d'importance dynamiques et spécifiques à chaque tête ( $\omega^l_q$ ) en combinant deux métriques complémentaires :

Métrique de Flux Basée sur le Gradient ( $\tilde{g}^l_q$ ) : Elle quantifie l'influence causale d'une tête sur la décision du modèle en mesurant l'amplitude du gradient pondérée par les scores d'attention. Un mécanisme de seuillage filtre les têtes ayant un flux de gradient négligeable pour réduire le bruit.
Métrique de Sparsité Basée sur le Coefficient de Gini ( $\tilde{s}^l_q$ ) : Elle capture la focalisation spatio-sémantique d'une tête. Le coefficient de Gini est calculé sur les valeurs d'attention triées ; des coefficients de Gini élevés indiquent des motifs d'attention "pics" (focalisés sur des régions spécifiques), les distinguant des distributions diffuses.

Le poids final est une combinaison convexe : $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ , où $\alpha$ équilibre la pertinence causale et la cohérence spatiale.

2.2 Propagation de la Pertinence Consciente des Connexions de Saut

GradSkip modélise explicitement la structure résiduelle des blocs de transformer lors de la rétropropagation. Plutôt que de traiter le chemin de saut comme une identité fixe, il partitionne dynamiquement la pertinence entre le chemin de transformation d'attention et le chemin de connexion de saut en fonction de leurs contributions causales relatives.

La contribution de chaque chemin est quantifiée à l'aide de l'amplitude des activations pondérées par le gradient :

$\beta^l_{main}$ : La porte de pertinence normalisée pour le chemin d'attention principal.
$\beta^l_{skip}$ : La porte complémentaire pour la connexion de saut ( $1 - \beta^l_{main}$ ).

La pertinence au niveau $l-1$ est calculée comme suit :
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
où $\tilde{W}^l$ est une matrice d'attention pondérée incorporant l'importance des têtes, les amplitudes de gradient et les amplitudes d'embedding. Cela garantit que les blocs agissant principalement comme des applications d'identité contribuent de manière minimale à l'explication, préservant la pertinence via la connexion de saut.

2.3 Détails d'Implémentation

Le processus implique un passage avant unique pour capturer les représentations intermédiaires, les gradients et les cartes d'attention, suivi d'un passage arrière unique pour propager la pertinence. La méthode inclut un redimensionnement du gradient pour traiter les déséquilibres de flux et assurer la complétude FullGrad.

3. Contributions Clés

Le document souligne trois contributions principales :

Pondération Adaptative des Têtes : Un mécanisme combinant le flux basé sur le gradient et la sparsité basée sur Gini pour capturer l'influence causale et la sélectivité de chaque tête d'attention, allant au-delà du traitement uniforme.
Propagation Consciente des Connexions de Saut : Une règle dynamique qui partitionne la pertinence entre les chemins d'attention et résiduels en fonction de leur contribution causale relative, respectant la structure résiduelle fondamentale des transformers.
Évaluation Complète : Des expériences approfondies sur les benchmarks de classification (ImageNet1K, BloodMNIST) et de segmentation (ADE20K-150) démontrant une fidélité et une localisation de pointe avec des coûts de calcul considérablement réduits.

4. Résultats Expérimentaux

4.1 Performance de Classification

Évalué sur ImageNet1K et BloodMNIST avec les modèles ViT-Base et DeiT-Base :

Fidélité : GradSkip a atteint des performances de pointe sur la métrique Insertion-Suppression et le Test de Violation de Fidélité. Par exemple, sur ImageNet1K avec ViT-Base, il a surpassé la deuxième meilleure approche (MUTEX) jusqu'à 12,50 % en scores d'Insertion-Suppression.
Localisation : Sur la métrique Pointing Game, GradSkip a obtenu les scores les plus élevés sur ViT-Base (0,868) et des résultats compétitifs sur DeiT-Base (0,831).
Efficacité : GradSkip nécessite 69,39 GFLOPs pour générer une carte d'attribution. C'est 14,45 fois moins d'opérations que MUTEX et 256,66 fois moins que TIS, tout en maintenant une fidélité supérieure par rapport aux autres méthodes efficaces comme les variantes de LRP.

4.2 Performance de Segmentation

Évalué sur ADE20K-150 à l'aide du modèle SegFormer :

GradSkip a obtenu la Précision de Pixel (PA) la plus élevée (0,815) et l'Intersection Moyenne sur l'Union (mIoU) la plus élevée (0,371).
Il a surpassé la deuxième meilleure approche (MUTEX) de 53,94 % en mIoU.
Contrairement aux méthodes comme Finer-CAM, qui atteignent une PA élevée mais un mIoU faible en raison de cartes de saillance trop étendues, GradSkip a démontré une capacité supérieure à délimiter précisément les régions spécifiques aux classes.
Efficacité : Il n'a nécessité que 28,52 GFLOPs, comparable aux méthodes les plus efficaces basées sur LRP, mais avec une précision de segmentation nettement plus élevée.

4.3 Ablation et Analyse

Sparsité des Têtes : Une analyse statistique a confirmé une corrélation significative entre la sparsité de l'attention (mesurée par le coefficient de Gini) et les scores de fidélité. Sélectionner uniquement les 25 % de têtes supérieures basées sur la sparsité a amélioré les performances, tandis que l'utilisation des 25 % inférieures les a dégradées.
Hyperparamètres : L'équilibre optimal entre le flux de gradient et la sparsité a été trouvé à $\alpha = 0,50$ . S'appuyer uniquement sur une seule métrique a entraîné des baisses de performance allant jusqu'à 26,67 %.
Analyse Qualitative : Les visualisations ont montré que GradSkip produit des cartes thermiques focalisées et spatialement précises qui isolent correctement les régions discriminantes (ex: petits objets comme des coccinelles ou des structures fines comme des poteaux de drapeaux) tout en supprimant le bruit de fond, surpassant les concurrents qui présentent des activations diffuses ou éparpillées.

5. Signification et Revendications

L'article affirme que GradSkip comble avec succès l'écart entre l'efficacité computationnelle et la fidélité de l'explication dans les Vision Transformers. Sa signification réside dans :

Conscience Architecturale : En modélisant explicitement les rôles hétérogènes des têtes d'attention et la nature dynamique des connexions résiduelles, GradSkip fournit des explications qui reflètent mieux la manière dont le modèle traite l'entrée.
Déploiement Pratique : Il délivre la haute fidélité typiquement associée aux approches coûteuses par perturbation, mais à une fraction du budget de calcul (comparable à LRP), ce qui le rend adapté aux applications pratiques où les ressources sont limitées.
Robustesse : La méthode démontre des performances constantes à travers différents jeux de données (généraux et médicaux), architectures de modèles (ViT, DeiT, SegFormer) et types de tâches (classification et segmentation).

Les auteurs notent des limitations, spécifiquement que GradSkip nécessite l'accès aux composants internes du modèle (gradients et activations) et ne peut pas être appliqué dans des contextes purement "forward", sans gradient. De plus, l'implémentation actuelle rejette le jeton CLS, ce qui peut limiter l'applicabilité aux ViT standards où le jeton CLS agrège le contexte global, bien qu'il soit directement applicable aux variantes comme SegFormer qui n'en dépendent pas.