Résumé technique : Grad-CAM pour les Vision Transformers

1. Énoncé du problème

Le Gradient-weighted Class Activation Mapping (Grad-CAM) est une technique standard de visualisation des processus de décision dans les réseaux de neurones convolutifs (CNN), reposant sur des cartes de caractéristiques spatiales possédant des dimensions de canaux et spatiales claires. Cependant, les Vision Transformers (ViT) et d'autres architectures basées sur des tokens ne produisent pas de cartes de caractéristiques convolutives ; ils utilisent plutôt des embeddings de tokens, des mécanismes d'auto-attention et des flux résiduels.

Malgré cette déconnexion architecturale fondamentale, Grad-CAM est couramment appliqué aux ViT dans la littérature sans justification, adaptation ou reconnaissance des différences structurelles. L'article identifie une lacune critique : le terme « Grad-CAM sur un ViT » ne fait pas référence à une procédure unique et bien définie. Contrairement aux CNN, où la carte de caractéristiques est implicite, les ViT offrent de multiples sources potentielles d'attribution (par exemple, les embeddings de tokens, les matrices d'attention, les sorties MLP). La littérature actuelle traite souvent l'adaptation comme une extension triviale de la formulation pour CNN, ce qui conduit à :

• Ambiguïté méthodologique : Les auteurs omettent fréquemment les détails concernant les lieux d'extraction des caractéristiques, les cibles de gradient, la gestion des tokens (ex: suppression du token [CLS]) et les stratégies d'agrégation.
• Crise de la reproductibilité : Sans spécification explicite, une carte de chaleur rapportée est l'une des nombreuses visualisations possibles sélectionnées parmi un vaste espace d'alternatives, ce qui rend impossible la reproduction ou l'évaluation scientifique.
• Interprétation erronée : Les visualisations sont souvent présentées comme des preuves du comportement du modèle ou de l'ancrage visuel sans préciser si elles représentent des activations de tokens, des poids d'attention ou des interactions transmodales.

2. Méthodologie

Les auteurs emploient une approche à deux volets : un audit systématique de la littérature et le développement d'une taxonomie descriptive.

A. Audit systématique de la littérature

• Construction du corpus : Les auteurs ont effectué une recherche le 17 avril 2026, via Google Scholar avec les requêtes « Grad-CAM » ET « Vision Transformer » (ou « ViT ») restreintes aux articles publiés à partir de 2021. Ils ont filtré les articles disponibles via CVF, NeurIPS ou IEEE Access, aboutissant à un pool initial d'environ 550 articles.
• Sélection : Un examen manuel a permis d'identifier 175 articles appliquant Grad-CAM ou des méthodes proches de Grad-CAM (ex: Grad-CAM++, LayerCAM, ScoreCAM) aux ViT ou aux architectures de type ViT (incluant Swin Transformers, BEiT, CLIP et BLIP).
• Analyse : Les articles ont été codés selon le lieu de publication, l'année, le cadre de la tâche, le type d'architecture et le niveau de détail de l'information fournie. L'analyse s'est concentrée sur la manière dont les auteurs justifiaient l'adaptation, quelles représentations de caractéristiques étaient utilisées et le niveau de détail méthodologique fourni.

B. Taxonomie descriptive des adaptations

Pour caractériser la lacune méthodologique, les auteurs proposent une taxonomie qui catégorise explicitement les choix requis pour adapter Grad-CAM aux ViT. Cette taxonomie n'est pas prescriptive (c'est-à-dire qu'elle ne définit pas une méthode unique « correcte ») mais descriptive, rendant explicites les choix implicites. Les dimensions clés incluent :

1. Lieux d'extraction des caractéristiques : Identifier où dans le bloc transformer la « carte de caractéristiques » est extraite. L'article définit six candidats principaux :

   • $F_1$ : Sortie de la LayerNorm avant l'attention multi-têtes (embeddings de tokens normalisés).
   • $F_2$ : Matrices d'attention normalisées par Softmax (intensités d'interaction token-à-token).
   • $F_3$ : Sorties d'attention (représentations de tokens projetées par la valeur).
   • $F_4$ : Sortie de la LayerNorm avant le réseau de propagation avant (FFN).
   • $F_5$ : Sortie du FFN.
   • $F_6$ : Sortie résiduelle post-FFN.
   • Cross-Attention : Dans les modèles de vision-langage (VLM), la taxonomie distingue les représentations du côté du contexte et les cartes de cross-attention reliant les requêtes textuelles aux clés d'image.

2. Cibles de gradient : Définir l'objectif scalaire ($y_c$) par rapport auquel les gradients sont calculés. Cela varie selon la tâche (ex: logit de classe pour la classification, score ITM pour les VLM, perte de segmentation).

3. Gestion des tokens et reconstruction spatiale :

   • Sélection de tokens : Décider d'utiliser les gradients du token [CLS], de moyenner les gradients sur les tokens de patchs, ou d'exclure entièrement les tokens non spatiaux.
   • Remodelage (Reshaping) : Mapper la séquence de tokens 1D vers une grille spatiale 2D ($H/P \times W/P$). Cela suppose un ordonnancement par balayage de lignes (raster-scan) des patchs, ce qui peut ne pas être vrai pour toutes les représentations (notamment celles fortement mélangées par l'auto-attention).

4. Stratégies d'agrégation :

   • Combinaison linéaire : Comment combiner les dimensions de caractéristiques (ex: moyenner les gradients sur les tokens spatiaux versus utiliser les gradients de [CLS]).
   • Agrégation de têtes : Pour l'attention multi-têtes, déterminer si l'on moyenne les têtes avant ou après la fonction ReLU, ou si l'on traite les têtes comme des canaux distincts.

3. Résultats clés

L'audit de 175 articles a produit plusieurs conclusions critiques :

• Absence de justification : Environ 58 % (101 articles) ne faisaient référence qu'à l'article original de Grad-CAM basé sur les CNN ou à des variantes non-ViT, sans fournir de justification théorique pour l'application de la méthode aux transformers.
• Détails méthodologiques parsemés : Seuls 15 % (26 articles) ont explicitement justifié leur adaptation ou cité des travaux antérieurs l'ayant fait. Parmi ceux-ci, seulement 13 adaptations évaluées par les pairs ont été identifiées, indiquant que le domaine ne s'est pas accordé sur une convention standard.
• Dépendance aux dépôts de code : Environ 10 % (17 articles) se sont appuyés uniquement sur la bibliothèque pytorch-grad-cam, qui implémente le Grad-CAM pour ViT sans fournir de base théorique pour l'adaptation.
• Sous-spécification : Même parmi les articles affirmant utiliser des adaptations spécifiques, des détails critiques manquaient souvent, tels que :
  • La couche exacte du transformer utilisée.
  • Si le token [CLS] était inclus ou exclu.
  • Comment les têtes d'attention étaient agrégées.
  • La cible de gradient spécifique (ex: logit brut vs probabilité softmax).
• Variabilité visuelle : Des expériences qualitatives sur un modèle standard ViT-B/16 ont démontré que différents choix (lieu des caractéristiques, cible de gradient, stratégie de pondération) produisent des cartes de chaleur qualitativement différentes pour une même entrée et une même classe. Certaines cartes localisaient l'objet, tandis que d'autres mettaient en évidence le contexte ou apparaissaient inversées.

4. Contributions clés

1. Audit systématique : Le premier examen exhaustif de la littérature quantifiant la prévalence et la qualité du rapport des applications de Grad-CAM dans les ViT, révélant un manque généralisé de rigueur méthodologique.
2. Taxonomie descriptive : Un cadre qui catégorise les choix méthodologiques spécifiques (lieu des caractéristiques, cible de gradient, gestion des tokens, agrégation) requis pour adapter Grad-CAM aux architectures basées sur des tokens. Cette taxonomie sert de vocabulaire pour décrire les variations existantes plutôt que de prescrire une solution unique.
3. Identification de l'ambiguïté : L'article souligne que « Grad-CAM sur un ViT » est un terme sous-spécifié. Il démontre que sans rapport explicite des choix d'adaptation, les visualisations ne peuvent être traitées comme des preuves scientifiques reproductibles.
4. Orientation pour le reporting : Les auteurs fournissent une liste de contrôle pour les auteurs et les réviseurs afin de garantir que les visualisations Grad-CAM des ViT incluent les détails nécessaires (représentation des caractéristiques, cible de gradient, gestion des tokens, agrégation et reconstruction spatiale) pour soutenir les affirmations sur le comportement du modèle.

5. Signification et revendications

L'article soutient que la pratique actuelle consistant à appliquer Grad-CAM aux ViT est souvent une approche de type « plug-and-play » qui ignore le décalage théorique entre les hypothèses de la méthode (cartes de caractéristiques spatiales) et l'architecture du modèle (séquences de tokens).

• Rigueur scientifique : Les auteurs affirment que le manque actuel de spécification mine la validité scientifique des explications dans les domaines à enjeux élevés (ex: imagerie médicale, systèmes critiques pour la sécurité). Une carte de chaleur sous-spécifiée peut être visuellement persuasive mais scientifiquement ininterprétable.
• Reproductibilité : L'étude affirme que la reproductibilité est impossible sans un rapport explicite des choix d'adaptation. La taxonomie permet aux chercheurs de distinguer les différentes procédures d'attribution qui partagent actuellement le même label.
• Portée modeste : L'article précise explicitement qu'il ne propose pas une seule adaptation « correcte » de Grad-CAM pour les ViT. Au lieu de cela, il vise à clarifier l'éventail des choix méthodologiques effectués et à améliorer la transparence du reporting. L'objectif est d'aider la communauté à distinguer les procédures d'attribution reproductibles des explications visuellement persuasives mais sous-spécifiées.

En conclusion, l'article appelle à un changement dans la communauté de recherche : passer du traitement de Grad-CAM sur les ViT comme une simple extension des méthodes pour CNN vers une approche plus rigoureuse et consciente de l'architecture, où chaque visualisation est accompagnée d'une définition précise de ses choix mathématiques et de mise en œuvre sous-jacents.