🤖 AI

Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification

Cet article introduit Visual-TCAV, un nouveau cadre d'explicabilité qui comble l'écart entre les méthodes de saillance et les méthodes basées sur les concepts en générant des cartes de saillance agnostiques à la classe pour localiser les concepts dans les images d'entrée et en estimant leur attribution à des prédictions de classes spécifiques à l'aide d'une généralisation des gradients intégrés.

Auteurs originaux : Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot super intelligent capable de regarder une photo et de vous dire exactement ce qu'elle contient. Par exemple, il voit un zèbre et dit : « C'est un zèbre ! » Mais voici le problème : le robot est une boîte noire. Vous voyez ce qu'il mange (la photo) et ce qu'il recrache (la réponse), mais vous n'avez aucune idée de comment il a décidé cela. Il regarde peut-être les rayures, ou peut-être regarde-t-il simplement l'herbe en arrière-plan.

Pendant longtemps, les scientifiques ont disposé de deux outils différents pour jeter un coup d'œil à l'intérieur de cette boîte noire, mais les deux présentaient un angle mort majeur :

L'outil « Projecteur » (Cartes de saillance) : Cet outil projette une lumière vive sur les parties de la photo que le robot regarde. Il est excellent pour dire : « Le robot regarde les rayures ! » Mais il ne peut pas vous dire pourquoi les rayures sont importantes. Est-ce parce que les rayures sont noires ? Parce qu'elles sont blanches ? Parce qu'elles sont courbes ? Il ne connaît pas le concept.
L'outil de « Sensibilité » (TCAV) : Cet outil demande : « Est-ce que le robot se soucie des "rayures" ? » Il peut vous dire : « Oui, le robot est très sensible au concept de rayures. » Mais il ne peut pas vous dire où dans la photo le robot a vu les rayures, ni à quel point ces rayures ont réellement aidé le robot à prendre cette décision spécifique.

Entrez dans Visual-TCAV : La loupe du détective

Les auteurs de cet article ont créé un nouvel outil appelé Visual-TCAV. Considérez-le comme un détective qui combine le meilleur des deux mondums. Il ne se contente pas de vous dire ce que le robot pense ou où il regarde ; il vous dit où il a trouvé une idée spécifique et à quel point cette idée a contribué à la réponse finale.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Apprendre un nouveau mot au robot (Le CAV)

D'abord, vous devez apprendre au robot ce qu'est un concept spécifique. Disons que vous voulez savoir si le robot comprend les « fossettes » (comme sur une balle de golf). Vous montrez au robot 30 photos de balles de golf (exemples positifs) et 500 photos aléatoires de choses qui ne sont pas des balles de golf (exemples négatifs).

L'outil crée une « empreinte digitale mentale » pour les « fossettes ». C'est comme donner au robot une paire de lunettes spécifique qui ne met en évidence que les fossettes.

2. La carte du « Où » (Carte de concept)

Une fois que le robot possède ses « lunettes pour fossettes », Visual-TCAV les lui fait porter et lui demande de regarder une nouvelle photo. Il dessine ensuite une carte thermique sur la photo.

Zones rouges : « Ici, le robot voit clairement des fossettes. »
Zones bleues : « Ici, le robot ne voit rien lié aux fossettes. »

Cela résout le problème de l'outil de « Sensibilité », qui ne pouvait pas vous montrer où se trouvait le concept. Maintenant, vous pouvez voir exactement quelle partie de la balle de golf le robot analyse.

3. Le score du « À quel point » (Attribution de concept)

C'est la partie magique. L'outil ne se contente pas de dire : « Le robot a vu des fossettes. » Il calcule un score pour répondre à la question : « À quel point le fait de voir ces fossettes a-t-il aidé le robot à décider qu'il s'agissait d'une balle de golf ? »

Imaginez que le robot soit un juge rendant un verdict dans une affaire.

Les anciens outils pouvaient dire : « Le juge a regardé les preuves. » (Saillance) ou « Le juge se soucie de ce type de preuve. » (TCAV).
Visual-TCAV dit : « Le juge a regardé les preuves (les fossettes) dans le coin supérieur droit, et cet élément de preuve spécifique a contribué à 40 % au verdict final. »

Pour faire cela, l'outil utilise une technique mathématique appelée « Gradients Intégrés », qui trace essentiellement le chemin de la prise de décision du robot, de l'écran vide jusqu'à la photo finale, en mesurant à quel point chaque étape a modifié son esprit.

Pourquoi est-ce important ? (Le test du « Piège »)

Les auteurs ont testé cela avec une expérience ingénieuse. Ils ont entraîné des robots à reconnaître trois choses : un concombre, un taxi et un zèbre. Mais ils ont joué un tour : ils ont ajouté une lettre aléatoire (comme un « Z ») à l'intérieur d'un carré coloré sur les images.

La configuration : Certains robots ont été entraînés sur des images sans les lettres. D'autres ont été entraînés sur des images avec les lettres.
Le piège : Ils ont testé les robots sur des images où la lettre ne correspondait pas à l'animal (par exemple, un zèbre avec un « C » dessus).
Le résultat :
- Les robots entraînés sur les images « riches en lettres » ont cessé de regarder les animaux réels. Ils cherchaient simplement les lettres. S'ils voyaient un « C », ils devinaient « Concombre », même s'il s'agissait d'un zèbre.
- Visual-TCAV a détecté cela immédiatement. Il a montré que pour les robots entraînés sur les images « riches en lettres », le concept « Zèbre » avait une importance presque nulle, tandis que le concept « La Lettre C » avait un score d'importance énorme.
- Les anciens outils (TCAV) étaient confus. Ils disaient : « Le robot est sensible à la fois au zèbre et à la lettre ! » mais ils ne pouvaient pas vous dire que le robot ignorait en fait le zèbre et ne se souciait que de la lettre. Visual-TCAV a vu la différence de magnitude (l'importance réelle), et pas seulement de direction.

L'essentiel

Visual-TCAV est une nouvelle façon de parler à l'IA. Cela vous permet de demander :

Où avez-vous vu les « rayures » ? (Il dessine une carte).
À quel point le fait de voir les « rayures » vous a-t-il aidé à décider ? (Il donne un score).

Cela aide les humains à faire plus confiance à l'IA car ils peuvent vérifier que le robot regarde réellement les bonnes choses (comme les rayures sur un zèbre) et ne triche pas simplement en regardant l'arrière-plan ou une lettre aléatoire. Cela comble le fossé entre « Je vois ce que vous regardez » et « Je comprends pourquoi vous avez fait ce choix ».

Résumé Technique : Visual-TCAV

Énoncé du Problème

Les réseaux de neurones convolutifs (CNN) ont atteint des performances remarquables dans la classification d'images, mais ils restent des modèles « boîte noire », ceما entrave la confiance et le débogage dans des domaines critiques tels que la santé et la conduite autonome. Les méthodes existantes d'IA explicable (XAI) souffrent de limitations complémentaires :

Méthodes de saillance (ex. : Grad-CAM, Integrated Gradients) : Fournissent des explications locales au niveau du pixel montrant où une classe est identifiée, mais échouent à expliquer quels concepts sémantiques de haut niveau (ex. : « rayé », « fossettes ») ont piloté la prédiction.
Méthodes basées sur les concepts (ex. : TCAV) : Expliquent comment un réseau est sensible à des concepts définis par l'humain de manière globale, mais ne peuvent pas attribuer l'importance d'un concept à une instance de prédiction spécifique, ni visualiser la localisation spatiale de ces concepts dans l'image d'entrée.

Par conséquent, il existe une lacune dans les méthodes capables de fournir simultanément une ancrage spatial (localisation des concepts), une attribution par instance (quantification de l'importance d'un concept pour une prédiction spécifique) et une agrégabilité (génération d'informations globales).

Méthodologie : Visual-TCAV

Visual-TCAV est un cadre conçu pour combler le fossé entre les méthodes de saillance et les méthodes basées sur les concepts. Il opère sur n'importe quelle couche de CNN produisant des cartes de caractéristiques et génère deux sorties principales : une carte de concept (localisation spatiale) et une attribution de concept (importance numérique).

1. Génération de CAV et mise en commun spatiale (Pooling)

Suivant le paradigme TCAV, la méthode calcule d'abord un Vecteur d'Activation de Concept (CAV) en utilisant l'approche de la différence de moyennes. Cela implique de :

Collecter les cartes de caractéristiques à partir d'exemples de concepts positifs définis par l'utilisateur et d'exemples négatifs (aléatoires).
Calculer la moyenne arithmétique (centroïde) pour les deux ensembles.
Dériver le CAV comme étant la différence entre le centroïde du concept et le centroïde aléatoire.
Appliquer un Global Average Pooling (GAP) au CAV pour créer un pooled-CAV. Ce vecteur représente la corrélation entre le concept et chaque canal de la carte de caractéristiques, indépendamment de la localisation spatiale.

2. Carte de Concept (Ancrage Spatial)

Pour localiser où un concept $c$ est reconnu dans une image d'entrée, Visual-TCAV génère une carte de concept $M^c$ :

Il calcule une somme pondérée des cartes de caractéristiques de l'image d'entrée ( $F$ ), où les poids sont les éléments du pooled-CAV ( $p^c_i$ ).
Une fonction ReLU est appliquée pour ne conserver que les régions positivement corrélées avec le concept.
Normalisation : Pour assurer la comparabilité entre les images, la carte est normalisée à l'aide d'une mise à l'échelle min-max personnalisée. Les bornes ( $\ell_c, u_c$ ) sont dérivées de manière heuristique à partir des moyennes contraharmoniques médianes des cartes de concepts générées respectivement à partir des ensembles d'exemples positifs et négatifs.
Le résultat est une visualisation indépendante de la classe mettant en évidence les régions spatiales où le réseau reconnaît le concept.

3. Attribution de Concept (Importance par Instance)

Pour estimer l'ampleur de la contribution d'un concept à une prédiction de classe spécifique, la méthode étend les Gradients Intégrés (IG) :

IG de Carte de Caractéristiques : Au lieu d'intégrer les gradients à partir des pixels d'entrée, l'IG est calculé dans l'espace des cartes de caractéristiques d'une couche choisie. Cela mesure l'attribution des activations de la carte de caractéristiques au logit de la classe cible par rapport à une ligne de base (tenseur nul).
Pondération par Alignement de Concept : Les attributions IG normalisées sont pondérées par le pooled-CAV normalisé ( $\hat{p}^c$ ). Cela accentue les cartes de caractéristiques fortement alignées avec le concept et réduit le poids des autres.
Masquage Spatial : Les attributions pondérées sont multipliées élément par élément par la carte de concept normalisée ( $\hat{M}^c$ ), agissant comme un masque spatial pour isoler les régions pertinentes du concept.
Agrégation : La somme sur toutes les positions spatiales produit un scalaire, l'attribution de concept ( $a_{c,k}$ ), quantifiant la contribution du concept $c$ à la classe $k$ pour une entrée spécifique.

4. Explications Globales

Les informations globales sont dérivées en faisant la moyenne des attributions de concept par instance sur un ensemble d'images d'entrée pour une classe sélectionnée, quantifiant l'importance globale d'un concept pour cette classe.

Contributions Clés

Cadre Unifié : Visual-TCAV intègre les forces des cartes de saillance et des méthodes basées sur les concepts, satisfaisant trois desiderata : (D1) ancrage spatial, (D2) attribution par instance et (D3) agrégabilité.
Attribution Sensible à l'Amplitude : Contrairement à TCAV, qui repose uniquement sur les signes des dérivées directionnelles (sensibilité), Visual-TCAV utilise l'amplitude des gradients (via les Gradients Intégrés) pour mesurer l'impact réel d'un concept sur le score de prédiction.
Validation Visuelle : La génération de cartes de concepts permet une validation qualitative pour vérifier si le CAV s'aligne avec le concept voulu par l'utilisateur sans nécessager de maximisation d'activation.
Validation par Vérité de Terrain : Les auteurs introduisent une expérience contrôlée utilisant des jeux de données synthétiques (concombre, taxi, zèbre avec des tags artificiels) où la vérité de terrain de l'importance du concept est connue, démontrant que Visual-TCAV s'aligne mieux avec la vérité de terrain que le TCAV standard.

Résultats

La méthode a été évaluée sur ResNet50V2, InceptionV3 et VGG16 (ImageNet) ainsi que sur un ResNet50V2 entraîné sur CelebA.

Explications Locales : Visual-TCAV a réussi à visualiser que les concepts de haut niveau (ex. : « voiture ») sont reconnus dans les couches profondes, tandis que les concepts plus fins apparaissent dans les couches antérieures. Il a identifié que les erreurs de classification (ex. : un « bœuf » classé à tort comme un « dalmatien ») étaient pilotées par des concepts spécifiques (ex. : « tacheté ») contribuant de manière significative au mauvais logit de classe.
Explications Globales : Les attributions agrégées s'alignaient avec les attentes intuitives (ex. : « rayé » est fortement attribué à « zèbre »). La méthode a également mis en évidence des biais potentiels du modèle, tels qu'une dépendance excessive à certaines caractéristiques.
Validation Quantitative : Dans l'expérience contrôlée basée sur les tags, les attributions de Visual-TCAV ont correctement reflété la vérité de terrain : à mesure que les modèles étaient entraînés sur des pourcentages croissants d'images taguées, l'attribution se déplaçait de l'entité (ex. : « zèbre ») vers le tag (ex. : « Z »).
Comparaison avec TCAV : Bien que les scores TCAV soient restés élevés pour les entités et les tags même lorsque les modèles ne parvenaient pas à les distinguer (en raison de la dépendance aux signes des gradients), Visual-TCAV a correctement distingué l'importance relative en mesurant les amplitudes de gradient, montant une attribution proche de zéro pour les concepts non pertinents dans les modèles en surapprentissage.

Signification et Revendications

L'article affirme que Visual-TCAV offre une explication plus complète que les méthodes existantes en quantifiant à quel point un concept influence une prédiction, et non pas seulement si le réseau y est sensible.

Il répond à la limitation de TCAV dans l'évaluation des erreurs de prédiction et la vérification de l'ancrage spatial.
Il fournit un mécanisme pour détecter quand les modèles s'appuient sur des raccourcis (ex. : des tags plutôt que des objets), ce qui est crucial pour les applications de sécurité critique.
Les auteurs notent modestement des limitations : la collecte d'exemples de concepts nécessite des connaissances métier, et la méthode ne fournit pas de garantie de complétude (elle ne peut pas vérifier que les concepts testés sont exhaustifs de ce que le modèle a appris).
Des travaux futurs sont proposés pour appliquer la méthode aux Vision Transformers (ViT) et aux tâches de régression, bien que les auteurs reconnaissent les défis de l'ancrage spatial dans les architectures basées sur l'attention.