What is Missing? Explaining Neurons Activated by Absent Concepts

Cet article met en évidence l'omission fréquente des concepts absents dans les méthodes d'IA explicable (XAI) et propose des extensions simples aux techniques d'attribution et de visualisation pour révéler ces absences codées, améliorant ainsi l'interprétabilité et le débiaisage des modèles.

L'essentiel

🕵️‍♂️ Le Détective Manquant : Ce que l'IA "voit" en ne voyant rien

Imaginez que vous essayez de comprendre comment un détective (une Intelligence Artificielle) résout un crime. Habituellement, les experts en IA (ce qu'on appelle l'IA explicable) se concentrent sur ce qui est présent dans la photo du crime.

• "Ah ! Le détective a vu un chapeau rouge, donc il pense que c'est le suspect !"
• "Il a vu une voiture bleue, donc c'est le coupable !"

C'est ce qu'on appelle l'analyse des présences. Mais ce papier de recherche nous dit quelque chose de fascinant : parfois, le détective se fie à ce qui n'est pas là.

🧠 L'Analogie du "Non-Élément"

Prenons l'exemple d'un chien. Si vous voulez distinguer un Setter Irlandais d'un Spaniel Sussex, vous ne regardez pas seulement les oreilles du Setter (ce qui est présent). Vous regardez aussi l'absence de certaines caractéristiques du Spaniel.

• Si le chien a un museau très long et pointu (présence du Setter) ET qu'il n'a pas de poils frisés typiques du Spaniel (absence du Spaniel), alors c'est un Setter.

Le problème, c'est que les outils actuels pour expliquer l'IA sont comme des flashs de caméra. Ils éclairent tout ce qui est visible (le museau, les oreilles), mais ils sont aveugles à l'ombre laissée par ce qui manque. Ils ne peuvent pas dire : "Le modèle a été rassuré parce que le chien n'avait pas de queue touffue."

🚫 Le Problème : Les Outils Actuels sont "Myopes"

Les chercheurs ont découvert que les méthodes classiques pour comprendre les réseaux de neurones (les "cerveaux" de l'IA) échouent souvent à voir ces absences.

• L'outil classique (Attribution) : Il pointe du doigt les pixels qui aident à la décision. Si un pixel aide à dire "Ce n'est pas un Spaniel", l'outil classique ne le voit pas, car ce pixel n'est pas là !
• La visualisation classique : Si on demande à l'IA "Montre-moi ce qui fait réagir ce neurone", elle va générer une image avec un Setter. Elle ne va pas générer une image avec "pas de Spaniel", car c'est difficile à dessiner.

En gros, l'IA utilise des indices négatifs ("Ce n'est pas ça") pour prendre ses décisions, mais nos outils d'investigation ne savent pas lire ces indices.

💡 La Solution : Changer de Lunettes

Les auteurs proposent deux astuces simples pour réparer ces lunettes :

1. L'Attribution "Non-Cible" (Regarder ailleurs) :
   Au lieu de demander "Qu'est-ce qui a fait dire 'Setter' ?", on demande : "Si on prenait une photo d'un Spaniel et qu'on la montrait au modèle, qu'est-ce qui ferait baisser sa confiance pour dire 'Setter' ?"

   • Analogie : C'est comme si le détective disait : "Je suis sûr que ce n'est pas le suspect A, parce que le suspect A aurait eu une cicatrice, et cette cicatrice est absente ici." En regardant ce qui manque dans l'image du suspect A, on comprend pourquoi le modèle rejette cette hypothèse.

2. La Visualisation par Minimisation (Chercher le pire) :
   Au lieu de demander "Montre-moi l'image qui fait le plus briller ce neurone", on demande : "Montre-moi l'image qui fait éteindre ce neurone."

   • Analogie : Si un neurone s'active quand il voit un Setter, il va s'éteindre (ou s'activer moins) s'il voit un Spaniel. En cherchant l'image qui "éteint" le neurone, on découvre visuellement ce que le modèle déteste voir (l'absence du Setter, ou la présence du Spaniel).

🌍 Pourquoi est-ce important ?

C'est crucial pour deux raisons :

1. La Précision (Les détails fins) : Pour distinguer des choses très similaires (comme deux races de chiens ou deux maladies de peau), l'IA a besoin de savoir ce qui n'est pas là. Sans comprendre cela, on ne comprend pas vraiment comment l'IA fonctionne.
2. La Justice (Débiaiser l'IA) : Parfois, l'IA apprend des raccourcis injustes.
   • Exemple : Imaginez un modèle médical qui dit "Ce grain de beauté est bénin" simplement parce qu'il y a une tache de couleur sur la peau (qui est souvent présente sur les photos de grains de beauté bénins dans les bases de données).
   • Si on essaie de corriger l'IA en lui disant "Ne regarde pas la tache de couleur", elle pourrait apprendre l'inverse : "Si je ne vois pas de tache de couleur, alors c'est dangereux !"
   • En utilisant les nouvelles méthodes de ce papier, on peut voir que l'IA utilise l'absence de la tache pour se tromper, et on peut la corriger des deux côtés (présence ET absence) pour qu'elle soit vraiment juste.

🏁 En Résumé

Ce papier nous apprend que pour vraiment comprendre une Intelligence Artificielle, il ne suffit pas de regarder ce qu'elle voit. Il faut aussi comprendre ce qu'elle ne voit pas et comment cette absence influence sa décision.

C'est comme écouter une conversation : comprendre ce qui est dit est important, mais comprendre ce qui est sous-entendu ou ce qui est taou est souvent la clé pour saisir le vrai sens du message. Les auteurs ont créé de nouveaux outils pour entendre ces "silences" numériques.

Résumé technique

1. Le Problème : L'aveuglement des méthodes XAI actuelles

L'Intelligence Artificielle Explicable (XAI) vise à fournir des interprétations humaines du comportement des réseaux de neurones profonds (DNN). Les méthodes dominantes, telles que les méthodes d'attribution (ex: Integrated Gradients, LIME) et la visualisation de caractéristiques (feature visualization), reposent sur une hypothèse implicite fondamentale : elles associent l'activation d'un neurone à la présence de concepts spécifiques dans l'entrée.

• Limitation actuelle : Ces méthodes identifient les pixels ou les motifs qui contribuent positivement à une prédiction. Cependant, elles négligent un type de relation causale crucial : l'absence codée (encoded absence).
• Le phénomène manquant : Dans de nombreux cas, l'absence d'un concept (ex: l'absence d'un museau de chien spécifique) peut augmenter l'activation d'un neurone ou être déterminante pour une classification fine. Les méthodes standards échouent à révéler ces signaux inhibiteurs car elles se concentrent uniquement sur ce qui est présent dans l'image.

2. Méthodologie et Contributions Théoriques

Les auteurs proposent une reformulation causale de l'absence codée et deux extensions simples aux méthodes XAI existantes pour les révéler.

A. Définition Causale de l'Absence Codée

L'article définit formellement l'absence codée comme une relation causale où la présence d'un concept $\hat{x}$ dans l'entrée entraîne une diminution de l'activation d'un neurone $z_j$.

• Formellement : $f_j^{(l)}([x, C_{\hat{x}}=1]) < f_j^{(l)}([x, C_{\hat{x}}=0])$.
• Cela signifie que le neurone encode activement l'absence du concept (équivalent logique à une opération NOT).

B. Preuve Mécaniste

Les auteurs démontrent que les DNN peuvent implémenter ce mécanisme via une construction simple :

1. Une connexion négative (poids négatifs) depuis un neurone codant la présence du concept $\hat{x}$.
2. Une source de potentiel positif (via un autre concept $\tilde{x}$ ou un biais) qui active le neurone cible lorsque $\hat{x}$ est absent.

C. Extensions Méthodologiques Proposées

Pour contourner les limites des méthodes standards, les auteurs proposent deux modifications :

1. Attribution Non-Cible (Non-Target Attribution) :

   • Principe : Au lieu de calculer l'attribution pour la classe cible $t$ uniquement sur des images de classe $t$ (où le concept absent n'est pas présent), on calcule l'attribution pour la classe $t$ sur des images d'autres classes où le concept est présent.
   • Résultat : Si le concept inhibe la classe $t$, l'attribution sera négative sur ces images, révélant ainsi le signal d'absence.

2. Visualisation de Caractéristiques par Minimisation (Feature Visualization through Minimization) :

   • Principe : Au lieu de maximiser l'activation d'un neurone (ce qui montre les concepts présents), on cherche l'entrée $\hat{x}$ qui minimise l'activation du neurone.
   • Résultat : Les motifs qui minimisent l'activation sont ceux qui inhibent le neurone, révélant ainsi les concepts dont l'absence est codée.

3. Résultats Expérimentaux

Les auteurs valident leur approche sur trois niveaux de complexité :

A. Détecteur de Hassenstein-Reichardt (Modèle artisanal)

• Contexte : Un petit CNN simule un détecteur biologique de mouvement (mouvement gauche-droite vs bi-directionnel).
• Résultat : Les méthodes standards ne voient que le mouvement présent. Les méthodes proposées révèlent que le neurone cible est activé par le mouvement gauche-droite uniquement en l'absence de mouvement droite-gauche.

B. Modèle Jouet (Toy Model)

• Contexte : Classification binaire (présence d'un pixel vert vs absence).
• Résultat : Le modèle apprend à encoder l'absence du pixel vert. L'attribution non-cible et la minimisation identifient correctement le pixel vert comme un signal inhibiteur, là où les méthodes standards ne montrent que le fond (potentiel positif).

C. Modèles de Classification ImageNet (VGG19, ResNet-50)

• Analyse Quantitative : En insérant des patchs "les moins activateurs" (least activating patches) dans des images, les auteurs observent une chute drastique de l'activation des canaux, prouvant l'existence généralisée d'absences codées (près de 100% des canaux dans ResNet-50).
• Analyse Qualitative (Classification Fine) : Pour distinguer des races de chiens similaires (ex: Border Collie vs Leonberger), les modèles utilisent l'absence de caractéristiques spécifiques à la race concurrente pour affiner la décision.
• Débiaisage (Debiasing) :
  • Scénario : Un modèle biaisé sur le dataset ISIC (lésions cutanées) associe la présence de "patchs colorés" à des lésions bénignes.
  • Échec partiel : Le débiaisage par attribution standard (présence) empêche le modèle de se fier à la présence du patch, mais il continue de se fier à son absence pour prédire le malin.
  • Solution : L'approche Presence + Absence Debiasing (en supprimant l'attribution pour les deux classes sur les patchs colorés) élimine totalement le biais, permettant au modèle de se baser sur des caractéristiques intrinsèques de la lésion.

4. Signification et Impact

• Changement de paradigme XAI : L'article démontre qu'une explication complète d'un DNN ne peut se limiter aux concepts présents. L'absence d'un concept est une information causale aussi puissante que sa présence.
• Robustesse et Biais : Les biais dans les modèles peuvent provenir de l'absence de certaines caractéristiques (et pas seulement de leur présence). Ignorer cela conduit à des modèles qui échouent lorsque la distribution des données change (ex: biais inversé).
• Interprétabilité : Les modifications proposées (attribution non-cible, minimisation) sont simples à implémenter sur n'importe quel DNN existant sans réentraînement, offrant une vue plus complète et mécaniste du raisonnement du modèle.

En conclusion, ce travail comble une lacune majeure dans la littérature XAI en formalisant et en fournissant des outils pour détecter et expliquer comment les réseaux de neurones utilisent l'information négative (l'absence) pour prendre des décisions.