Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation

Ce papier propose un cadre « Sélectionner-Hypothétiser-Vérifier » pour interpréter les fonctions des neurones en validant que les concepts générés activent effectivement les neurones correspondants, surmontant ainsi les limites des méthodes existantes qui peuvent produire des interprétations erronées pour des neurones redondants ou trompeurs.

L'essentiel

Imaginez que vous essayez de comprendre comment fonctionne un orchestre symphonique géant (le réseau de neurones) qui joue une musique complexe (prend des décisions, comme reconnaître un chat ou une voiture).

Le Problème : L'Orchestre est une Boîte Noire

Jusqu'à présent, les scientifiques regardaient cet orchestre et disaient : "Regardez ce musicien (ce neurone), il joue fort quand on voit un chat. Donc, ce musicien est l'expert des chats !"

Mais il y a un gros souci :

1. Certains musiciens sont faux : Parfois, un musicien joue fort par hasard, ou parce qu'il y a du bruit, pas parce qu'il comprend vraiment la musique.
2. On fait confiance à l'oreille sans vérifier : Les anciennes méthodes supposaient que si un musicien semblait jouer fort, c'était vrai. Elles ne vérifiaient jamais si ce musicien savait vraiment jouer la partition.

C'est comme si vous disiez à un ami : "Ce type a l'air de savoir cuisiner parce qu'il porte un tablier", sans jamais lui demander de faire un plat. Il pourrait juste porter le tablier pour le style !

La Solution : Le Méthode "SIEVE" (Le Tamis)

Les auteurs de ce papier proposent une nouvelle méthode appelée SIEVE (qui signifie "Tamis" en anglais). Ils s'inspirent de la méthode scientifique utilisée par les neuroscientifiques pour étudier le cerveau humain.

Leur approche se déroule en trois étapes simples, comme une enquête policière :

1. Sélectionner (Le Tamisage)

Au lieu d'écouter tous les musiciens tout le temps, on ne garde que ceux qui jouent vraiment fort et de manière cohérente quand on leur montre des chats.

• L'analogie : Imaginez que vous cherchez des pépites d'or dans une rivière. Vous ne prenez pas tout le sable. Vous utilisez un tamis pour ne garder que les gros morceaux brillants. Ici, on tamise les images pour ne garder que celles qui font "résonner" le neurone de manière claire, en éliminant le bruit de fond.

2. Hypothétiser (La Devinette)

Une fois qu'on a les meilleures images (les pépites), on demande à une intelligence artificielle (un grand modèle de langage) de deviner ce que ce neurone cherche.

• L'analogie : On regarde les images sélectionnées et on dit : "Tiens, sur toutes ces photos, on voit des poils bouclés et des moustaches rondes. Donc, ce musicien est probablement l'expert des 'moustaches rondes et poils bouclés'."
• C'est notre hypothèse. Mais attention, ce n'est pas encore une vérité absolue !

3. Vérifier (Le Test de Vérité)

C'est l'étape révolutionnaire. Au lieu de juste accepter la devinette, on la teste.

• L'analogie : On prend la phrase "moustaches rondes et poils bouclés" et on demande à un générateur d'images de créer de nouvelles photos basées uniquement sur cette description.
• Ensuite, on montre ces nouvelles photos au musicien (le neurone).
  • Si le musicien joue fort : Bravo ! L'hypothèse est vraie. Le neurone comprend vraiment ce concept.
  • Si le musicien reste silencieux : Oh oh ! L'hypothèse était fausse. Ce neurone ne s'intéresse pas aux moustaches, c'était juste un hasard. On jette cette idée à la poubelle.

Pourquoi est-ce génial ?

Dans les anciennes méthodes, on acceptait n'importe quelle explication, même fausse. Avec SIEVE, on fait un cercle vertueux :

1. On choisit les bons exemples.
2. On devine ce qu'ils signifient.
3. On force le neurone à prouver qu'il a raison en lui montrant des images qu'il n'a jamais vues, créées à partir de notre description.

Le Résultat

Les auteurs ont testé leur méthode sur plusieurs réseaux de neurones (comme ResNet et ViT).

• Le résultat : Leurs explications sont beaucoup plus fiables.
• La statistique : Les concepts qu'ils génèrent font réagir les neurones correctement 1,5 fois plus souvent que les meilleures méthodes actuelles.

En Résumé

Ce papier nous dit : "Ne faites pas confiance aux apparences."
Au lieu de simplement regarder ce qu'un neurone fait et de deviner, il faut créer un test pour voir si ce neurone comprend vraiment ce qu'on lui dit. C'est comme passer d'une simple observation à une expérience de laboratoire rigoureuse pour comprendre comment l'intelligence artificielle "pense".

Résumé technique

1. Problématique

L'interprétabilité des réseaux de neurones profonds (DNN) est cruciale pour comprendre leurs mécanismes de décision, notamment dans des applications critiques. Les méthodes existantes tentent de décrire la fonction des neurones (leurs "concepts") en générant des descriptions en langage naturel à partir d'images activant fortement ces neurones.

Cependant, ces approches reposent sur deux hypothèses problématiques :

1. L'hypothèse de la fonction définie : Elles supposent que chaque neurone possède une fonction bien définie et fournit des caractéristiques discriminantes pour la prise de décision du réseau. En réalité, de nombreux neurones sont redondants ou produisent des activations bruitées sans signification sémantique claire.
2. L'hypothèse de la justesse des concepts : Elles considèrent que les concepts inférés à partir des activations sont automatiquement corrects.

L'absence de validation conduit à des interprétations erronées, où des activations aléatoires sont interprétées à tort comme des fonctions significatives, faussant ainsi la compréhension humaine du modèle.

2. Méthodologie : Le cadre SIEVE

Pour répondre à ces limites, les auteurs proposent un nouveau cadre nommé SIEVE (Select–Hypothesize–Verify), inspiré de la méthodologie scientifique (observation, hypothèse, vérification par expérience contrôlée). Ce cadre vise à filtrer les neurones non discriminants et à valider la justesse des concepts générés.

Le processus se déroule en trois étapes :

A. Sélection (Select)

L'objectif est d'identifier les échantillons d'activation les plus représentatifs d'un comportement fonctionnel bien défini.

• Analyse de la distribution : Pour chaque neurone, on examine sa distribution d'activation sur un ensemble de données de sondage (probe dataset).
• Filtrage par ratio : On calcule le ratio entre le 99e percentile et la médiane de la distribution d'activation. Un ratio élevé indique que le neurone réagit fortement à des stimuli spécifiques et faiblement aux autres (neurone discriminant).
• Seuil $\beta$ : Un seuil est appliqué pour rejeter les neurones dont la réponse est trop dispersée (bruitée). Seuls les 20 meilleurs échantillons d'activation pour les neurones qualifiés sont conservés pour les étapes suivantes.

B. Hypothèse (Hypothesize)

Cette étape vise à formuler des hypothèses sur le rôle fonctionnel des neurones sélectionnés.

• Clustering : Les images à forte activation sont d'abord recadrées sur les zones d'activation maximale (pour éliminer le fond) et leurs vecteurs de caractéristiques sont extraits. Un clustering agglomératif (avec détermination automatique du nombre de clusters via le Silhouette score) regroupe ces images en motifs de réponse distincts.
• Génération de concepts : Pour chaque cluster, un modèle vision-langage (comme CLIP) est utilisé pour trouver les concepts textuels pré-définis qui correspondent le mieux aux images du cluster. Les concepts les plus similaires sont retenus comme hypothèses fonctionnelles.

C. Vérification (Verify)

C'est l'étape novatrice qui distingue SIEVE des méthodes précédentes. Elle teste la causalité entre le concept hypothétique et l'activation du neurone.

• Génération d'images guidée par l'hypothèse : Chaque concept hypothétique est utilisé comme prompt pour un modèle de génération d'images (Text-to-Image, ex: Stable Diffusion) afin de créer un nouvel ensemble d'images indépendantes de l'ensemble de sondage initial.
• Taux d'activation (Activation Rate - AR) : Ces images générées sont injectées dans le réseau cible. On mesure le pourcentage d'images qui activent le neurone au-delà d'un seuil de significativité (défini par le top 1% de la distribution originale).
• Critère de validation : Un taux d'activation élevé confirme que le concept correspond bien à la fonction réelle du neurone. Les concepts avec un faible taux d'activation sont rejetés comme étant des interprétations erronées.

3. Contributions Clés

1. Cadre SIEVE : Introduction d'un cycle fermé "Sélectionner-Hypothétiser-Vérifier" pour l'interprétation des neurones, s'éloignant de l'approche purement observationnelle.
2. Filtrage des neurones redondants : Proposition d'un mécanisme de filtrage basé sur la distribution d'activation pour éviter d'attribuer des concepts à des neurones non discriminants.
3. Validation par intervention constructive : Utilisation de la génération d'images pour valider expérimentalement les hypothèses de concepts, garantissant que les descriptions reflètent la véritable fonction interne du réseau.
4. Amélioration de la précision : Démonstration que les concepts générés par SIEVE activent les neurones correspondants avec une probabilité nettement supérieure aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs architectures (ResNet-18, ResNet-50, ViT-B/16) et ensembles de données (ImageNet, Places365, Eurosat).

• Métriques Quantitatives :
  • Taux d'Activation Moyen (Mean AR) : C'est la métrique principale de vérification. SIEVE obtient un taux d'environ 85-86%, contre environ 55-58% pour les meilleures méthodes existantes (CLIP-Dissect, WWW, DnD). Cela représente une amélioration d'environ 1,5 fois.
  • Similarité Sémantique : SIEVE obtient également les meilleurs scores de similarité (Cosine CLIP et MPNet) entre les concepts générés et les étiquettes de vérité terrain dans la dernière couche.
• Résultats Qualitatifs :
  • SIEVE produit des descriptions plus fines et précises (ex: "Poil court et dense" au lieu de simplement "Chien").
  • Il réussit à capturer plusieurs concepts distincts pour un même neurone (via le clustering), là où les méthodes de base n'en donnent souvent qu'un seul et parfois incorrect.
• Robustesse au Décalage de Domaine (Domain Shift) :
  • Même dans des scénarios avec un décalage de domaine important (ex: données de télédétection Eurosat vs images générées), la vérification permet de maintenir des gains positifs, bien que les performances globales baissent légèrement.
• Étude d'Ablation :
  • L'étude montre que le module de Vérification a l'impact le plus significatif sur la qualité de l'interprétation, suivi par la Sélection. L'ajout de tous les modules ensemble maximise la performance.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interprétabilité des réseaux de neurones. Au lieu de simplement observer et décrire ce que les neurones semblent faire, SIEVE impose une rigueur scientifique en exigeant une validation expérimentale des hypothèses.

• Fiabilité : Il élimine les "hallucinations" d'interprétation où des motifs aléatoires sont présentés comme des concepts fonctionnels.
• Transparence : En garantissant que les concepts décrits activent réellement les neurones, il renforce la confiance dans les modèles d'IA, ce qui est essentiel pour le déploiement dans des domaines sensibles.
• Méthodologie : Il établit un nouveau standard pour l'évaluation des méthodes d'interprétation, suggérant que la simple corrélation n'est plus suffisante et que la causalité (via l'intervention) doit être prouvée.

En résumé, SIEVE transforme l'interprétation des neurones d'un exercice de description en un processus de validation scientifique, produisant des explications plus fiables, précises et utiles pour comprendre le comportement des modèles d'apprentissage profond.