Causal Interpretation of Neural Network Computations with Contribution Decomposition

Ce papier présente CODEC, une méthode utilisant des autoencodeurs parcimonieux pour décomposer les contributions des neurones cachés et révéler les processus causaux, la parcimonie croissante et la décorrélation des effets dans les réseaux de neurones, offrant ainsi un cadre interprétable pour la manipulation et la compréhension des calculs non linéaires.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans bagage technique.

🧠 Le Grand Mystère de la "Boîte Noire"

Imaginez que vous avez un robot super-intelligent capable de reconnaître des animaux sur des photos. Si vous lui montrez un chat, il dit "Chat". Si vous lui montrez un chien, il dit "Chien". C'est génial, mais il y a un problème : comment fait-il ?

À l'intérieur de ce robot, il y a des millions de petits interrupteurs (des neurones) qui s'allument et s'éteignent. Les chercheurs ont longtemps essayé de comprendre le robot en regardant simplement quels interrupteurs s'allument (les "activations"). C'est comme regarder une ville la nuit en comptant les maisons où les lumières sont allumées. On sait qu'il y a de l'activité, mais on ne sait pas pourquoi ces lumières sont allumées ni si elles aident vraiment le robot à prendre sa décision.

🔍 La Nouvelle Méthode : CODEC (Le Détective Causal)

Les auteurs de ce papier (Joshua, Zaki, Shenghua et leurs collègues) ont inventé une nouvelle méthode appelée CODEC. Au lieu de juste regarder quelles lumières sont allumées, CODEC demande : "Quelle est la contribution réelle de chaque interrupteur au résultat final ?"

Voici l'analogie pour comprendre la différence :

• L'approche ancienne (Activations) : C'est comme regarder une équipe de football et dire : "Regardez, le joueur numéro 10 court partout !" Mais est-ce qu'il marque des buts ? Est-ce qu'il aide l'équipe à gagner ? Ou est-ce qu'il court partout en faisant du bruit sans servir à rien ?
• L'approche CODEC (Contributions) : C'est comme regarder le match et dire : "Le joueur numéro 10 a fait une passe décisive qui a mené au but." On ne regarde pas juste son mouvement, on regarde l'impact de son action sur le score.

🎨 Comment ça marche ? (L'Analogie du Chef de Cuisine)

Imaginez un grand restaurant (le réseau de neurones) avec une cuisine en plusieurs étages.

1. Les ingrédients (Entrée) : Ce sont les pixels de l'image (un chat, un panda).
2. Les chefs intermédiaires (Couches cachées) : Ils préparent des sauces, des découpes, des mélanges.
3. Le plat final (Sortie) : C'est la décision "C'est un Panda".

Jusqu'à présent, les chercheurs regardaient les chefs en train de travailler (les activations). CODEC, lui, regarde ce que chaque chef ajoute réellement au goût final du plat.

• Découverte 1 : La Sparsité (Le "Moins c'est Mieux")
  CODEC découvre que, contrairement à ce qu'on pensait, seuls quelques chefs très spécifiques travaillent vraiment pour un plat donné. Les autres sont là, mais ils ne contribuent pas vraiment au goût final. C'est comme si, pour faire un gâteau au chocolat, seuls le chocolat et le sucre comptaient vraiment, même si 50 autres ingrédients sont sur la table.

• Découverte 2 : Le Duo Positif/Négatif (Le Yinyang)
  Dans les couches profondes du réseau, CODEC voit que certains chefs aident à dire "C'est un panda" (contribution positive), tandis que d'autres aident à dire "Ce n'est pas un panda" (contribution négative).

  • L'analogie : Imaginez un débat. Certains disent "Oui, c'est un panda !" et d'autres disent "Non, ce n'est pas un panda !". CODEC sépare ces deux groupes. Il découvre que plus on va profondément dans le réseau, plus ces deux groupes se séparent et deviennent clairs. C'est crucial pour la précision.

• Découverte 3 : Les "Modes" (Les Équipes de Travail)
  CODEC regroupe les chefs qui travaillent ensemble pour former des "Modes".

  • Exemple : Il y a un "Mode Panda" qui regroupe tous les chefs qui s'occupent des oreilles rondes et des taches noires.
  • Le super-pouvoir : Grâce à CODEC, les chercheurs peuvent dire au robot : "Éteins tous les chefs du 'Mode Panda'." Et boum ! Le robot ne reconnaît plus les pandas, mais il reconnaît toujours les chats. C'est un contrôle précis que les anciennes méthodes ne permettaient pas.

🐠 Et pour les vrais cerveaux ? (La Rétine)

Les chercheurs ont aussi testé cette méthode sur un modèle du cerveau d'un poisson-zèbre (la rétine). Ils ont découvert que les cellules nerveuses ne travaillent pas seules, mais en combinaisons dynamiques.

• L'analogie : C'est comme un orchestre. Parfois, les violons jouent seuls, parfois les cuivres. Mais CODEC a permis de voir que pour certains sons complexes, c'est une combinaison précise de violons et de flûtes qui crée l'effet, et que cette combinaison change selon le moment. Cela aide à comprendre comment nos yeux voient le mouvement et les formes.

🚀 Pourquoi c'est important ?

1. Sécurité : Si on veut créer une IA sûre, il faut pouvoir comprendre exactement comment elle prend ses décisions. CODEC nous donne les "plans de construction" de la décision.
2. Contrôle : On peut maintenant modifier le comportement d'une IA de manière chirurgicale, sans tout casser.
3. Biologie : Cela aide les biologistes à comprendre comment les vrais cerveaux (comme celui de la rétine) traitent l'information.

En résumé

Ce papier nous dit : "Arrêtez de regarder juste qui est allumé. Regardez ce que chacun fait pour le résultat final."

CODEC est comme un traducteur qui transforme le bruit complexe d'un cerveau artificiel en une histoire claire, où l'on voit exactement quelles pièces du puzzle s'assemblent pour créer la compréhension. C'est un pas de géant pour rendre les intelligences artificielles moins mystérieuses et plus compréhensibles.

Résumé technique

Voici un résumé technique détaillé du papier de recherche intitulé "Causal Interpretation of Neural Network Computations with Contribution Decomposition", publié à la conférence ICLR 2026.

1. Problématique

L'interprétation des réseaux de neurones artificiels (RNA) et biologiques reste un défi majeur. Les méthodes existantes se concentrent principalement sur l'analyse des activations des couches cachées (par exemple, via des cartes de saillance ou des auto-encodeurs creux) pour identifier des motifs corrélés à des concepts humains. Cependant, une forte activation ne garantit pas une influence causale sur la sortie du réseau. Une unité peut être très active mais avoir un effet nul, voire inhibiteur, sur la décision finale.

Le problème central abordé est le suivant : Comment les composants internes d'un réseau agissent-ils collectivement pour construire la sortie à partir de l'entrée ? Il manque un cadre standardisé pour distinguer les éléments qui causent réellement la sortie de ceux qui sont simplement présents dans la représentation interne, et pour comprendre comment ces éléments interagissent de manière coordonnée.

2. Méthodologie : CODEC (Contribution Decomposition)

Les auteurs proposent CODEC, une méthode qui décompose le comportement du réseau en motifs creux de contributions des neurones cachés, révélant ainsi des processus causaux invisibles par l'analyse des activations seule.

Le cadre de travail se déroule en quatre étapes principales :

1. Cible de Contribution : Définition d'une fonction scalaire de sortie (ex: le logit d'une classe spécifique, la somme des top-k logits, ou l'entropie de la distribution) que l'on souhaite comprendre.
2. Algorithme de Contribution : Calcul de la contribution de chaque neurone caché à cette cible pour chaque entrée. Contrairement aux méthodes basées uniquement sur les gradients (comme Grad-CAM) ou les produits activation-gradient (ActGrad), CODEC utilise des méthodes d'attribution comme les Intégrated Gradients (IG) étendues aux couches cachées. Cela capture l'effet combiné du champ récepteur (sensibilité à l'entrée) et du champ projectif (effet sur la sortie).
   • Une contribution peut être positive (augmente la probabilité de la cible) ou négative (la diminue), révélant des mécanismes d'inhibition souvent masqués par les fonctions d'activation comme ReLU.
3. Décomposition des Contributions : Les contributions de tous les neurones à travers les différentes images sont décomposées en un ensemble de modes (ou motifs) à l'aide d'un auto-encodeur creux (Sparse Autoencoder - SAE).
   • Le SAE apprend un dictionnaire de modes (vecteurs de poids) et des coefficients de chargement (loadings) pour chaque image.
   • La contrainte de parcimonie (sparsity) force le réseau à représenter les contributions comme une combinaison linéaire d'un petit nombre de modes actifs.
4. Visualisation dans l'espace d'entrée : Les modes identifiés sont projetés dans l'espace d'entrée pour visualiser quelles caractéristiques de l'image (pixels) pilotent ces modes spécifiques.

3. Contributions Clés

• Changement de paradigme : Passage de l'analyse des activations (ce qui est vu) à l'analyse des contributions (ce qui est fait/causal).
• Découverte de modes causaux : La méthode identifie des groupes de neurones agissant de manière coordonnée pour produire des effets spécifiques sur la sortie, au-delà de la simple corrélation avec des classes.
• Application universelle : Le cadre est applicable aux réseaux artificiels (CNN, Transformers) et aux modèles biologiques (réseaux de neurones de la rétine).
• Outils de contrôle : La décomposition permet de manipuler le réseau de manière ciblée (ablation ou préservation de canaux spécifiques) pour contrôler la sortie.

4. Résultats Principaux

A. Réseaux de Neurones Convolutifs (CNN) - Ex: ResNet-50

• Évolution de la parcimonie et de la dimensionnalité : Les contributions deviennent plus parcimonieuses (seuls quelques canaux sont actifs) et plus dimensionnelles (plus de modes indépendants nécessaires pour expliquer la variance) à mesure que l'on progresse dans les couches du réseau, contrairement aux activations.
• Décorrélation des effets positifs et négatifs : Dans les premières couches, les contributions positives et négatives d'un canal sont fortement corrélées. En profondeur, elles se décorrèlent progressivement. Cela suggère que les couches profondes utilisent des mécanismes d'inhibition et d'excitation distincts et spécialisés, similaires aux champs récepteurs centre-périphérie en biologie.
• Corrélation avec les classes : Les modes de contributions sont plus fortement corrélés aux classes ImageNet que les modes d'activations, en particulier dans les couches intermédiaires.
• Contrôle du réseau :
  • Ablation : Supprimer seulement 2% des canaux les plus saillants identifiés par CODEC réduit drastiquement la précision pour la classe cible sans affecter les autres classes.
  • Préservation : Conserver uniquement les canaux d'un mode spécifique permet au réseau de classifier avec précision uniquement la classe cible, rendant les autres classes invisibles.
• Visualisation : Les cartes de contributions révèlent des composantes sémantiques interprétables (ex: "bois brillant", "mains" pour un violon) qui sont utilisées de manière cohérente à travers différentes classes.

B. Réseaux Biologiques - Modèles de la Rétine

• Application de CODEC à un modèle CNN de 3 couches simulant la rétine de vertébrés.
• Identification de modes d'action combinatoires des interneurones du modèle.
• Découverte que les champs récepteurs dynamiques (IRF) des cellules ganglionnaires résultent de la combinaison de plusieurs modes. Selon la combinaison de modes actifs, le champ récepteur peut varier de structures centre-périphérie classiques à des réponses orientées ou texturées.
• Cela génère des hypothèses testables expérimentalement sur la façon dont les neurones présynaptiques spécifiques pilotent l'activité des cellules ganglionnaires.

C. Vision Transformers (ViT)

• Application de CODEC aux couches de tokens, MLP et attention.
• Les contributions sont plus parcimonieuses que les activations.
• La décomposition révèle des modes distincts pour chaque type de couche.
• L'ablation basée sur les modes de contributions est plus efficace que celle basée sur les activations pour cibler des classes spécifiques, bien que la performance globale soit inférieure à celle des CNN (en raison de l'absence de biais d'équivariance spatiale explicite dans les Transformers).

5. Signification et Impact

Ce travail établit les modes de contribution comme une unité d'analyse fondamentale pour comprendre les calculs non linéaires dans les réseaux de neurones.

• Pour l'IA : CODEC offre un cadre interprétable pour comprendre comment les réseaux construisent leurs décisions, permettant un débogage plus efficace, une meilleure sécurité (détection de biais cachés) et potentiellement la conception d'architectures plus efficaces basées sur ces motifs causaux.
• Pour les Neurosciences : La méthode fournit un pont théorique entre les modèles computationnels et les données biologiques. Elle permet de formuler des hypothèses précises sur la fonction des circuits neuronaux (comme la rétine) en reliant les motifs de calcul abstraits aux mécanismes physiologiques (interactions excitatrices/inhibitrices).
• Unification : En traitant les réseaux biologiques et artificiels avec le même cadre d'analyse causale, CODEC ouvre la voie à une compréhension unifiée de l'intelligence, qu'elle soit naturelle ou artificielle.

En résumé, CODEC dépasse la simple visualisation des "features" pour révéler la mécanique causale de la transformation de l'information, offrant une compréhension plus profonde et un contrôle plus précis des systèmes neuronaux complexes.