Résumé technique : L'interprétabilité mécaniste pour les réseaux de neurones

Problématique

Les modèles de langage de grande taille (LLM) et les Vision Transformers (ViT) modernes, basés sur l'architecture Transformer, fonctionnent comme des « boîtes noires » complexes. Bien que les méthodes traditionnelles d'IA explicable (XAI), telles que les cartes de saillance, LIME et SHAP, fournissent des corrélations de surface entre les entrées et les sorties, elles échouent à rétro-concevoir les algorithmes internes responsables du comportement du modèle. Cette opacité pose des risques importants dans les domaines à enjeux élevés (ex. : santé, droit, conduite autonome) où la sécurité, l'auditabilité et la confiance sont primordiales.

Un obstacle majeur à la compréhension de ces modèles est la superposition et la polysémicité. Les réseaux de neurones compressent un grand nombre de caractéristiques ($M$) dans un nombre limité de dimensions ($D$, où $M \gg D$). Par conséquent, les neurones individuels répondent souvent à des mélanges de concepts sans rapport (polysémicité) plutôt qu'à des caractéristiques uniques et bien définies (monosémicité). Cette distribution du sens à travers des espaces de haute dimension rend l'analyse traditionnelle au niveau du neurone trompeuse. De plus, bien que les visualisations d'attention révèlent où l'information est acheminée, elles n'expliquent pas toujours ce que l'information représente ou si elle est causalement nécessaire pour la sortie.

Méthodologie

Cet article présente une revue de portée sur l'interprétabilité mécaniste (MI), un domaine dédié à la rétro-conception des réseaux de neurones en algorithmes, pseudo-code et composants fonctionnels interprétables par l'humain. La méthodologie suit les directives PRISMA-ScR, cartographiant le paysage des outils et concepts de la MI sans évaluation critique obligatoire de la qualité des études individuelles.

La revue se concentre sur trois piliers méthodologiques principaux :

1. Analyse de circuits : Décomposition des modèles en sous-réseaux causaux (circuits) composés de têtes d'attention, de couches MLP et de flux résiduels (residual streams).
2. Décomposition des caractéristiques (Feature Disentanglement) : Utilisation d'auto-encodeurs creux (SAE) et de transcodeurs pour séparer les activations polysémiques en caractéristiques monosémiques.
3. Intervention et intégration neurosymbolique : Modification du comportement du modèle via des vecteurs de pilotage (steering vectors) et traduction des représentations neuronales en règles logiques explicites.

La revue donne la priorité aux recherches de 2018 à 2026, avec un accent particulier sur les architectures Transformer (LLM, ViT, VLA) et des méthodes telles que l'Automated Circuit Discovery (ACDC), l'activation patching et la Linear Artificial Tomography (LAT).

Contributions clés et résultats techniques

1. Analyse de circuits de Transformers

L'article détaille comment les modèles Transformer peuvent être rétro-conçus en analysant le flux résiduel (le canal de communication central) et les mécanismes d'attention.

• Décomposition de circuits : La revue souligne l'Hypothèse de l'Universalité, qui postule que des modèles similaires entraînés sur des données similaires développent des circuits internes similaires. Cela permet l'identification de chemins de calcul réutilisables.
• Têtes d'induction (Induction Heads) : Une découverte critique est l'identification des têtes d'induction, responsables de l'apprentissage en contexte (in-context learning). Ces têtes opèrent via un sous-circuit en trois parties : (A) porter attention au jeton précédent, (B) faire correspondre la requête-clé pour trouver un motif, et (C) copier le jeton suivant. Ce mécanisme émerge via une transition de phase abrupte et est additif ; le réseau possède une redondance massive où des têtes plus faibles peuvent compenser si des têtes plus fortes sont ablées.
• Identification de l'objet indirect (IOI) : La tâche IOI sert de référence pour l'analyse de circuit. Dans GPT-2 Small, la tâche est résolue par un circuit spécifique de 26 têtes d'attention (Têtes de duplication de jetons, Têtes d'inhibition S, et Têtes de déplacement de nom). L'article note que cette structure de circuit varie dans les architectures non-Transformer (ex. : Mamba), démontrant que les outils d'interprétation doivent être conscients de l'architecture.
• Découverte automatisée : Pour remédier à la consommation de temps de l'analyse manuelle, l'article passe en revue l'Automated Circuit Discovery (ACDC), qui utilise l'activation patching pour élaguer les arêtes non pertinentes dans un grapphe de calcul. Des méthodes plus évolutives comme l'Edge Attribution Patching (EAP) et l'ALTI utilisent la linéarisation du gradient pour attribuer l'importance aux connexions lors d'un seul passage avant/arrière, éliminant le besoin de modèles contrastifs artificiels.

2. Superposition et auto-encodeurs creux (SAEs)

Pour traiter la polysémicité, l'article se concentre sur les Auto-encodeurs Creux (SAEs).

• Mécanisme : Les SAE sont entraînés sur les activations d'un modèle de base gelé pour décomposer les vecteurs denses et polysémiques en un dictionnaire surcomplet et creux de caractéristiques monosémiques.
• Architectures : La revue compare les SAE standards avec des variantes avancées comme les Gated SAEs, TopK SAEs et JumpReLU SAEs, qui atténuent des problèmes tels que l'effet de rétrécissement (shrinkage effect) et les caractéristiques latentes mortes.
• Lois d'échelle (Scaling Laws) : L'erreur de reconstruction diminue selon une fonction de puissance par rapport au nombre de caractéristiques latentes, suggérant que la désagrégation complète des modèles de pointe pourrait nécessiter des dictionnaires comprenant des dizaines ou des centaines de millions de caractéristiques.
• Transcodeurs : Alors que les SAE reconstruisent les activations statiques, les Transcodeurs (et les transcodeurs inter-couches) apprennent à imiter le comportement entrée-sortie de couches MLP entières ou de transformations multi-couches. Cela permet aux chercheurs de tracer la manière dont l'information est transformée plutôt que simplement ce qui est représenté.
• Traitement multilingue : En utilisant des transcodeurs inter-couches, l'article révèle que les modèles multilingues traitent le texte en trois phases : encodage spécifique à la langue, un espace sémantique partagé et indépendant de la langue (couches intermédiaires), et décodage spécifique à la langue. Cet espace partagé est une propriété architecturale, et non un simple artefact de la dominance de l'anglais dans les données d'entraînement.

3. Vecteurs de pilotage et interventions d'activation

L'article explore les vecteurs de pilotage (steering vectors) comme méthode d'intervention causale.

• Hypothèse de la Représentation Linéaire (LRH) : Cette hypothèse suggère que les concepts de haut niveau (ex. : véracité, sentiment) sont encodés comme des directions linéaires dans l'espace d'activation.
• Méthodes d'extraction : Les techniques vont de la simple différence d'activation (ActAdd) aux méthodes contrastives robustes (CAA) et à la Linear Artificial Tomography (LAT).
• Pilotage basé sur les SAE : En utilisant les SAE pour isoler des caractéristiques spécifiques, les chercheurs peuvent effectuer un clampage de caractéristique (feature clamping) (fixer ou amplifier l'activation d'une caractéristique) pour altérer causalement le comportement du modèle. Par exemple, amplifier les vecteurs de « désespoir » peut induire des stratégies néfastes, tandis qu'amplifier les vecteurs de « conflit interne » peut forcer un modèle à révéler des informations cachées.
• Contrôle dynamique : Des méthodes comme le Dynamic Sparse Prompt-conditional Activation steering (DSPA) permettent un pilotage sensible au contexte en analysant les prompts dans les couches précoces et en activant les caractéristiques de contrôle dans les couches ultérieures.

4. Cadres neurosymboliques

L'article relie l'MI à l'IA neurosymbolique (NeSy), qui vise à extraire des règles logiques explicites des réseaux de neurones.

• Extraction de règles : Des cadres comme NeSyFOLD (pour les CNN) et NeSViT (pour les Vision Transformers) extraient des règles logiques stratifiées (programmes Answer Set) à partir des activations du modèle. Ces règles utilisent la logique par défaut (ex. : « Les oiseaux volent » avec l'exception « sauf si ce sont des pingouins ») pour approximer les frontières de décision.
• Intégration : Contra qu'à l'extraction pure, des cadres comme Logic-LM et LLM-Modulo intègrent les LLM avec des solveurs symboliques externes. Le LLM traduit le langage naturel en logique formelle, qui est ensuite résolue par un solveur déterministe, offrant des garanties de correction que le raisonnement neuronal pur ne possède pas.

Résultats et affirmations de l'importance

L'article affirme que l'interprétabilité mécaniste a réussi à dépasser les corrélations de surface pour identifier des comptes algorithmiques et causaux du comportement des réseaux de neurones.

• Validation de la structure : Le domaine a démontré que les comportements complexes (ex. : apprentissage en contexte, identification de l'objet indirect) ne sont pas arbitraires mais sont implémentés par des circuits structurés et identifiables.
• Contrôle causal : La capacité de piloter les modèles via des caractéristiques spécifiques (ex. : supprimer les caractéristiques de « code dangereux » ou amplifier la « véracité ») fournit une preuve empirique que les représentations internes sont liées causalement au comportement de sortie.
• Implications pour la sécurité : L'article soutient que la compréhension des mécanismes internes est essentielle pour la sécurité de l'IA. L'alignement conventionnel (ex. : RLHF) peut ne faire que masquer les comportements indésirables en surface, tandis que l'interprétabilité mécaniste peut détecter et modifier les stratégies de raisonnement sous-jacentes.
• Limites : Les auteurs notent modestement que la plupart des analyses de circuits détaillées sont actuellement limitées à de petits modèles ou des tâches synthétiques. Il existe un écart important entre expliquer GPT-2 Small et expliquer le raisonnement ou la tromperie dans des systèmes à l'échelle de la frontière. De plus, bien que les SAE améliorent l'interprétabilité, ils ne constituent pas une solution complète, car ils peuvent fragmenter les concepts ou échouer à capturer les transformations dynamiques sans les transcodeurs.

Conclusion

L'article conclut que l'interprétabilité mécaniste est une évolution nécessaire pour assurer la sécurité et l'auditabilité de l'IA. Bien que le domaine ait réalisé des progrès substantiels dans la rétro-conception de circuits et de caractéristiques spécifiques, la question centrale demeure de savoir si ces techniques peuvent passer à l'échelle face à la complexité des modèles de pointe à usage général. Les travaux futurs doivent se concentrer sur la découverte automatisée à grande échelle, de meilleurs bancs d'essai d'évaluation et le développement de modèles qui sont « interprétables par conception ».