💬 NLP

Constructing Interpretable Features from Compositional Neuron Groups

Ce papier propose d'utiliser la factorisation de matrice semi-non-négative (SNMF) pour décomposer les activations des réseaux de neurones multicouches en caractéristiques parcimonieuses et interprétables composées de neurones co-activés, démontrant que cette approche surpasse les autoencodeurs parcimonieux et les bases de référence supervisées dans le pilotage causal tout en révélant une structure hiérarchique des représentations de concepts dans les grands modèles de langage.

Auteurs originaux : Or Shafran, Atticus Geiger, Mor Geva

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Or Shafran, Atticus Geiger, Mor Geva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un orchestre massif et complexe. Pendant longtemps, les scientifiques tentant de comprendre le fonctionnement de cet orchestre se sont concentrés sur les musiciens individuels (les neurones). Ils pensaient : « Si je parviens à comprendre ce que fait un violoniste, je comprendrai la musique. »

Cependant, l'article soutient que cette approche est erronée. En réalité, les musiciens jouent souvent ensemble en groupes pour créer des sons spécifiques. Un seul violoniste peut jouer une note triste dans une chanson et une note joyeuse dans une autre. Le « sens » ne réside pas dans le violoniste seul ; il réside dans la combinaison des musiciens jouant simultanément.

Voici l'histoire de l'article, décomposée en concepts simples :

1. Le Problème : Le « Dictionnaire » était Trop Désordonné

Auparavant, les chercheurs tentaient de trouver ces groupes de musiciens en utilisant un outil appelé Autoencodeur Creux (SAE). Vous pouvez imaginer un SAE comme un bibliothécaire très ambitieux tentant d'organiser une bibliothèque chaotique. Il tente d'inventer de nouvelles « étagères » (caractéristiques) à partir de zéro pour ranger les livres (les données).

Le problème ? Le bibliothécaire crée parfois des étagères qui n'ont aucun sens pour les humains, ou les livres sur les étagères n'y appartiennent pas vraiment. Lorsque les chercheurs ont tenté d'utiliser ces étagères pour contrôler l'orchestre (le faire jouer une chanson spécifique), le système du bibliothécaire échouait souvent. C'était comme essayer de piloter un navire en utilisant une carte dessinée à partir de zéro sans regarder l'océan.

2. La Solution : L'Approche « Compositionnelle »

Les auteurs proposent une nouvelle méthode appelée SNMF (Factorisation de Matrice Semi-Nonnégative).

Au lieu d'inventer de nouvelles étagères, la SNMF examine la partition de l'orchestre (les mathématiques internes du modèle) et demande : « Quels musiciens jouent ensemble en ce moment ? »

L'Analogie : Imaginez que l'orchestre joue une chanson sur la « Pluie ». La SNMF n'invente pas un nouveau bouton « Pluie ». Au lieu de cela, elle remarque que la Flûte, le Violoncelle et les Timbales jouent tous fort en même temps. Elle les regroupe et dit : « Ce trio spécifique est la caractéristique 'Pluie'. »
La Différence Clé : Parce que la SNMF construit ses groupes directement à partir des musiciens qui jouent réellement, elle sait exactement quelles notes (entrées) ont déclenché ce groupe. C'est comme avoir une ligne directe avec le chef d'orchestre disant : « Quand vous voyez ces trois instruments, vous savez qu'il pleut. »

3. Les Résultats : Meilleur Contrôle et Sens Plus Clair

Les chercheurs ont testé cette nouvelle méthode sur plusieurs modèles d'IA célèbres (comme Llama 3.1 et Gemma 2). Ils l'ont comparée à l'ancienne méthode du « bibliothécaire » (SAE) et à une méthode supervisée très stricte (où les humains disent exactement à l'ordinateur quoi chercher).

Le Test de « Pilotage » : Ils ont tenté de « piloter » l'IA pour qu'elle parle de sujets spécifiques (comme « police » ou « histoire »). La SNMF était bien meilleure pour cela. Elle pouvait orienter la sortie de l'IA vers le sujet souhaité plus efficacement que les anciennes méthodes, tout en maintenant les phrases grammaticalement correctes et fluides.
Le Test de « Détection » : Ils ont vérifié si l'IA pouvait reconnaître quand un sujet était discuté. La SNMF a performé aussi bien que les meilleures méthodes existantes pour repérer ces concepts.

4. La Grande Découverte : La Structure « Lego »

La partie la plus fascinante de l'article est ce qu'ils ont découvert sur la façon dont ces groupes sont construits.

Ils ont découvert que l'IA construit des idées complexes en empilant des idées plus simples, comme des briques Lego.

L'Analogie : Imaginez que vous avez un groupe de neurones qui représente « Jour ». Ensuite, vous avez un groupe légèrement différent qui représente « Jour de semaine ». Le groupe « Jour de semaine » est simplement le groupe « Jour » plus quelques neurones supplémentaires qui disent : « Non, pas samedi ni dimanche. »
La Hiérarchie : En appliquant leur méthode de manière récursive (répétitivement), ils ont observé une structure arborescente.
- Niveau Inférieur : Neurones spécifiques pour « Lundi », « Mardi », etc.
- Niveau Intermédiaire : Un groupe pour « Jours de semaine » (combinant Lundi-Vendredi).
- Niveau Supérieur : Un groupe pour « Jours de la semaine » (combinant jours de semaine et week-ends).

Cela montre que l'IA ne possède pas seulement des neurones aléatoires ; elle possède une architecture hiérarchique. Elle réutilise les mêmes « blocs de construction » de base (neurones) pour créer des idées plus complexes. Par exemple, les neurones de base pour « Jour » sont réutilisés pour « Lundi », « Mardi » et « Week-end », avec seulement quelques neurones supplémentaires ajoutés pour les distinguer.

Résumé

L'article affirme qu'en examinant des groupes de neurones travaillant ensemble (plutôt que des individus) et en utilisant un outil mathématique qui respecte la façon dont le modèle calcule réellement les choses, nous pouvons :

Trouver des concepts que les humains peuvent facilement comprendre.
Contrôler la sortie de l'IA beaucoup plus efficacement qu'auparavant.
Voir que l'IA construit des idées complexes en combinant des parties plus simples et réutilisables, un peu comme construire une maison avec des briques.

Les auteurs concluent que cette méthode est un moyen simple et efficace de « disséquer » la façon dont les modèles d'IA pensent, révélant qu'ils sont organisés de manière logique et hiérarchique, ce que nous pouvons maintenant voir et utiliser.

Résumé Technique : Construction de Caractéristiques Interprétables à partir de Groupes de Neurones Compositionnels

Énoncé du Problème
Un défi central en interprétabilité mécaniste consiste à identifier les unités d'analyse appropriées au sein des grands modèles de langage (LLM) qui expliquent causalement les sorties du modèle. Bien que les premières recherches se soient concentrées sur des neurones individuels, des preuves suggèrent que les neurones encodent souvent plusieurs concepts (polysemanticité), motivant un glissement vers l'analyse de directions dans l'espace d'activation. Les approches non supervisées actuelles reposent sur des Autoencodeurs Épars (SAE) entraînés sur des activations du flux résiduel pour apprendre des directions de caractéristiques à partir de zéro. Cependant, les SAE présentent des limitations significatives : ils éprouvent souvent des difficultés dans les évaluations causales (pilotage), manquent d'interprétabilité intrinsèque car leurs caractéristiques apprises ne sont pas explicitement liées aux calculs internes du modèle, et leurs caractéristiques ne sont pas contraintes à l'espace de représentation du modèle. Il existe un besoin d'une méthode qui découvre des caractéristiques interprétables de manière non supervisée tout en maintenant un lien causal direct avec les mécanismes du modèle.

Méthodologie
Les auteurs proposent de décomposer directement les activations du Perceptron Multicouche (MLP) en utilisant la Factorisation de Matrice Semi-Non-Négative (SNMF). Contrairement aux SAE, qui apprennent de nouvelles directions, cette méthode représente les caractéristiques comme des combinaisons linéaires éparse de neurones co-activés existants au sein du MLP.

Formulation : Étant donné une matrice $A \in \mathbb{R}^{d_a \times n}$ des activations du MLP (où $d_a$ est la dimension interne et $n$ est le nombre de tokens), la méthode factorise $A$ en deux matrices :
- $Z \in \mathbb{R}^{d_a \times k}$ : Une matrice de $k$ caractéristiques du MLP, où chaque colonne définit une combinaison linéaire éparse de neurones.
- $Y \in \mathbb{R}^{k \times n}_{\geq 0}$ : Une matrice de coefficients non négatifs mappant les entrées vers les caractéristiques.
  La décomposition suit $A \approx ZY$ .
Mécanisme d'Interprétabilité :
- Éparsité : Les colonnes de $Z$ sont contraintes d'être éparsees en utilisant un opérateur sélectif « gagnant-gagnant » (winner-take-all) rigide, garantissant que chaque caractéristique active uniquement un petit sous-ensemble de neurones.
- Ancrage Causal : La matrice non négative $Y$ encode explicitement quels tokens ont contribué à la création d'une caractéristique, permettant l'attribution directe d'étiquettes de concepts textuels basées sur des contextes à forte activation.
- Mappage vers le Flux Résiduel : Chaque vecteur de caractéristique $z_i$ dans l'espace d'activation est mappé vers le flux résiduel via les poids de sortie du MLP ( $W_V$ ), définissant une caractéristique de flux résiduel $f_i = W_V z_i$ . Cela garantit que les caractéristiques sont ancrées dans les voies de calcul réelles du modèle.
Optimisation : La méthode utilise des mises à jour multiplicatives (Ding et al., 2010) pour minimiser la norme de Frobenius entre $A$ et $ZY$, avec une éparsité imposée sur $Z$ .

Contributions Clés

SNMF pour la Décomposition du MLP : L'article introduit une méthode non supervisée pour décomposer les activations du MLP en caractéristiques interprétables définies par des groupes de neurones co-activés, plutôt que d'apprendre des directions arbitraires à partir de zéro.
Supériorité du Pilotage Causal : Les auteurs démontrent que les caractéristiques dérivées de la SNMF surpassent les SAE de l'état de l'art (GemmaScope, Llamascope) et une forte base de référence supervisée (Différence des Moyennes) dans les tâches de pilotage causal, tout en performant de manière comparable dans la détection de concepts.
Révélation de la Composition Hiérarchique : Grâce à une SNMF récursive, les auteurs montrent que les caractéristiques du MLP sont compositionnelles. Des concepts fins (par exemple, des jours de la semaine spécifiques) se forment en combinant des neurones « centraux » partagés avec des neurones exclusifs. Cela révèle une structure hiérarchique où des concepts plus larges (par exemple, « jour de la semaine ») sont composés de sous-concepts plus spécifiques, inversant efficacement le phénomène de « division des caractéristiques » souvent observé dans les SAE.
Réutilisation des Neurones : L'analyse confirme que des caractéristiques sémantiquement liées partagent un ensemble central de neurones, des neurones exclusifs contrôlant la promotion ou la suppression de sous-concepts spécifiques.

Résultats
Des expériences ont été menées sur Llama 3.1-8B, Gemma 2-2B et GPT-2 Small.

Détection de Concepts : Les caractéristiques SNMF ont obtenu des scores de détection positifs pour la majorité des caractéristiques (>75 %), indiquant qu'elles s'activent pour des entrées liées au concept et restent inactives pour des entrées neutres. Les performances étaient comparables ou supérieures à celles des SAE entraînés sur les sorties du MLP.
Pilotage de Concepts : Dans les évaluations de pilotage causal (mesurant la capacité à orienter la génération du modèle vers un concept tout en préservant la fluidité), la SNMF a constamment surpassé les SAE à toutes les couches. Elle a également fréquemment égalé ou dépassé les performances de la base de référence supervisée Différence des Moyennes.
Analyse Hiérarchique : L'application récursive de la SNMF a réussi à fusionner des caractéristiques fines (par exemple, « Lundi », « Mardi ») en concepts de niveau supérieur (par exemple, « Jour de la semaine », « Week-end »). Des interventions causales ont confirmé que l'amplification des neurones « centraux » favorisait tous les tokens associés, tandis que l'amplification des neurones « exclusifs » favorisait des tokens spécifiques et en supprimait d'autres.

Signification et Revendications
L'article revendique que la SNMF fournit un outil simple et efficace pour identifier des caractéristiques interprétables dans les LLM. En décomposant directement les activations du MLP, la méthode lie les caractéristiques aux composants spécifiques du modèle responsables de leur formation. Les résultats suggèrent que le MLP opère via des mises à jour additives composées d'ensembles de neurones interprétables. Ce travail positionne la SNMF comme une alternative viable aux SAE, offrant de meilleures performances causales et une interprétabilité intrinsèque sans nécessiter de supervision. De plus, la découverte de la composition hiérarchique des neurones offre une nouvelle perspective pour comprendre comment les LLM construisent des concepts complexes à partir de blocs de construction neuronaux réutilisables, étendant le rôle fonctionnel des neurones au-delà de l'encodage d'un seul concept.

Les auteurs reconnaissent des limitations, notamment l'accent actuel mis sur des nombres de caractéristiques $k < 500$ et la dépendance aux LLM en tant que juges pour l'évaluation, bien qu'ils rapportent un fort accord avec les jugements humains. Ils suggèrent que des travaux futurs pourraient explorer la mise à l'échelle vers des valeurs de $k$ plus grandes et l'utilisation de la descente de gradient projetée pour l'optimisation.