💬 NLP

Individual Parameters in Weight-Sparse Transformers Appear Interpretable

Cet article introduit un pipeline automatisé basé sur les LLM pour vérifier si les poids individuels dans les transformers possèdent des fonctions globalement interprétables, constatant que les modèles à faible densité de poids contiennent une fraction significativement plus élevée de ces poids interprétables (12–31 %) par rapport aux modèles denses.

Auteurs originaux : Arnau Marin-Llobet, Stefan Heimersheim

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arnau Marin-Llobet, Stefan Heimersheim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une machine géante et complexe, construite pour écrire des histoires et résoudre des problèmes. Depuis longtemps, des scientifiques tentent de comprendre comment cette machine fonctionne. Habituellement, ils cherchent des « circuits » spécifiques ou des équipes d'engrenages qui travaillent ensemble pour accomplir une tâche précise, comme reconnaître un nom ou terminer une phrase.

Mais cet article pose une question différente : Pouvons-nous comprendre ce qu'une seule et minuscule vis fait toute seule ?

Les auteurs ont découvert que dans la plupart des modèles d'IA modernes (appelés modèles « denses »), la réponse est « non ». C'est comme essayer de comprendre une seule vis dans un couteau suisse qui aurait été fondu et remodelé en un bloc de métal solide. Les vis sont tellement mélangées qu'on ne peut pas distinguer l'utilité de chacune d'elles.

Cependant, l'article se concentre sur un type spécial de modèle appelé « transformeur à parcimonie de poids » (weight-sparse transformer). Voyez cela comme une machine où les constructeurs ont été contraints d'omettre la plupart des vis. Seules quelques vis subsistent, et elles sont disposées en rangées très nettes et organisées.

Voici ce que les chercheurs ont fait et découvert, en utilisant des analogies simples :

Le travail du détective : « Quand est-ce que cette vis est importante ? »

Au lieu de demander « Que fait cette vis ? » (ce qui est difficile), ils ont demandé : « Quand cette vis est-elle réellement utilisée ? »

Ils ont créé une équipe de détectives automatisée (propulsée par une IA intelligente appelée LLM) pour enquêter sur chaque vis restante de la machine parcimonieuse.

Le Test : Ils ont retiré une vis spécifique (ablation) et ont observé ce que la machine cessait de faire.
L'Indice : Ils ont examiné les phrases spécifiques où la machine faisait des erreurs sans cette vis.
La Description : Ils ont demandé au détective IA d'écrire une règle courte, compréhensible par l'humain, décrivant ces phrases. Par exemple : « Cette vis n'est utilisée que lorsque le mot qui la précède est un nombre », ou « Cette vis s'active lorsque l'on parle de crier ».
La Preuve : Pour s'assurer que le détective IA ne faisait pas que deviner, ils ont testé la règle sur de nouvelles phrases que l'IA n'avait jamais vues auparavant. Si la règle fonctionnait toujours, la vis était considérée comme « interprétable ».

La grande découverte

Les résultats ont été surprenants :

Dans les machines « parcimonieuses » : Environ 12 % à 31 % des vis restantes avaient des règles claires et compréhensibles. Le détective IA pouvait dire de manière fiable : « Cette vis sert à détecter les nombres » ou « Cette vis sert à fermer les guillemets ».
Dans les machines « denses » : Lorsqu'ils ont tenté ce même test sur des modèles normaux, non parcimonieux, le taux de réussite est tombé à presque 0 %. Les vis de ces machines étaient trop emmêlées pour être expliquées individuellement.

Pourquoi cette différence ?

Les auteurs comparent les modèles parcimonieux à une boîte à outils bien organisée où chaque outil a un travail spécifique et une étiquette claire. Les modèles denses sont comme un tas de métal fondu où les outils ont fusionné. Même si les modèles denses peuvent être tout aussi performants pour écrire des histoires, leurs composants internes sont si mélangés qu'on ne peut pas pointer une pièce et dire exactement ce qu'elle fait.

À quoi ressemblent les règles

Les règles trouvées par l'IA étaient simples et locales. Elles n'étaient pas des idées philosophiques complexes. Il s'agissait de choses telles que :

« Le mot actuel est-il un chiffre ? »
« Le mot précédent est-il un verbe de parole comme "dit" ou "crié" ? »
« Est-ce une virgule à la fin d'une phrase ? »

L'essentiel

L'article conclut qu'en forçant les modèles d'IA à utiliser moins de connexions (en les rendant « parcimonieux »), nous les rendons accidentellement beaucoup plus faciles à comprendre. Nous pouvons désormais observer une partie significative de la machine et expliquer exactement à quoi elle sert.

Limitations importantes :
L'article précise bien que cela ne signifie pas que nous comprenons l'intégralité de la machine ou sa façon de penser. Cela signifie simplement que nous pouvons mieux comprendre les parties individuelles dans ces modèles parcimonieux spécifiques. De plus, les règles trouvées décrivent quand une partie est active, et non nécessairement la magie mathématique profonde de la manière dont elle traite l'information une fois activée.

En résumé : Les modèles parcimonieux sont comme une boîte en verre transparente où l'on peut voir chaque engrenage ; les modèles denses sont comme une boîte brumeuse où les engrenages sont cachés. Cette étude prouve que si vous construisez votre IA avec des engrenages moins nombreux et plus clairs, vous pouvez réellement expliquer le rôle de chacun d'eux.

Résumé technique : Les paramètres individuels dans les Transformers à parcimonie de poids semblent interprétables

Énoncé du problème

Un objectif central de l'interprétabilité mécaniste est de comprendre la fonction des composants individuels au sein des réseaux de neurones. Les approches dominantes, telles que la recherche de circuits, font de l'ingénierie inverse sur les poids en se basant sur des comportements spécifiques au sein de sous-distributions associées. Cependant, la littérature existante suggère que les poids individuels participent souvent à plusieurs circuits, contribuant différemment selon divers sous-ensembles de la distribution d'entrée.

Dans les Transformers denses standards, la compréhension globale des poids individuels est entravée par la superposition, où la base de poids n'est pas une base interprétable pour les paramètres du réseau. Cet article examine si les Transformers à parcimonie de poids (weight-sparse transformers) — des modèles entraînés avec une fraction élevée de poids forcés à zéro — offrent un banc d'essai traitable pour l'interprétabilité globale. La question centrale est la suivante : Un seul poids non nul peut-il être compris globalement sur l'ensemble de la distribution d'entraînement en caractérisant les entrées spécifiques sur lesquelles il est important ?

Méthodologie

Les auteurs introduisent un pipeline automatisé, basé sur un LLM, conçu pour générer et vérifier des descriptions lisibles par l'humain de l'activation d'un poids spécifique. Le pipeline opère en trois étapes :

Calcul de l'emplacement d'importance :
- Pour un poids cible $w$ , le modèle est exécuté sur un corpus normalement et avec $w$ ablée (mis à zéro).
- La divergence de Kullback–Leibler (KL) par position entre le modèle original et le modèle ablat est calculée.
- Les positions présentant la divergence KL cumulative la plus élevée (top 90 %) sont identifiées comme l'« emplacement d'importance » où le poids a l'effet le plus significatif.
Génération de prédicats candidats :
- Les contextes de jetons (tokens) entourant les positions à fort impact sont transmis à un LLM.
- Le LLM est incité à générer $N$ fonctions Python candidates (prédicats) de la forme $f(\text{tokens}, \text{pos}) \to \text{bool}$ , décrivant les points communs de ces contextes.
- L'incitation met l'accent sur la couverture des contextes affectés plutôt que sur l'élégance du code.
Notation et vérification :
- Les candidats sont évalués à l'aide d'un test d'ablation par condition de zéro sur un corpus de réserve (texte que le LLM n'a jamais vu).
- Récupération (Recovery) : Mesure à quel point l'effet de l'ablation est restauré lorsque le poids est réactivé uniquement là où le prédicat est vrai.
- Inverse : Mesure l'effet de la restauration du poids uniquement là où le prédicat est faux (pour se prémunir contre les prédicats trop larges).
- Porte de couverture (Coverage Gate) : Un prédicat n'est valide que s'il s'active sur au moins une position mais pas plus de 50 % du corpus ( $0 < p(f) \leq 0,5$ ).
- Score d'interprétabilité : Défini comme $\min(\text{recovery}, 1 - \text{inverse})$ . Un poids est jugé interprétable si son meilleur candidat dépasse un seuil (ex: $T=0,75$ ) et passe la porte de couverture.
- Robustesse : Pour assurer la généralisation, le meilleur prédicat est re-noté sur $K=10$ tranches disjointes de données de réserve. Un poids est compté comme « robustement interprétable » uniquement si sa note moyenne sur ces tranches dépasse de manière fiable le seuil.

Configuration expérimentale

Le pipeline a été évalué sur quatre modèles :

Modèles parcimonieux (Sparse) :
- Gao et al. (2025) : Un transformeur de codage à parcimonie de poids (~99 % de parcimonie) entraîné sur du code Python.
- Drori (2026) : Une paire parcimonieuse-dense entraînée sur le corpus SimpleStories (~98 % de parcimonie pour le cœur parcimonieux).
Contrôles denses :
- Drori (2026) Dense : Un homologue du modèle parcimonieux sans contraintes de parcimonie.
- Pythia-70m : Un modèle pré-entraîné dense standard entraîné sur The Pile.

Résultats clés

1. Les modèles parcimonieux sont nettement plus interprétables

La fraction de poids non nuls qui admettent une description unique, courte et généralisable est sensiblement plus élevée dans les transformers parcimonieux que dans les modèles denses.

Taux d'interprétabilité robuste :
- Gao et al. (2025) Sparse : ~15,0 % des poids non nuls.
- Drori (2026) Sparse : ~9,6 % des poids non nuls.
- Drori (2026) Dense : ~1,5 % des poids non nuls.
- Pythia-70m : ~0,4 % des poids non nuls.
L'écart s'élargit considérablement lorsque les descriptions peu fiables (celles qui échouent sur les données de réserve) sont écartées.

2. Stabilité des scores

Dans les modèles parcimonieux, le score d'interprétabilité d'un poids est une propriété stable du poids lui-même, et non un artefact de la tranche de corpus spécifique utilisée pour le test.

Fiabilité : Pour les modèles parcimonieux, ~85–90 % de la variance des scores entre les différentes tranches de réserve reflète de réelles différences entre les poids.
Instabilité des modèles denses : Pour les modèles denses (spécifiquement Pythia-70m), seulement ~47 % de la variance du score est stable ; le reste est du bruit d'échantillonnage. Cela suggère que l'interprétabilité apparente dans les modèles denses provient souvent d'un surapprentissage des motifs de surface dans une tranche d'entraînement spécifique plutôt que de la capture d'une fonction de poids globale.

3. Nature des prédicats

Les prédicats générés par le LLM sont généralement courts et locaux :

Forme la plus courante : Recherche de jeton unique (ex: « est le jeton un chiffre », « est dans l'ensemble {th, ode, b} »).
Forme secondaire : Tests de voisinage immédiat (ex: « le mot précédent se termine par -ed »).
Les prédicats maintiennent rarement un état sur de longs prompts ou s'étendent sur plus de 2 à 3 jetons adjacents.

4. Études de cas

Détection de chiffres : Un neurone du modèle parcimonieux de Gao se décompose en neuf poids individuellement interprétables, chacun filtrant des comptages de chiffres spécifiques (chiffre simple, deux chiffres, etc.).
Verbes de parole : Un neurone du modèle parcimonieux de Drori, apparaissant comme un « détecteur de verbes de parole » au niveau de l'activation, se décompose en cinq rôles fonctionnels parallèles au niveau des poids : activateurs de verbes de parole, suppresseurs de verbes mentaux, suppresseurs de verbes modaux, portes de ponctuation et portes de jetons spécifiques.

Signification et revendications

L'article affirme qu'une fraction significative (12–31 %) des poids dans les transformers à parcimonie de poids peut être interprétée individuellement avec une description courte et générale qui se généralise sur la distribution d'entraînement. Cela contraste avec les modèles denses, où l'interprétabilité globale (0–3 %) est quasi inexistante.

Les auteurs positionnent ce travail comme une étape vers la compréhension des « algorithmes » implémentés par les réseaux de neurones. En démontrant que l'entraînement parcimonieux force les poids survivants à s'organiser en circuits compacts et lisibles, l'article suggère que les transformers à parcimonie de poids servent de banc d'essai naturel pour développer des pipelines d'interprétabilité par paramètre. Les auteurs notent qu'une fois une base interprétable identifiée pour les modèles denses, ces pipelines pourraient potentiellement être appliqués aux modèles de langage de pointe.

Limites

Les auteurs énoncent explicitement plusieurs limites :

Étendue de l'explication : La méthode identifie quand un poids est actif, mais pas ce qu'il calcule une fois actif.
Contraintes linguistiques : Le langage des prédicats (fonctions Python sur le contexte des jetons) ne peut pas exprimer de caractéristiques sémantiques (ex: « fait référence à une personne ») ou des structures complexes dépendant de l'état s'étendant sur plusieurs jetons. Les poids reposant sur de telles structures sont classés comme « non interprétables », même s'ils ont un rôle fonctionnel clair.
Décalage de distribution : Le corpus de réserve est tiré de la même distribution de pré-entraînement ; la survance sous un changement de distribution n'est pas testée.
Borne inférieure : Les chiffres rapportés sont une borne inférieure de ce que la méthode pourrait trouver, contrainte par l'expressivité du langage de prédicats actuel.