💬 NLP

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

Ce papier démontre que, bien que les circuits de modèles de langage identifiés soient hautement cohérents et nécessaires à l'exécution de la tâche, ils manquent de spécificité de tâche en raison d'un chevauchement substantiel entre les tâches, remettant ainsi en cause l'utilité du cadre pour l'intervention ciblée et la compréhension.

Auteurs originaux : Michael Li, Nishant Subramani

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michael Li, Nishant Subramani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une usine massive et complexe (un modèle de langage de grande taille) capable de résoudre toutes sortes de problèmes, du calcul mathématique à la blague. Depuis longtemps, les scientifiques tentent de déterminer exactement quelles machines à l'intérieur de cette usine sont responsables de quelles tâches. Ils appellent ces groupes spécifiques de machines des « circuits ».

Ce document pose deux questions simples à propos de ces circuits :

Cohérence : Si l'usine effectue la même tâche (comme additionner des nombres) dix fois, utilise-t-elle exactement les mêmes machines à chaque fois ?
Spécificité : Si l'usine effectue une tâche mathématique, utilise-t-elle des différentes machines que lorsqu'elle effectue une tâche d'histoire ?

Voici ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. Le test de « Cohérence » : Oui, elles sont fiables.

Les chercheurs ont vérifié si l'usine utilise les mêmes outils pour la même tâche.

La découverte : Oui ! Si l'usine est invitée à additionner des nombres, elle utilise de manière fiable un ensemble spécifique de machines (principalement les « couches MLP », qui sont comme les établis lourds de l'usine) pour presque chaque problème mathématique.
L'analogie : C'est comme un chef préparant un gâteau spécifique. Chaque fois qu'il prépare ce gâteau, il utilise le même mixeur et le même four. Il ne change pas pour un blender ou un grille-pain en cours de route. Les chercheurs ont découvert que s'ils « débranchaient » ces machines spécifiques, l'usine arrêtait presque complètement de fonctionner sur cette tâche. Cela prouve que ces machines effectuent réellement le travail et ne font pas simplement semblant d'être occupées.

2. Le test de « Spécificité » : Non, elles ne sont pas uniques.

C'est la partie surprenante. Les chercheurs s'attendaient à ce que les machines utilisées pour les « Mathématiques » soient totalement différentes de celles utilisées pour l'« Histoire » ou la « Logique ».

La découverte : Ils avaient tort. Les machines utilisées pour les mathématiques sont presque exactement les mêmes que celles utilisées pour l'histoire, la logique et même la compréhension de lecture.
L'analogie : Imaginez que vous avez une boîte à outils. Vous pensiez que la « Boîte Math » ne contenait que des outils de mathématiques (règles, calculatrices) et que la « Boîte Histoire » ne contenait que des outils d'histoire (cartes, livres). Mais en les ouvrant, vous avez découvert que les deux boîtes contenaient les mêmes 90 % d'outils.
- Si vous retirez les « outils mathématiques » de la boîte à outils, l'usine ne peut plus faire de mathématiques.
- Mais si vous retirez ces mêmes outils, l'usine ne peut plus faire d'histoire ni de logique non plus.
- Il s'avère que l'usine repose sur une immense « infrastructure » partagée (les établis/couches MLP) pour faire tout. Ces outils sont le fondement de toutes les tâches, pas seulement d'une seule.

3. Les « Pépites cachées » : Un tout petit peu d'unicité.

Y a-t-il une quelconque différence entre les tâches ?

La découverte : Oui, mais c'est très petit. À l'intérieur du grand tas d'outils partagés, il existe un tout petit ensemble spécialisé d'outils (environ 10 à 30 % du total) qui est unique à la tâche spécifique.
L'analogie : Pour revenir à la boîte à outils : bien que 90 % des outils soient partagés, la « Boîte Math » contient une toute petite calculatrice spéciale que la « Boîte Histoire » n'a pas. Si vous retirez uniquement cette calculatrice, les mathématiques échouent, mais l'histoire fonctionne toujours. Cependant, comme les 90 % partagés sont si vastes et importants, retirer toute la « Boîte Math » brise tout, donnant l'impression que les outils mathématiques étaient la seule chose qui comptait.

La vue d'ensemble

Le document conclut que lorsque nous examinons les modèles de langage au niveau des « têtes d'attention » et des « couches MLP » (les grandes parties visibles de l'usine), nous voyons principalement l'infrastructure générale du bâtiment, et non les plans spécifiques pour chaque tâche.

Ce que cela signifie pour la compréhension : Nous pouvons facilement trouver les « établis » que le modèle utilise, mais nous ne pouvons pas facilement dire quel établi est uniquement pour les mathématiques et quel établi est uniquement pour l'histoire, car ils sont tous utilisés pour les deux.
La mise en garde : Les chercheurs suggèrent que pour trouver les véritables « outils spécialisés » uniques (les 10 % minuscules), nous devrons peut-être regarder de plus près, peut-être au niveau des vis ou des fils individuels (neurones ou caractéristiques) plutôt que de l'ensemble de l'établi.

En bref : Le modèle est cohérent (il utilise les mêmes outils pour la même tâche), mais il n'est pas spécifique (il utilise les mêmes outils pour chaque tâche). Les « circuits » que nous trouvons sont principalement le fondement partagé du modèle, et non les instructions uniques pour une tâche donnée.

Résumé technique : Mesure de la cohérence et de la spécificité des circuits de modèles de langage

Énoncé du problème

Le domaine de l'interprétabilité mécaniste vise à déconstruire les réseaux de neurones en identifiant des « circuits » : des sous-graphes parcimonieux de composants du modèle (généralement des têtes d'attention et des couches MLP) qui sont causalement responsables de comportements spécifiques. Bien que des travaux existants aient établi des méthodes pour extraire ces circuits et évaluer leur nécessité (la suppression du circuit dégrade les performances) et leur suffisance (le circuit seul reproduit le comportement), deux propriétés critiques restent sous-exploitées : la cohérence et la spécificité.

Cohérence : Si un circuit capture véritablement l'algorithme d'un modèle pour une tâche, les mêmes composants devraient se répéter à travers différentes instances d'entrée de cette tâche. Sans cohérence, un circuit peut être un artefact d'une entrée spécifique plutôt qu'un mécanisme généralisable.
Spécificité : Le circuit d'une tâche doit être distinct de manière significative des circuits de tâches non liées. Sans spécificité, un circuit ne peut pas être utilisé pour comprendre ou intervenir sur un comportement spécifique à une tâche, car il peut simplement refléter une infrastructure de modèle à usage général.

Ce papier examine si les circuits découverts au niveau des têtes d'attention et des couches MLP présentent ces propriétés à travers diverses tâches et familles de modèles.

Méthodologie

Configuration expérimentale

Les auteurs ont évalué six tâches couvrant le raisonnement algorithmique (Addition, Logique booléenne), la récupération d'information (Identification de l'objet indirect [IOI], CopyColors MCQA) et des benchmarks riches en connaissances (ARC Easy, ARC Challenge). Ces tâches ont été testées sur sept modèles issus de quatre familles d'architectures : Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B) et OLMo-2 (1B, utilisé pour la dynamique de préentraînement).

Extraction des circuits

L'étude a utilisé l'Attribution de Patching des Arêtes (EAP) pour extraire des circuits par exemple. L'EAP approxime les effets causaux à l'aide d'informations de gradient, classant les composants par leurs scores d'attribution absolus. Pour chaque tâche, des circuits ont été extraits pour $n=1000$ exemples, en balayant les tailles de circuit ( $K$ ) de 1 % à 30 % des composants principaux.

Métriques d'évaluation

Cohérence (Réutilisation) : Les auteurs ont défini un « ensemble de composants partagés » ( $S_P$ ) contenant les composants apparaissant dans au moins une fraction $P$ des circuits par exemple. Ils ont mesuré la réutilisation@P, la proportion d'un circuit par exemple couverte par cet ensemble partagé.
Nécessité : Pour confirmer que les composants partagés sont causalement importants, les auteurs ont effectué des ablations (mise à zéro des activations) sur l'ensemble partagé $S_P$ . Ils ont comparé la baisse de précision à un contrôle conservant la capacité (C3), où un sous-ensemble aléatoire de composants de taille égale a été ablaté. Un score de nécessité positif indique que l'ensemble partagé est fonctionnellement critique au-delà d'une simple réduction de capacité.
Spécificité (Chevauchement inter-tâches) :
- Ablation inter-tâches : Les auteurs ont ablaté le circuit partagé de la Tâche A et mesuré les performances sur la Tâche B. Si les circuits sont spécifiques, l'ablation du circuit de la Tâche A devrait nuire à la Tâche A significativement plus qu'à la Tâche B.
- Décomposition : Pour des paires de tâches, les circuits ont été partitionnés en trois ensembles disjoints : le noyau partagé ( $C_A \cap C_B$ ), spécifique à la tâche ( $C_A \setminus C_B$ ) et complémentaire ( $C_B \setminus C_A$ ). Chaque ensemble a été ablaté indépendamment pour mesurer son impact causal sur la tâche cible par rapport aux autres tâches.

Résultats clés

1. Les circuits sont cohérents au sein d'une tâche

À travers tous les modèles et toutes les tâches, une fraction substantielle des circuits par exemple est tirée d'un ensemble partagé de composants.

Réutilisation élevée : À $K=10\%$ , les taux de réutilisation variaient de 40 % à 70 % pour la plupart des combinaisons tâche-modèle. Par exemple, dans les modèles Llama et Qwen, environ la moitié ou plus du circuit de n'importe quel exemple individuel était composé de composants partagés par presque tous les exemples.
Importance causale : L'ablation de ces composants partagés a provoqué des baisses de précision significativement plus importantes que l'ablation d'un ensemble aléatoire apparié en capacité. Par exemple, dans les tâches d'addition, la suppression de l'ensemble partagé a causé des baisses de précision excessives de 0,8 à 1,0 par rapport aux contrôles aléatoires, confirmant que ces composants sont fonctionnellement nécessaires.
Dynamique d'entraînement : Dans OLMo-2-1B, la cohérence est apparue tôt dans le préentraînement (atteignant un pic autour de 76 milliards de tokens) mais s'est dégradée dans les étapes ultérieures. Cependant, la nécessité (importance causale) n'est devenue clairement mesurable que pendant la phase de recuit lorsque la précision de base s'est améliorée.

2. Les circuits ne sont pas spécifiques entre les tâches

Contrairement à l'attente selon laquelle différentes tâches reposent sur des mécanismes distincts, l'étude a trouvé un chevauchement étendu entre les circuits de tâches non liées.

Baisses de performance indiscernables : Lors de l'ablation du circuit de la Tâche A et de l'évaluation sur la Tâche B, la baisse de performance était comparable à l'ablation du propre circuit de la Tâche B. Par exemple, dans Llama-3.2-3B, la suppression du circuit d'addition a causé une baisse de 99 % sur l'addition, et la suppression des circuits d'autres tâches a causé une baisse moyenne de 99 % sur l'addition également.
Chevauchement élevé : À $K=10\%$ , le chevauchement de Jaccard entre les circuits de paires de tâches variait de 0,46 à 0,89, dépassant largement les ~5 % attendus pour des circuits aléatoires. Ce chevauchement était principalement dû aux couches MLP, qui dominaient les petits circuits ( $K \le 10\%$ ) et constituaient la grande majorité du noyau partagé.
Des composants spécifiques aux tâches existent mais sont mineurs : Bien qu'un petit ensemble de composants spécifiques aux tâches ait été identifié (représentant 15 à 30 % du circuit à $K=10\%$ ), leur suppression n'a causé qu'un dommage supplémentaire modeste par rapport à l'impact massif de la suppression du noyau partagé. Le noyau partagé représentait l'essentiel de l'impact sur les performances.

3. Composition et granularité

Domination des MLP : À de petites tailles de circuit, les circuits sont composés presque entièrement de couches MLP (par exemple, 95 à 100 % dans Gemma 2 2B-IT à $K \le 10\%$ ). Les têtes d'attention deviennent plus prévalentes uniquement à mesure que la taille du circuit augmente ( $K \ge 20\%$ ).
Distribution des couches : Dans les familles Llama et Qwen, les petits circuits se concentrent dans les premières couches, tandis que les modèles Gemma ont montré une variation plus dépendante de la tâche.

Signification et affirmations

Le papier soutient qu'à la granularité des têtes d'attention et des couches MLP, la découverte de circuits est efficace pour identifier quels composants sont importants (cohérence) mais échoue à isoler comment un modèle exécute une tâche spécifique distincte des autres (spécificité).

Infrastructure générale vs Mécanismes de tâche : Les résultats suggèrent que les circuits découverts identifient principalement une infrastructure de modèle à usage général (spécifiquement des couches MLP partagées) plutôt que des algorithmes spécifiques à une tâche. Le chevauchement élevé s'explique par le fait que ces couches effectuent des opérations fondamentales (par exemple, stocker des connaissances paramétriques, mapper des tokens) dont toutes les tâches en aval dépendent.
Implications pour l'interprétabilité : Le manque de spécificité soulève des questions sur l'utilité des méthodes actuelles de découverte de circuits pour une compréhension ou une intervention ciblée. Si un « circuit » pour la Tâche A est largement identique au circuit pour la Tâche B, son identification révèle davantage sur le fonctionnement général du modèle que sur son comportement spécifique sur la Tâche A.
Voies futures : Les auteurs suggèrent que la récupération d'une structure spécifique aux tâches pourrait nécessiter :
1. Des unités d'analyse plus fines : Aller au-delà des couches MLP vers des circuits de caractéristiques parcimonieuses (par exemple, en utilisant des autoencodeurs parcimonieux) pour démêler les composants polysémantiques.
2. Attribution contrastive : Identifier les composants ayant une attribution élevée pour une tâche par rapport aux autres, plutôt qu'en termes absolus.

Le papier conclut que, bien que le noyau partagé des circuits soit un objet d'étude significatif (potentiellement à l'origine de la généralisation et de l'apprentissage en contexte), l'hypothèse de la modularité au niveau des tâches au niveau des composants n'est que faiblement étayée par les preuves actuelles.