💬 NLP

Many Circuits, One Mechanism: Input Variation and Evaluation Granularity in Circuit Discovery

Cet article remet en question l'hypothèse selon laquelle les différences structurelles dans les circuits découverts indiquent des mécanismes distincts, démontrant à travers la « spécialisation fantôme » que la variation des statistiques d'entrée produit des sous-graphes structurellement divers mais fonctionnellement équivalents, révélant ainsi que les pratiques d'évaluation standard occultent souvent la correspondance de type plusieurs-vers-un entre la structure du circuit et la fonction du modèle.

Auteurs originaux : Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une machine géante et complexe (un grand modèle d'IA) qui réalise un tour spécifique : elle regarde un motif de lettres et en copie une à la fin de la ligne. Les scientifiques veulent savoir comment la machine réalise ce tour. Ils essaient de trouver le « câblage » spécifique à l'intérieur de la machine responsable de ce tour. Ils appellent ce câblage un circuit.

Pendant longtemps, les chercheurs ont cru que si l'on trouvait un diagramme de câblage différent pour le même tour sous des conditions légèrement différentes, cela signifiait que la machine avait développé une nouvelle façon spécialisée de réaliser ce tour.

Cet article dit : Pas si vite.

Les auteurs ont découvert que ce qui ressemble à une nouvelle machine spécialisée est en réalité la même machine faisant le même tour, mais avec quelques fils supplémentaires et inutiles attachés. Ils appellent cela la « Spécialisation Fantôme ».

Voici la décomposition utilisant des analogies simples :

1. L'expérience : Le jeu du « Copiez-Collez »

Les chercheurs ont utilisé un jeu appelé « Copie de Séquence Littérale ».

La tâche : L'IA voit une séquence comme A B C D ... A B C et doit deviner la lettre suivante (D).
Le piège : Ils ont joué à ce jeu en utilisant des mots qui apparaissent très souvent dans l'entraînement de l'IA (comme « le » ou « la ») et des mots qui apparaissent très rarement (comme des noms propres obscurs).
L'attente : Ils pensaient : « Peut-être que l'IA utilise un ensemble de fils internes différent pour les mots rares que pour les mots communs. »

2. La découverte : Le problème des « Plusieurs routes pour Rome »

Lorsqu'ils ont examiné les diagrammes de câblage pour les mots communs par rapport aux mots rares, les diagrammes semblaient différents.

Le circuit du « mot rare » avait plus de fils.
Le circuit du « mot commun » en avait moins.
Ils ressemblaient à deux plans différents.

Cependant, lorsqu'ils ont testé la fonction :

Ils ont pris les fils du « mot rare » et les ont utilisés pour copier des « mots communs ». Cela a fonctionné parfaitement.
Ils ont pris les fils du « mot commun » et les ont utilisés pour des « mots rares ». Cela a également fonctionné parfaitement.
La conclusion : Les fils supplémentaires dans le circuit du « mot rare » ne faisaient rien de spécial. Ils étaient juste de la décoration. La machine utilisait exactement la même logique de base pour les deux.

3. L'analogie : Le « Spandrel » ou l'« Extra Sac à Dos »

Imaginez que vous faites une randonnée.

Scénario A : Vous préparez un petit sac à dos efficace pour une courte marche.
Scénario B : Vous préparez un énorme sac à dos lourd pour une longue marche.

Si vous regardez les deux sacs à dos, ils ont l'air totalement différents (Structure). Vous pourriez penser : « Le gros sac à dos est un outil spécialisé pour les longues randonnées ! »

Mais et si vous découvriez que les deux sacs à dos contiennent exactement la même gourde et la même carte ? L'espace supplémentaire dans le gros sac à dos est juste vide ou rempli d'objets aléatoires qui se trouvent là par hasard. Si vous preniez le petit sac à dos et l'utilisiez pour la longue randonnée, vous survivriez quand même. Si vous preniez le gros sac à dos et l'utilisiez pour la courte randonnée, vous survivriez aussi.

La « Spécialisation Fantôme » est l'illusion que le gros sac à dos est un type d'outil différent, alors qu'il s'agit simplement du même outil avec un peu de poids inutile attaché.

4. Pourquoi cela est-il arrivé ? (Le mécanicien « Gourmand »)

Les chercheurs ont découvert que la méthode utilisée pour trouver ces circuits est un peu comme un mécanicien gourmand essayant de réparer une voiture.

Le mécanicien veut trouver le plus petit ensemble de fils qui fait fonctionner la voiture.
Parfois, il existe plusieurs fils qui font exactement le même travail (redondance).
Parfois, lorsqu'il regarde une entrée de « mot rare », l'état interne de la voiture est légèrement différent. Le mécanicien gourmand choisit alors un ensemble de fils pour en garder un et coupe le reste.
Lorsqu'il regarde un « mot commun », l'état interne est à nouveau légèrement différent, donc le mécanicien choisit un ensemble de fils différent à conserver.

Le résultat ? Deux diagrammes de câblage différents qui font tous deux fonctionner la voiture parfaitement. Les différences ne sont pas dues au fait que la voiture a besoin de moteurs différents ; c'est juste parce que le mécanicien a fait des choix différents entre des options également bonnes.

5. Le problème de la « Lentille de Zoom » (Granularité de l'évaluation)

L'article a également découvert que les scientifiques regardaient souvent les circuits à travers la mauvaise « lentille ».

La lentille de « Niveau Source » (Zoom arrière) : Elle regarde le composant entier (comme une puce entière). Si n'importe quel fil sur la puce est actif, toute la puce est comptée comme « fonctionnant ». Cela rend les circuits très fidèles et différents.
La lentille de « Niveau Arête » (Zoom avant) : Elle regarde les fils spécifiques. Quand on zoome, on voit que beaucoup de fils sélectionnés étaient en fait inutiles.

L'article soutient que si vous ne regardez que de loin (Niveau Source), vous voyez une « Spécialisation Fantôme ». Si vous zoomez (Niveau Arête), vous voyez que les circuits font en réalité exactement la même chose.

Résumé des principales conclusions

Fils différents $\neq$ Logique différente : Ce n'est pas parce que deux circuits sont différents sur papier qu'ils font des choses différentes.
Le « Fantôme » : La spécialisation apparente est une illusion causée par la façon dont nous extrayons et mesurons ces circuits.
La redondance est réelle : Les modèles d'IA ont de nombreux chemins de secours. Si un chemin est coupé, un autre prend le relais. Cela rend difficile la découverte du « seul vrai » circuit.
Comment corriger cela : Pour comprendre comment l'IA fonctionne, nous ne devrions pas seulement regarder un circuit. Nous devons :
- Tester si un circuit fonctionne sur différents types d'entrées (Tests de transfert).
- Regarder les fils spécifiques, pas seulement les gros composants (Évaluation de niveau Arête).
- Exécuter l'extraction plusieurs fois et voir ce qui reste identique (Extractions multiples).

En bref : L'IA ne construit pas un nouveau moteur pour les mots rares ; elle porte simplement un chapeau différent. Le chapeau a l'air différent, mais le moteur en dessous est le même.

Résumé technique : De nombreux circuits, un seul mécanisme

Énoncé du problème

L'interprétabilité mécaniste vise à rétro-concevoir les réseaux de neurones en identifiant des « circuits » — des sous-graphes épars du graphe de calcul d'un modèle qui implémentent des comportements spécifiques. Une hypothèse prédominante dans le domaine est qu'un circuit unique et stable existe pour un modèle et une tâche donnés, prêt à être découvert. Par conséquent, les différences structurelles entre les circuits découverts sont souvent interprétées comme la preuve de mécanismes distincts ou de spécialisations fonctionnelles.

Cependant, cette hypothèse est confrontée aux défis liés à la stabilité des méthodes d'extraction, à l'existence de comportements de secours redondants (l'effet Hydra) et à une non-identifiabilité fondamentale. Bien que des travaux antérieurs aient montré que les circuits peuvent varier selon les modèles, les échelles ou les structures de prompts, il reste incertain si les différences structurelles proviennent uniquement des changements dans les statistiques d'entrée (par exemple, la fréquence des tokens) alors que la définition de la tâche reste fixe, et surtout, si ces différences structurelles correspondent à une véritable spécialisation fonctionnelle.

Méthodologie

Les auteurs étudient cette question en utilisant la Copie de Séquence Littérale (LSC - Literal Sequence Copying), une tâche non sémantique où un modèle doit reproduire un token d'une occurrence antérieure dans une séquence. Cette tâche isole un comportement de copie étroit, minimisant les biais sémantiques.

Conception expérimentale :

Modèles : Cinq modèles Pythia allant de 70 millions à 1,4 milliard de paramètres.
Conditions : Le vocabulaire est partitionné en quatre bandes de fréquence de tokens (très faible à très élevée) basées sur les statistiques de pré-entraînement, plus une condition de contrôle pondérée par la fréquence.
Extraction : L'algorithme ACDC (Automatic Circuit Discovery) est utilisé pour extraire les circuits. Pour garantir la robustesse, trois extractions indépendantes sont effectuées par modèle et par condition, produisant un total de 75 circuits.
Granularité d'évaluation : L'étude introduit une distinction critique entre deux niveaux d'évaluation :
- Niveau source (Source-level) : Préserve tous les arcs sortants de tout nœud qui contribue à au moins un arc de circuit.
- Niveau arc (Edge-level) : Préserve uniquement les arcs spécifiques sélectionnés par l'algorithme de découverte.
Axes d'analyse : Les circuits sont comparés selon des axes structurels (chevauchement des arcs), fonctionnels (transfert inter-bandes, suffisance, nécessité) et représentationnels (géométrie de l'activation interne). Des interventions d'interchange causal sont également employées pour tester l'interchangeabilité des représentations internes.

Contributions clés

Spécialisation fantôme : L'article forge le terme « spécialisation fantôme » pour décrire un phénomène où les algorithmes de découverte de circuits récupèrent des circuits structurellement distincts pour différentes conditions d'entrée (par exemple, les bandes de fréquence) qui implémentent pourtant exactement le même calcul.
Correspondance de plusieurs-à-un : Les auteurs démontent une correspondance de plusieurs-à-un entre la structure du circuit et la fonction. La divergence structurelle n'implique pas nécessairement une spécialisation fonctionnelle ; les algorithmes de découverte peuvent échantillonner parmi une classe d'équivalence de sous-graphes valides et fonctionnellement interchangeables.
Dépendance à la granularité : L'étude établit que la visibilité de cette dégénérescence dépend entièrement de la granularité de l'évaluation. L'évaluation au niveau source gonfle systématiquement la fidélité apparente et occulte l'absence de spécialisation, tandis que l'évaluation au niveau arc révèle la correspondance plusieurs-à-un.
Recommandations méthodologiques : L'article propose que les différences structurelles ne doivent pas être acceptées comme preuve de mécanismes distincts sans tests de transfert inter-conditions, et préconise l'évaluation au niveau arc ainsi que des extractions multiples avec agrégation par vote majoritaire pour identifier les structures stables.

Résultats clés

Différences structurelles : Les circuits extraits de différentes bandes de fréquence sont structurellement distincts. Les circuits de faible fréquence sont systématiquement plus grands et contiennent un surensemble d'arcs par rapport aux circuits de haute fréquence. La similitude de Jaccard entre les bandes est plus faible qu'au sein des bandes, bien que les écarts absolus soient faibles.
Équivalence fonctionnelle : Malgré les différences structurelles, les circuits sont fonctionnellement équivalents.
- Transfert inter-bandes : Les arcs spécifiques aux bandes se transfèrent largement à travers toutes les bandes de fréquence avec une grande efficacité (81–97 %).
- Suffisance du noyau : Un « noyau universel » d'arcs partagés par la plupart des bandes (spécifiquement ceux apparaissant dans $\ge$ 3 des 5 conditions) récupère au moins 99 % de la performance du circuit complet.
- Interchange causal : Les interventions d'interchange confirment que les représentations internes sont interchangeables entre les bandes de fréquence ; l'échange d'activations entre les bandes préserve la sortie du modèle avec une fidélité quasi parfaite.
Instabilité et bruit : L'extraction est bruitée ; les arcs spécifiques aux bandes sont hautement instables entre les exécutions indépendantes (n'apparaissant que dans un tirage sur trois). Ce bruit est sans importance fonctionnelle, car des tirages structurellement différents produisent des sorties équivalentes.
Inflation de l'évaluation : L'évaluation au niveau source gonfle la précision apparente du circuit de 0,22 à 0,85 point par rapport à l'évaluation au niveau arc, masquant ainsi l'absence de spécialisation.
Invariance représentationnelle : Bien que la dynamique de traitement (temps de convergence) varie légèrement avec la fréquence des tokens, la géométrie représentationnelle sous-jacente et les voies causales restent largement invariantes entre les bandes.

Signification et affirmations

L'article soutient que les différences structurelles entre les circuits sont une preuve insuffisante de mécanismes distincts. La « spécialisation » observée est un artefact fantôme du processus d'extraction (élagage gourmand sur des chemins redondants) et de la méthodologie d'évaluation (granularité au niveau source).

Les auteurs affirment que :

La dégénérescence est prévalente : Les algorithmes de découverte échantillonnent une classe d'équivalence de sous-graphes structurellement distincts mais fonctionnellement interchangeables, analogiquement à la dégénérescence biologique.
La granularité importe : La structure causale d'un modèle se manifeste différemment selon les niveaux de description. L'évaluation au niveau source crée un « macro-état » de fidélité apparente qui fait s'effondrer la dégénérescence sous-jacente, tandis que l'évaluation au niveau arc révèle la véritable correspondance plusieurs-à-un.
Changement méthodologique : Pour éviter d'interpréter les artefacts d'extraction comme une spécialisation fonctionnelle, les travaux futurs doivent employer des tests de transfert inter-conditions, donner la priorité à l'évaluation au niveau arc et utiliser des extractions multiples pour distinguer les mécanismes stables du bruit.

L'article conclut qu'un circuit découvert ne doit pas être traité comme identifiant de manière unique le mécanisme sous-jacent, car la même fonction peut être implémentée par plusieurs configurations structurelles valides selon les statistiques d'entrée et les choix d'extraction.