💻 computer science

Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

Cette étude mécaniste trans-architecture démontre qu'un protocole unifié de type « screen-and-ablate » pour identifier les circuits de tâches produit des affirmations causales incohérentes entre différents modèles de langage de classe 1B, révélant que des capacités comportementales identiques sont implémentées par des structures de motifs d'attention distinctes et proposant que les modèles MoE reposent spécifiquement sur un substrat positionnel de jeton précédent fondamental pour les tâches composées.

Auteurs originaux : Yongzhong Xu

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongzhong Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez trois chefs différents (modèles d'IA) qui ont tous appris à cuisiner le même plat : une recette complexe appelée « Identification de l'Objet Indirect » (IOI). Vous voulez savoir comment ils cuisinent ce plat. Utilisent-ils les mêmes outils ? Suivent-ils les mêmes étapes ?

Ce document est comme un critique gastronomique qui entre dans trois cuisines différentes pour découvrir cela. Le critique utilise une méthode de test standard : il identifie un outil spécifique (comme un fouet ou un couteau), le retire, et regarde si le plat s'effondre.

Voici ce que le document a trouvé, expliqué simplement :

1. Le même plat, des recettes différentes

La grande surprise est que les trois chefs préparent le plat parfaitement, mais ils utilisent des outils complètement différents pour y parvenir.

Le Chef A (Pythia) : Utilise un outil de « Token Précédent ». C'est comme un chef qui regarde l'ingrédient qu'il vient de prendre pour décider de ce qu'il doit faire ensuite.
Le Chef B (OLMo) : Utilise un outil d'« Inhibition du S » (S-Inhibition). C'est comme un chef qui supprime spécifiquement l'ingrédient principal pour que l'accompagnement puisse briller.
Le Chef C (OLMoE) : Utilise un outil de « Déplacement de Nom » (Name-Mover). C'est comme un chef qui saisit physiquement le nom de l'accompagnement et le déplace au premier plan de l'assiette.

La Leçon : Ce n'est pas parce que deux modèles résolvent un problème de la même manière (en trouvant la bonne réponse) qu'ils utilisent le même « circuit » ou mécanisme interne. Vous ne pouvez pas supposer que ce qui fonctionne pour une IA fonctionnera pour une autre.

2. Le problème de la « partie de pêche »

Les chercheurs craignaient que si l'on essayait assez d'outils différents, on finisse par avoir de la chance et en trouver un qui semble fonctionner par accident. Pour prouver qu'ils ne faisaient pas que « pêcher », ils ont utilisé un contrôle de type « Random Matché » (Appariement Aléatoire).

Voyez les choses ainsi : Si vous retirez le vrai fouet du chef et que le gâteau s'effondre, c'est une bonne chose. Mais si vous retirez une cuillère aléatoire dans le tiroir et que le gâteau s'effondre également, alors le fouet n'était pas spécial ; toute la cuisine était simplement fragile.

Le document montre que pour la plupart des tâches, retirer l'outil spécifique que les chercheurs ont trouvé a provoqué un effondrement massif, tandis que retirer des outils aléatoires n'a rien changé. Cela prouve qu'ils ont trouvé la véritable « recette secrète » pour chaque modèle spécifique.

3. Les cinq types de « outils »

Le document a créé une nouvelle façon de catégoriser ce qui se passe lorsqu'on retire un outil. Il ne s'agit pas seulement de « ça marche » ou « ça ne marche pas ». Ils ont trouvé cinq résultats distincts :

La Cause Primaire : Le moteur principal. Si vous le retirez, la voiture s'arrête. (ex : l'outil « Token Précédent » du Chef A).
La Cause Secondaire : Un moteur de secours. La voiture continue de rouler si vous le retirez, mais elle bafouille.
Le Corrélat : Une décoration brillante. Elle semble appartenir à la salle des machines, mais si vous la retirez, la voiture roule très bien. Elle était juste là pour faire de la figuration.
L'Interférent : Un saboteur. Si vous retirez cet outil, la voiture fonctionne en fait mieux. Dans un cas, les chercheurs ont trouvé des outils qui nuisaient réellement aux performances de l'IA, et les retirer a réglé le problème.
Le Nul : Un outil qui ne fait rien. Le retirer ne change rien.

4. Le mystère de l'« MoE » (Le cas particulier)

L'un des chefs (OLMoE) est un « Mélange d'Experts » (Mixture of Experts - MoE). Imaginez que ce chef dispose d'une équipe de 64 spécialistes, mais que seulement 8 sont autorisés à cuisiner à un moment donné.

Les chercheurs ont découvert un motif étrange avec ce chef :

Pour trois recettes sur quatre, ce chef s'appuyait fortement sur l'outil « Token Précédent » comme base. C'était comme si toute la cuisine du chef était construite sur un tapis roulant qui transmettait simplement le dernier élément vers l'avant.
Cependant, pour la recette de l'« Objet Indirect », ce chef est passé à l'outil « Déplacement de Nom ».

L'Hypothèse : Le document suggère que pour ce type spécifique d'IA (MoE), l'outil « Token Précédent » est la « colonne vertébrale » ou le squelette par défaut qui maintient tout ensemble. L'IA construit des tâches complexes sur cette colonne vertébrale simple, à moins que la tâche ne nécessite spécifiquement un type d'attention différent (comme copier un nom à la toute fin).

5. Pourquoi la précision « Top-1 » ne suffit pas

Le document met également en garde contre le fait que regarder uniquement si l'IA a donné la « bonne réponse » (précision Top-1) peut être trompeur.

Parfois, retirer un outil ne change pas la réponse finale, mais rend l'IA moins confiante. C'est comme un étudiant qui réussit toujours son problème de mathématiques, mais dont l'écriture devient hésitante et qui marque des temps d'arrêt. Si vous ne vérifiez que la réponse, vous manquez le fait que l'étudiant est en difficulté. Les chercheurs ont découvert que pour certains modèles, la « marge » (à quel point la bonne réponse est meilleure que la mauvaise) diminue, même si la réponse reste la même.

Résumé

La recette fonctionne, les outils non : Vous ne pouvez pas copier-coller le « mécanisme » d'une IA sur une autre. Elles résolvent les mêmes problèmes avec des engrenages internes différents.
Attention aux « Saboteurs » : Parfois, les parties que vous pensez aider sont en réalité celles qui nuisent à l'IA.
Les modèles MoE sont uniques : Les modèles avec des « experts » (MoE) semblent s'appuyer sur une colonne vertébrale spécifique de « Token Précédent » pour la plupart des tâches, ce qui est une nouvelle découverte.
Regardez plus loin : Ne vérifiez pas seulement si l'IA a raison ; vérifiez aussi son niveau de confiance, car c'est là que se trouve peut-être la véritable histoire.

Le document conclut que, bien que nous ayons une excellente méthode pour trouver ces « circuits » (la recette), nous ne pouvons pas supposer que les circuits soient les mêmes d'un modèle à l'autre. Chaque modèle est une machine unique avec sa propre logique interne.

Résumé Technique : La sélectivité des motifs n'est pas une structure causale de la tâche

Énoncé du problème
Cet article examine si la recette établie de « filtrage et ablation » (screen-and-ablate) pour l'interprétabilité mécaniste — identifier les circuits de têtes d'attention via la sélectivité des motifs de tâches suivie d'une ablation causale — produit des affirmations mécanistes cohérentes à travers différentes familles de modèles. Bien que des travaux antérieurs (par exemple, Wang et al., 2023) aient établi des circuits canoniques pour des tâches comme l'identification de l'objet indirect (IOI) dans GPT-2 small, il reste inconnu si ces circuits spécifiques se généralisent à d'autres modèles de classe 1B entraînés sur des corpus et des architectures différents. La question centrale est de savoir si un filtrage par motif de tâche identifie le même circuit causal à travers les modèles, ou si l'implémentation mécaniste des tâches composées est spécifique au modèle.

Méthodologie
Les auteurs appliquent un protocole unifié de filtrage et ablation à travers une grille empirique $4 \times 3$ :

Tâches : Quatre tâches composées : Identification de l'objet indirect (IOI), Plus Grand Que (Greater-Than), Séquences de Successeur (Successor Sequences) et Liaison de Variables (Variable Binding).
Modèles : Trois modèles de classe 1B provenant de pipelines distincts :
- Pythia 1B : Architecture dense, entraînée sur The Pile.
- OLMo 1B : Architecture dense, entraînée sur DCLM.
- OLMoE 1B-7B : Architecture Mixture-of-Experts (MoE) (64 experts, top-8), entraînée sur DCLM.
Procédure :
1. Signal Spectral : Les têtes sont pré-filtrées à l'aide d'un intégral de ratio de participation (PR) pour identifier la spécialisation du calcul.
2. Filtrage par Motif de Tâche : Les têtes candidates sont filtrées selon leur sélectivité pour des motifs d'attention spécifiques (ex: jeton précédent, induction, name-mover, S-Inhibition).
3. Vérification Causale : Une ablation de groupe du circuit candidat est effectuée (remplacement des sorties de tête par l'activation moyenne du lot).
4. Contrôle : Un contrôle aléatoire apparié (matched-random null) est généré pour chaque cellule à l'aide de 10 graines indépendantes, échantillonnant des têtes aléatoires issues des mêmes couches avec un nombre égal et aucun chevauchement avec les sélections.
Métriques : La performance est mesurée via la $\Delta$ précision top-1 et la $\Delta$ différence de logit ( $\Delta$ logit-diff, différence entre les logits corrects et les distracteurs).

Contributions Clés

Grille Empirique : Une analyse complète de 12 cellules (tâche, modèle) à la frontière de la classe 1B, démontrant que si la méthodologie est transférable, les circuits causaux spécifiques ne le sont pas.
Taxonomie en Cinq Catégories : Un cadre quantitatif pour classifier les résultats de filtrage :
- Cause Primaire : Plus grand effet non saturé avec une haute spécificité ( $\ge 3\times$ par rapport au nul aléatoire apparié).
- Cause Secondaire : Effet significatif mais plus petit que la cause primaire ; souvent une voie redondante.
- Corrélat : Les têtes montrent le motif attendu mais l'ablation a peu ou pas d'impact causal (la réponse est déjà encodée en amont).
- Interférent : L'ablation améliore la performance de la tâche ; souvent causé par des puits d'attention de type BOS (premier jeton) qui entrent en compétition avec la tâche.
- Nul : Aucun rôle causal ; l'effet est indiscernable du bruit aléatoire.
Hypothèse de la Primauté du Jeton Précédent d'OLMoE : Une affirmation falsifiable selon laquelle les modèles MoE à l'échelle 1B active construisent des circuits de tâches composées sur un substrat positionnel de jeton précédent fondamental. Le calcul spécifique à la tâche est superposé à ce substrat, sauf lorsque la structure de la tâche sonde directement un autre motif (ex: la copie de nom en position finale de l'IOI).
Raffinements Méthodologiques :
- Démonstration que les contrôles aléatoires appariés sont essentiels pour distinguer la véritable causalité des recherches opportunistes (fishing expeditions), révélant notamment que les écrans concentrés en L0 présentent des nuls à haute variance.
- Identification de la signature margin-not-argmax : Dans certains modèles, l'ablation comprime la marge des logits (réduisant la confiance) sans changer la prédiction top-1, suggérant que les capacités sont implémentées comme des biais distributionnels plutôt que des décisions de porte (gating).

Résultats Clés

Absence de Transfert de Circuit entre Architectures : Aucune des deux cellules de la grille $4 \times 3$ $4 \times 3$ ne partage le même écran causal primaire à une taille d'effet comparable.
- IOI : Pythia est principalement prev-token ; OLMo est principalement S-Inhibition ; OLMoE est principalement name-mover.
- Greater-Than : Pythia est principalement GT-specific ; OLMo montre un effet de marge uniquement ; OLMoE est principalement prev-token.
- Successor : Pythia est mixte ; OLMo est concentré en L0 (nul peu fiable) ; OLMoE est principalement prev-token.
- Variable Binding : Le filtrage naïf de Pythia identifie des interférents (BOS-confounds) ; OLMo et OLMoE sont principalement prev-token.
Le Motif OLMoE : Dans OLMoE, le circuit prev-token est le principal moteur causal pour Greater-Than, Successor et Variable Binding. L'exception est l'IOI, où la structure de la tâche (copie de nom en position finale) engage directement le circuit name-mover.
Confonds de Classe BOS : Dans la tâche de liaison de variables de Pythia, les meilleurs candidats de filtrage étaient des têtes de classe BOS qui agissaient comme des interférents. Des ablations individuelles de têtes étaient nécessaires pour les distinguer des véritables soutiens, un diagnostic qui se généralise à travers les régimes dominés par BOS.
Sensibilité de la Métrique : Se fier uniquement à la précision top-1 occulte des effets mécanistes importants. Par exemple, dans la tâche Greater-Than d'OLMo, l'ablation du filtre spécifique à GT a compressé la marge des logits de manière significative ( $\Delta$ -1.98) alors que la top-1 a très peu chuté ( $\Delta$ -0.6).

Signification et Revendications
L'article soutient que la question « Quel est le circuit pour la capacité X ? » est mal posée pour la frontière de la classe 1B, car elle présuppose une solution unique et transférable. Au lieu de cela, les auteurs proposent que :

Découplage Mécaniste : Différents modèles atteignent la même capacité comportementale par des implémentations mécanistiques entièrement différentes. La « recette » (filtrage et ablation) est une procédure générative valide, mais le circuit spécifique doit être redérivé pour chaque modèle.
Régularités de Classe de Modèle : Bien que les circuits spécifiques diffèrent, des motifs structurels peuvent persister au sein des familles d'architectures. L'hypothèse de la primauté du jeton précédent d'OLMoE suggère que les architectures MoE reposent sur un substrat positionnel stable pour le routage, sur lequel la logique spécifique à la tâche est construite.
Honnêteté Méthodologique : L'article souligne que les signaux spectraux seuls sont insuffisants ; des filtres par motif de tâche et une vérification causale (spécifiquement les ablations de têtes individuelles dans les régimes dominés par BOS) sont nécessaires pour distinguer les soutiens des corrélats et des interférents.

Les auteurs présentent ces conclusions comme le point de départ d'un programme empirique plus large, notant que l'hypothèse OLMoE nécessite une validation sur d'autres modèles MoE (ex: Mixtral, DBRX) et que la grille de 12 cellules est suffisante pour motiver mais pas pour établir pleinement la généralisation entre les tâches.