🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

Cet article démontre que si le regroupement des têtes d'attention basé sur les statistiques de co-activation génère des propositions de circuits plausibles, seules les tests d'ablation causale peuvent valider leur nécessité fonctionnelle, révélant que ces signaux peu coûteux échouent souvent à identifier les véritables circuits dans des architectures complexes telles que les modèles de type Mixture-of-Experts.

Auteurs originaux : Yongzhong Xu

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongzhong Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : « Proposer » vs « Prouver » une équipe

Imaginez que vous essayez de comprendre comment fonctionne une machine complexe (comme le cerveau d'un robot géant). Vous soupçonnez que certains groupes d'engrenages (appelés têtes d'attention) travaillent ensemble en équipe pour accomplir des tâches spécifiques, comme « se souvenir du mot précédent » ou « trouver un motif ».

Pendant longtemps, les chercheurs ont tenté de trouver ces équipes en observant la co-activation. C'est comme regarder les engrenages et dire : « Hé, l'engrenage A et l'engrenage B tournent toujours en même temps. Ils doivent former une équipe ! »

Ce papier pose une question critique : Le simple fait que des engrenages tournent ensemble signifie-t-il qu'ils forment réellement une équipe fonctionnelle accomplissant un travail important ? Ou tournent-ils ensemble simplement parce qu'ils sont connectés au même interrupteur, même s'ils ne font rien d'utile ?

Les auteurs appellent cela la différence entre une Proposition (une supposition basée sur l'observation) et une Découverte (un fait confirmé par la preuve).

L'expérience : Le « Test du Silence »

Pour prouver qu'une équipe est réelle, les auteurs ne se sont pas contentés de les regarder tourner ; ils ont effectué un Test du Silence (qu'ils appellent Clôture).

La Proposition : Ils ont utilisé une recette mathématique (le regroupement ou clustering) pour trouver des groupes d'engrenages qui tournent ensemble.
Le Test : Ils ont éteint (ablé) ce groupe spécifique d'engrenages.
Le Verdict :
- Circuit Réel : Si la machine commence à faire des erreurs ou s'arrête de fonctionner, le groupe était une véritable équipe essentielle.
- Faux Circuit : Si la machine continue de fonctionner parfaitement (ou même fonctionne mieux), le groupe n'était pas une vraie équipe. C'était juste du « bruit » ou des pièces redondantes qui n'avaient pas d'importance.

Les Résultats : Deux histoires différentes

Les auteurs ont testé cela sur trois types différents de cerveaux de robots (modèles d'IA).

1. Les Modèles Denses (Les cerveaux « standards »)

Modèles : Pythia 1B et OLMo 1B.
L'histoire : Dans ces modèles, le « Test du Silence » a parfaitement fonctionné. Lorsqu'ils ont éteint les groupes d'engrenages que les mathématiques identifiaient comme des « équipes », le cerveau du robot est devenu moins performant dans sa tâche.
L'analogie : C'est comme trouver un groupe de musiciens dans un orchestre qui jouent toujours les mêmes notes. Quand vous les faites taire, la musique s'effondre. Conclusion : Dans ces modèles, la supposition de « rotation conjointe » était généralement une proposition correcte pour un circuit réel.

2. Le Modèle MoE (Le cerveau « spécialiste »)

Modèle : OLMoE-1B-7B (Mixture of Experts / Mélange d'experts). Ce modèle est différent ; il possède un « gestionnaire » qui décide quels spécialistes travaillent sur quelles tâches.
L'histoire : C'est ici que cela devient délicat.
- D'abord, les mathématiques n'ont trouvé aucune équipe en regardant l'ensemble du cerveau.
- Ensuite, les chercheurs ont essayé une astuce plus intelligente : ils ont regroupé les entrées selon le « gestionnaire » actif et ont cherché des équipes au sein de ces groupes. Cette fois, les mathématiques ont trouvé un signal très fort. Cela ressemblait à une véritable équipe !
- Le rebondissement : Lorsqu'ils ont appliqué le Test du Silence sur cette « équipe parfaite », le cerveau du robot ne s'est pas dégradé. Il s'est amélioré.
L'analogie : Imaginez un groupe de personnes dans un bureau qui se tiennent toujours dans un coin et parlent fort. Vous pensez qu'il s'agit d'une « Équipe de Projet ». Mais quand vous leur demandez de partir, le bureau fonctionne mieux parce qu'ils étaient en fait une distraction pour tout le monde.
Conclusion : Dans ce modèle, les mathématiques ont trouvé un groupe qui ressemblait à une équipe, mais qui était en fait du « bruit ». Le Test du Silence a prouvé que ressembler à une équipe ne suffit pas pour être une équipe.

La Chronologie de l'Entraînement : « Forme » vs « Fonction »

Les auteurs ont également observé la croissance de ces cerveaux, du stade de bébé à celui d'adulte (pendant l'entraînement). Ils ont observé deux choses :

La Forme : Est-ce que l'engrenage semble se concentrer sur la bonne chose ? (ex. : Est-ce qu'il regarde le mot précédent ?)
La Fonction : Est-ce que l'engrenage fait réellement le travail ? (ex. : Est-ce que l'éteindre casse le robot ?)

Ils ont découvert un décalage surprenant :

Fonction sans Forme : Parfois, un groupe d'engrenages faisait le gros du travail (fonction essentielle) avant même de commencer à paraître focalisé. Ils travaillaient dur tout en étant encore « égarés ».
Forme sans Fonction : Parfois, un groupe d'engrenages semblait parfaitement focalisé et précis (excellente forme), mais si on les éteignait, rien ne se passait. Ils avaient l'air d'une équipe, mais ils n'étaient que décoratifs.

La Surprise de la « Redondance »

Dans un test spécifique (Pythia 1B sur du texte naturel), ils ont découvert un phénomène étrange.

Lorsqu'ils ont éteint l'« équipe », la confiance du robot dans la réponse exacte s'est effondrée (il était sûr de lui, mais se trompait).
MAIS, le score global (la perte moyenne ou loss) a très peu changé.
L'analogie : Imaginez un générateur de secours. Si vous coupez la ligne électrique principale, les lumières vacillent violemment (le signal spécifique s'effondre), mais comme le générateur de secours s'active très rapidement, la maison ne s'éteint pas (le score global reste stable). Le modèle possède tellement de chemins de secours qu'il masque les dégâts, faisant paraître l'« équipe » moins importante qu'elle ne l'est réellement.

La Conclusion Principale

Le papier se conclut par une règle simple pour les chercheurs en IA :

« La co-activation est une proposition ; la clôture est la preuve. »

Le simple fait que des parties d'un cerveau d'IA s'activent ensemble, ou semblent focalisées, ou apparaissent dans un groupe statistique, ne signifie pas qu'elles constituent un circuit fonctionnel. Vous devez effectuer le « Test du Silence » (ablation) pour voir si elles comptent réellement.

Dans les modèles standards, la supposition est souvent correcte.
Dans les modèles complexes de type « Mixture of Experts », la supposition peut être totalement erronée, vous faisant croire que vous avez trouvé une équipe alors que vous avez trouvé un groupe de distractions.

Ce que le papier ne prétend PAS :

Il ne dit pas que cette méthode fonctionne pour tous les modèles d'IA (seulement pour ceux qu'ils ont testés).
Il ne dit pas que cela s'applique à d'autres types de caractéristiques d'IA (comme les « Sparse Autoencoders ») qui utilisent des mathématiques différentes.
Il ne donne pas de conseils médicaux ou cliniques. Il traite uniquement de la compréhension du fonctionnement de ces cerveaux informatiques spécifiques.

Résumé Technique : Découverte de Circuits Validée par Clôture dans les Têtes d'Attention

Énoncé du Problème
L'interprétabilité mécaniste s'est déplacée vers l'étude de groupes de composants (sous-espaces, variétés, ensembles de têtes) plutôt que d'unités individuelles comme objet d'étude fondamental. Une approche méthodologique prédominante propose de trouver ces groupes en regroupant des statistiques de co-activation (par exemple, en utilisant des modèles d'Ising binarisés sur les caractéristiques d'auto-encodeurs éparses ou les têtes d'attention). Cependant, une lacune critique subsiste : un groupe de co-activation statistiquement cohérent constitue-t-il réellement un « circuit » au sens de la charge utile ? Un véritable circuit est un groupe de composants dont le retrait dégrade causalement les performances du modèle sur les entrées où la fonction du groupe s'applique.

L'article examine si des signaux peu coûteux — spécifiquement l'appartenance à un cluster de co-activation, la sélectivité de l'attention vers la cible et le ratio de participation — peuvent servir de preuves suffisantes pour la découverte de circuits, ou s'ils ne proposent que des candidats qui nécessitent une validation causale. Les auteurs se demandent si le partitionnement seul peut distinguer entre :

Véritables Circuits : Groupes qui implémentent conjointement une fonction et qui sont porteurs de charge (load-bearing).
Communautés Co-actives : Groupes qui s'activent ensemble en raison de pilotes amont partagés mais contribuent de manière redondante ou marginale.
Communautés Annulables : Groupes qui ajoutent des signaux de biais que le réseau compense, de sorte que leur retrait pourrait même améliorer les performances.

Méthodologie
L'étude utilise un cadre de « proposition et validation » à travers trois modèles de langage d'échelle 1B (Pythia 1B, OLMo 1B et le Mixture-of-Experts OLMoE-1B-7B) et deux distributions d'entrée (induction synthétique et texte naturel).

Proposition (Clustering) :
- Extraction de Signal : Pour chaque tête d'attention, un signal sans modèle (template-free) est extrait : le poids d'attention maximal assigné à toute position de clé dans une entrée.
- Binarisation : Les signaux sont binarisés à la médiane par tête, garantissant que chaque tête s'active sur 50 % des exemples par construction, éliminant ainsi les biais de taux d'activation.
- Ajustement Ising : Un modèle d'Ising par paire est ajusté aux signaux binarisés en utilisant la pseudovraisemblance pour estimer les forces de couplage entre les têtes.
- Récupération de Communauté : Le clustering spectral est appliqué à la matrice de couplage absolue. Le nombre de clusters ( $k$ ) est sélectionné pour maximiser l'indice Rand ajusté (ARI) par rapport à une classification supervisée des capacités des têtes (ex: jeton précédent, induction).
- Sélection de Candidat : Un sous-cluster spécifique est sélectionné en fonction de sa pureté, de son isolement (ratio de couplage interne par rapport à externe) et de ses contraintes de taille.
Validation (Test de Clôture) :
- Ablation : La communauté sélectionnée est ablée en mettant à zéro les tranches de sortie des têtes identifiées avant qu'elles n'entrent dans le flux résiduel.
- Comparaison : Le dommage par exemple (changement de la perte cross-entropy, précision top-1, et logit du jeton cible) est comparé à cinq ablations de contrôle aléatoires appariées de même taille.
- Critères de Verdict : Un candidat passe la clôture si le dommage est dans la direction attendue (la perte augmente, la précision/le logit diminue) et s'il est statistiquement significatif (z-score > 1,8) par rapport à la distribution de contrôle aléatoire.
Proxies Étendus :
- L'étude suit également la sélectivité de l'attention vers la cible et le ratio de participation (PR) à travers les points de contrôle d'entraînement pour voir si ces « signaux peu coûteux » corrèlent avec la fonction porteuse de charge au fil du temps.

Résultats Clés

Modèles Denses (Pythia 1B, OLMo 1B) :
- Les communautés de co-activation identifiées sur les distributions de texte synthétique et naturel passent la clôture.
- L'ablation de ces communautés augmente systématiquement la perte et diminue la précision/le logit cible par rapport aux contrôles aléatoires.
- OLMo 1B (Texte Naturel) : A produit le signal le plus fort, avec un z-score de +36,4 $\sigma$ sur la perte et de -50,9 $\sigma$ sur le logit cible.
- Pythia 1B (Texte Naturel) : A montré une « signature de redondance en aval ». Bien que le logit cible ait chuté de manière significative (-52,5 $\sigma$ ), le changement de perte globale était faible (+1,95 $\sigma$ ). Cela indique que le modèle possède des voies redondantes en aval qui reconstruisent la sortie ablée, isolant la perte cross-entropy alors que la confiance de la prédiction spécifique s'effondre.
Mixture-of-Experts (OLMoE-1B-7B) :
- Échec Marginal : Sur le texte naturel, le modèle d'Ising marginal s'est effondré (ARI $\approx$ 0,006), échouant à récupérer toute structure.
- Récupération Conditionnelle à la Route : La stratification des exemples par motifs de routage (en utilisant k-means sur les poids de routage) et l'ajustement de modèles d'Ising séparés ont permis de récupérer un signal statistiquement significatif (ARI 0,191, +3,05 $\sigma$ au-dessus d'un nul de partition aléatoire).
- Échec de Clôture : Malgré la récupération statistique, la communauté découverte a échoué à la clôture dans la mauvaise direction. L'ablation de la communauté a amélioré la perte (z = -5,64 $\sigma$ sur le stratum de découverte, -12,94 $\sigma$ en dehors de celui-ci). Les têtes agissaient comme du bruit modulé par la route ; les supprimer a aidé le modèle, particulièrement sur les entrées en dehors du stratum de routage spécifique.
Axe de l'Entraînement et Proxies :
- Fonction sans Forme : Dans OLMo 1B, les têtes BOS (début de séquence) étaient porteuses de charge (ont passé la clôture) à 2B tokens avant que leur motif de sélectivité attention-vers-BOS ne se soit formé (la sélectivité était proche de zéro).
- Forme sans Fonction : Dans Pythia 1B, les têtes de jeton précédent présentaient une sélectivité élevée et un ratio de participation élevé à 1B tokens, mais ont échoué à la clôture (l'ablation n'a pas endommagé la performance, et dans certains cas, l'a améliorée).
- Ce découplage bidirectionnel prouve que les motifs d'attention et la fonction sont des construits distincts, et non simplement des sensibilités différentes d'un même phénomène.

Rapport Multi-Métriques
L'article soutient que la perte cross-entropy seule est une métrique peu fiable pour la clôture. Elle peut être gonflée par l'effondrement de la variance de contrôle (comme vu dans OLMo texte naturel) ou masquée par la redondance en aval (comme vu dans Pythia texte naturel). Les auteurs recommandent un standard multi-métrique :

Direction : Toutes les métriques doivent se déplacer dans la direction du dommage.
Logit de la Cible : Le principal indicateur de l'impact causal.
Précision : Preuve corroborante.
Perte : Un plancher conservateur, sujet à l'élasticité de l'agrégation.

Revendications et Signification
L'article conclut par quatre revendications spécifiques :

Proposition vs Découverte : Le partitionnement par co-activation non supervisé est une méthode de proposition de circuit, et non une méthode de découverte. Il identifie des communautés candidates, mais seule l'ablation causale (clôture) les valide comme étant porteuses de charge.
Succès des Modèles Denses : Dans les modèles denses de l'échelle 1B, les communautés de co-activation sur les textes synthétiques et naturels peuvent proposer avec succès des circuits porteurs de charge qui survivent à la clôture.
Échec des MoE : Dans les architectures MoE, même la récupération statistique conditionnelle à la route (qui passe un test nul rigoureux) est insuffisante pour prouver l'existence d'un circuit. Les communautés récupérées peuvent échouer à la clôture dans la direction opposée (améliorant la performance lors du retrait).
Divergence des Métriques : L'écart entre les motifs d'attention (sélectivité/PR) et la fonction est bidirectionnel ; une tête peut avoir un motif net sans fonction, et une fonction sans un motif.

Portée et Limites
Les auteurs précisent explicitement qu'ils ne prétendent pas que ces résultats se généralisent aux variétés de caractéristiques des SAE (qui utilisent des critères de validation différents), aux modèles plus grands, à d'autres architectures (ex: LLaMA, Mistral) ou à d'autres distributions d'entrée (ex: code). Ils notent également que l'échec de « la mauvaise direction » dans les MoE est spécifique à l'architecture et au protocole de routage testés, et que l'affinité d'Ising utilisée est un choix pour la comparabilité, et non l'affinité optimale pour les circuits discrets. L'étude souligne que le résultat négatif dans les MoE est essentiel, car il démontre que la cohérence statistique ne garantit pas la charge utile causale, surtout dans des architectures complexes.