💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Cet article remet en question l'hypothèse selon laquelle les têtes de vecteurs de fonction constituent un groupe homogène en révélant qu'elles se composent de deux sous-populations opposées — des rédacteurs qui promeuvent les règles correctes et des annulateurs qui les suppriment — lesquelles sont invisibles au classement par magnitude seule mais impactent significativement la performance du modèle lorsqu'elles sont identifiées et ablées.

Auteurs originaux : Han-yu Wang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Han-yu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme ceux qui discutent avec vous) comme un immense orchestre essayant de résoudre un puzzle en se basant sur quelques exemples. Dans cet orchestre, il y a des musiciens spécifiques appelés têtes d'attention. Pendant longtemps, les chercheurs ont cru que les musiciens les plus importants étaient simplement ceux qui jouaient les notes les plus fortes. Ils supposaient que si un musicien jouait très fort, il aidait forcément l'orchestre à jouer la bonne mélodie.

Cet article découvre que cette supposition est fausse. Il s'avère que les musiciens les plus « bruyants » appartiennent en réalité à deux groupes complètement différents et opposés : Les Écrivains et Les Annulateurs.

Voici le détail de ce que l'article a découvert, en utilisant des analogies simples :

1. Le grand malentendu : Volume vs Direction

Auparavant, les chercheurs examinaient ces musiciens et les classaient par volume (leur contribution à la réponse). Ils supposaient que les 20 musiciens les plus bruyants étaient tous des « aides ».

Les auteurs de cet article ont réalisé que le volume ne suffit pas ; il faut connaître la direction.

Les Écrivains : Ces musiciens jouent une note forte qui pousse l'orchestre vers la bonne réponse.
Les Annulateurs : Ces musiciens jouent également une note forte, mais ils poussent l'orchestre vers la mauvaise réponse. Ils essaient activement d'annuler la bonne réponse.

L'analogie : Imaginez un tir à la corde.

Les Écrivains sont l'équipe qui tire la corde vers la ligne d'arrivée.
Les Annulateurs sont une seconde équipe qui tire la corde tout aussi fort, mais dans la direction opposée.
Si vous ne regardez que la force avec laquelle ils tirent (l'amplitude), vous pensez qu'ils sont tous deux des « tireurs » tout aussi importants. Mais si vous regardez la direction, vous voyez qu'ils se battent l'un contre l'autre.

2. La découverte : Deux populations

Les chercheurs ont testé cela sur plusieurs modèles différents (allant du petit au grand) et différents types de puzzles logiques. Ils ont découvert que, dans presque tous les cas, les « meilleurs » musiciens se divisent en ces deux camps opposés.

Les « Écrivains » augmentent la probabilité de la bonne réponse.
Les « Annulateurs » diminuent la probabilité de la bonne réponse.

Lorsque les chercheurs ont réduit au silence (ablations) les Annulateurs, le modèle est devenu réellement meilleur pour résoudre les puzzles. C'était comme retirer un saboteur de l'équipe de tir à la corde ; soudain, les « Écrivains » pouvaient tirer la corde vers la ligne d'arrivée sans résistance.

3. Pourquoi la recherche précédente a manqué cela

L'article explique que les études antérieures (comme celle de Todd et al., 2024) utilisaient une méthode qui ne regardait que la « force » de la contribution. À cause de cela, elles ramassaient accidentellement un mélange d'Écrivains et d'Annulateurs, mais ce mélange changeait selon le puzzle.

Sur certains puzzles, les « Annulateurs » étaient plus forts, donc l'ancienne méthode pensait qu'ils étaient les principaux aides.
Sur d'autres puzzles, les « Écrivains » étaient plus forts, donc l'ancienne méthode pensait que ceux-ci étaient les principaux aides.

L'article montre qu'en ignorant le « signe » (la direction), les recherches précédentes confondaient essentiellement les héros et les méchants, pensant qu'ils étaient tous de simples « aides bruyants ».

4. Les Annulateurs sont-ils juste des erreurs ?

Les chercheurs voulaient s'assurer que les « Annulateurs » n'étaient pas simplement des parties défectueuses du modèle ou du bruit accidentel. Ils ont effectué de nombreux tests pour prouver qu'ils sont des parties réelles et fonctionnelles du système :

Ils lisent des choses différentes : Les Écrivains se concentrent sur les « étiquettes » (les réponses) dans les exemples. Les Annulateurs se concentrent sur le « format » (la ponctuation et l'espacement). Ils regardent des parties différentes de la page.
Ils sont dictés par le contenu : Les Annulateurs ne font pas que supprimer les réponses de manière aléatoire ; ils essaient spécifiquement de supprimer la réponse qui vient d'être démontrée dans les exemples.
Ils ne sont pas des « Suppresseurs de Copie » : L'article a écarté l'idée qu'il s'agit de mécanismes génériques de type « ne pas copier ». Ils sont spécifiques à la logique de la tâche.

5. L'étude de cas de « L11.H4 »

L'article zoome sur un musicien spécifique, L11.H4, pour voir comment il fonctionne.

Ce musicien est un « Annulateur » sur les puzzles logiques (il essaie de pousser la mauvaise réponse).
Cependant, si vous changez le puzzle pour une tâche de vocabulaire (comme l'appariement d'antonymes), ce même musicien inverse son rôle et devient un « Écrivain » (il aide la bonne réponse).
La leçon : Ce musicien n'est pas intrinsèquement « bon » ou « mauvais ». Son travail est de supprimer ce qui vient d'être démontré. Si la démonstration est la bonne réponse, il la supprime (Annulateur). Si la démonstration est la mauvaise réponse (dans un autre contexte), il supprime la mauvaise réponse, aidant ainsi la bonne (Écrivain).

6. La conclusion

La conclusion principale est que nous ne pouvons pas traiter les parties les plus « actives » d'un modèle d'IA comme un groupe unique et uniforme.

Vieille vision : « Ce sont les 20 têtes les plus importantes. Utilisons-les pour diriger le modèle. »
Nouvelle vision : « Ces 20 têtes sont en fait une guerre civile. La moitié pousse le modèle vers le bon endroit, et la moitié le pousse vers le mauvais endroit. Si vous voulez diriger le modèle, vous devez faire taire les Annulateurs, pas seulement amplifier les Écrivains. »

L'article ne prétend pas que cela rend le modèle « sûr » ou prêt pour une utilisation médicale ou juridique réelle. Il affirme simplement que pour comprendre comment ces modèles apprennent des règles à partir d'exemples, nous devons reconnaître que leurs « musiciens » internes sont souvent en conflit, et non en coopération.

Résumé Technique : Les têtes de Vecteur-Fonction sont deux populations : Écrivains et Annulateurs dans l'Apprentissage en Contexte (In-Context Learning)

1. Énoncé du Problème

Dans le domaine de l'interprétabilité mécaniste, les têtes de Vecteur-Fonction (FV) sont généralement identifiées comme un ensemble clairsemé de têtes d'attention ayant de grandes contributions causales aux tâches de règles d'apprentissage en contexte (ICL). Le pipeline d'identification standard (par exemple, Todd et al., 2024) classe ces têtes par la magnitude de leur contribution causale (par exemple, l'Attribution Directe du Logit ou AIE) et traite l'ensemble des têtes les mieux classées comme une classe fonctionnelle homogène.

Cet article remet en question l'hypothèse implicite selon laquelle les têtes à haute magnitude poussent uniformément le modèle vers la règle démontrée. Les auteurs postulent que le classement par magnitude seule occulte une hétérogénéité structurelle critique : l'ensemble des têtes les plus performantes peut contenir des têtes aux effets causaux opposés. Si cette hypothèse échoue, les méthodes d'agrégation standard (comme les vecteurs de pilotage/steering vectors) peuvent involontairement mélanger des forces opposées, menant à des interventions sous-optimales ou contradictoires.

2. Méthodologie

Les auteurs proposent un pipeline d'identification préservant le signe et un cadre de validation rigoureux à travers trois familles de modèles (Pythia, Qwen2.5, GPT-2) et six échelles (410M–12B).

Attribution Directe du Logit (DLA) affinée : Au lieu de classer par magnitude absolue, les auteurs calculent la contribution signée de chaque tête à la différence de logit entre le jeton correct et le jeton incorrect ( $\Delta \ell$ ). Ils appliquent un contrôle du Taux de Fausse Découverte (FDR) basé sur la permutation ( $q=0,10$ ) pour identifier un ensemble de candidats de têtes FV qui inclut à la fois des contributeurs positifs et négatifs.
Validation par Path Patching : Les candidats sont validés par path patching pour isoler les effets directs. Les têtes sont partitionnées en deux populations basées sur la magnitude de leur effet direct par rapport au mouvement du prompt (swing) :
- Écrivains (Writers - $W$ ) : Têtes ayant un effet direct positif ( $\ge +5\%$ du swing), poussant le logit du jeton correct vers le haut.
- Annulateurs (Cancellers - $C$ ) : Têtes ayant un effet direct négatif ( $\le -5\%$ du swing), poussant le logit du jeton correct vers le bas.
Le Verdict Canonique : L'existence de deux populations opposées est vérifiée via un test en quatre conditions sur les ablations de groupe (mise à zéro ou ablation de la moyenne) :
1. L'ablation de $W$ réduit significativement le logit correct ( $\Delta \ell_W < 0$ ).
2. L'ablation de $C$ augmente significativement le logit correct ( $\Delta \ell_C > 0$ ).
3. Les signes sont opposés.
4. L'ablation conjointe ( $W \cup C$ ) montre une atténuation (l'effet est plus faible que la somme des effets individuels), indiquant qu'ils opèrent sur la même lecture (readout) mais dans des directions opposées.
Rejet d'Artefacts : Les auteurs écartent six explications alternatives pour le signal de l'« annulateur » :
1. Chevauchement d'Induction : Les têtes annulatrices ne sont pas simplement des têtes d'induction.
2. Attention Sinks : L'effet n'est pas un artefact de l'attention portée aux préfixes de format ou aux jetons BOS (vérifié via le partitionnement DLA par source).
3. Importance Générique : Les annulateurs ne sont pas simplement des têtes à haute attention avec des signes aléatoires.
4. Suppression de Copie de Rang-1 : Le mécanisme n'est pas une simple suppression de rang-1 des jetons copiés (contrairement à GPT-2 L10.H7).
5. V-Cascade : L'effet n'est pas le résultat de l'inhibition d'un écrivain en amont via une cascade de composition V spécifique.
6. Contrôles de Rang-Proche : Les têtes aléatoires avec une magnitude similaire ne présentent pas le même comportement d'annulation.

3. Résultats Clés

Division de la Population : À travers 15 cellules (6 cellules principales Pythia + 9 extensions), l'ensemble des têtes FV se divise clairement en écrivains et annulateurs. Le verdict canonique est validé dans 13/15 cellules.
Chevauchement Asymétrique avec les Travaux Précédents : Le classement par magnitude seule (Todd et al., 2024) est biaisé en faveur de la sous-population localement dominante.
- Sur la tâche Hiérarchique, le top-20 de Todd capture 64 % des annulateurs mais seulement 4 % des écrivains.
- Sur la tâche Modulaire, le top-20 de Todd capture 59 % des écrivains mais seulement 8 % des annulateurs.
Impact Causal des Annulateurs : La mise à zéro de la population d'annulateurs produit un gain de logit constant de +0,13 à +0,29 nats et une amélioration de la précision de +2 à +7 points de pourcentage dans 6/6 cellules principales.
Distinction Structurelle :
- Sources QK : Les écrivains concentrent l'attention sur les étiquettes de démonstration ; les annulateurs déplacent la masse de l'attention vers les jetons de préfixe de format et l'éloignent des étiquettes.
- Géométrie OV : Les directions d'écriture (OV) des écrivains et des annulateurs sont presque orthogonales (fraction perpendiculaire moyenne de 0,96), ce qui leur permet de coexister au même readout sans s'annuler totalement dans le flux résiduel (residual stream).
- Distribution par Couches : Les annulateurs se regroupent dans les couches précoces à intermédiaires, souvent situés en aval d'un écrivain dans la même cellule, excluant une suppression tardive.
Étude de Cas (L11.H4) : L'annulateur dominant de Pythia-410M est identifié comme un « lecteur de contenu à biais distribué ». Son rôle bascule selon le template de la tâche (annulateur sur les tâches de règles, écrivain sur les tâches d'antonymes), ce qui soutient l'hypothèse qu'il supprime "ce qui a été démontré" plutôt que d'effectuer une suppression de logit inconditionnelle. Il ne correspond pas aux modèles de suppression de copie de rang-1 ou de V-cascade.

4. Signification et Revendications

L'article affirme que la population de têtes FV n'est pas une classe homogène mais une propriété structurelle comprenant deux sous-circuits opposés.

Correction Méthodologique : Le classement standard par "magnitude seule" est insuffisant pour identifier le paysage fonctionnel complet des têtes FV. Il manque systématiquement la sous-population qui s'oppose au signal dominant, menant à des modèles de circuits incomplets.
Implications d'Intervention : L'article distingue entre ablation, transplantation et pilotage additif (additive steering).
- Ablation : Retirer les annulateurs améliore la performance.
- Transplantation : Remplacer les têtes par leur moyenne de tâche (ce qui neutralise efficacement le comportement spécifique par prompt des annulateurs) améliore la performance par rapport aux transplantations de seuls écrivains.
- Pilotage (Steering) : Les auteurs déclarent explicitement qu'ils ne prétendent pas qu'un vecteur de pilotage agrégé (combinant $W$ et $C$ ) est l'opération correcte pour le pilotage pratique. Comme $W$ et $C$ ont des signes opposés, l'agrégation en un seul vecteur peut diluer l'effet de pilotage. L'identification au niveau de la population sert à définir sur quelles têtes intervenir, et non nécessairement comment agréger les vecteurs.
Généralité : Le phénomène est observé à travers différentes architectures de modèles (GPT-NeoX, style Llama, Conv1D) et échelles, suggérant qu'il s'agit d'une propriété fondamentale de la manière dont les transformers implémentent le suivi de règles en contexte, plutôt que d'un artefact d'un modèle ou d'une tâche spécifique.

5. Limites

Les auteurs font preuve de modestie quant à la portée de leurs découvertes :

Portée des Tâches : L'analyse principale est limitée à des tâches d'ICL synthétiques courtes à étiquettes fermées (règles hiérarchiques et modulaires) et à deux templates d'ICL de vocabulaire (antonymes, pays-capitale). Elle ne couvre pas la génération de texte long ou le suivi d'instructions ouvert.
Généralisation du Mécanisme : Bien que l'existence des deux populations soit une découverte au niveau de la population, la caractérisation mécaniste spécifique de l'annulateur dominant (L11.H4) comme un « lecteur de contenu à biais distribué » n'est pas extrapolée à l'ensemble de la population d'annulateurs.
Revendications de Pilotage : L'article ne fait aucune affirmation positive selon laquelle le pilotage par vecteur utilisant les populations identifiées améliore le contrôle pratique du modèle au-delà des décalages de logit spécifiques observés. Les gains de précision par ablation ne se traduisent pas automatiquement par un avantage prouvé pour les vecteurs de pilotage additifs sans ajustement supplémentaire.