💬 NLP

Localizing Anchoring Pathways in Language Models

Cet article étudie les mécanismes internes des effets d'ancrage dans les modèles Qwen et Llama de 7B–8B, révélant que les méthodes d'attribution au niveau des arêtes localisent plus précisément les signaux de décision pertinents que les méthodes au niveau des nœuds et que, bien que ces voies soient cohérentes entre les directions d'ancrage au sein d'un même modèle, elles changent considérablement entre les variantes de base et les variantes ajustées par instructions.

Auteurs originaux : Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un détective super intelligent, mais légèrement crédule. Vous lui posez une énigme à résoudre, mais vous glissez aussi un nombre aléatoire et non pertinent dans la conversation — comme si vous disiez au détective : « Au fait, le ticket de loterie s'est arrêté sur 15 », avant de demander : « Combien de jours faut-il à la Lune pour orbiter autour de la Terre ? »

Même si le détective connaît la réponse (27 jours), ce « 15 » aléatoire pourrait l'amener à trop pencher vers le 15. C'est ce qu'on appelle l'ancrage. Il s'agit d'un biais cognitif où un nombre non pertinent influence votre jugement et l'attire vers lui.

Ce document est comme une équipe d'ingénieurs en mécanique qui démonterait ce détective pour voir exactement où, dans son cerveau, se produit cette « crédulité ». Ils veulent savoir : Quels fils et quels interrupteurs spécifiques à l'intérieur de l'ordinateur transportent le signal qui dit : « Hé, ce nombre aléatoire est important ! »

Voici comment ils ont procédé et ce qu'ils ont trouvé, expliqué simplement :

1. La mise en place : Un jeu contrôlé

Au lieu de laisser le détective rédiger une longue dissertation, les chercheurs ont transformé le test en un jeu à choix multiples.

La question : « Quelle est la durée d'une orbite lunaire ? » (Réponse correcte : 27 jours).
Le piège : Ils ont ajouté une phrase contenant un nombre aléatoire, soit un « Ancre Basse » (15), soit une « Ancre Haute » (49).
L'objectif : Ils ont mesuré à quel point la confiance du modèle basculait vers la mauvaise réponse (15 ou 49) simplement parce que ce nombre avait été mentionné.

Ils ont confirmé que les modèles se faisaient effectivement piéger, tout comme les humains.

2. La méthode : Tracer les fils

Pour trouver les « circuits de la crédulité », les chercheurs ont utilisé une technique appelée Localisation de Circuit.

L'analogie : Imaginez que le modèle est une immense ville avec des millions de routes (arêtes/edges) reliant des quartiers (nœuds/nodes).
L'ancienne méthode : Les chercheurs regardaient auparavant des quartiers entiers (nœuds) pour voir où le trafic était dense.
La nouvelle méthode : Ce document a démontré que regarder les routes individuelles (arêtes) est bien plus efficace. C'est comme réaliser que le problème ne vient pas de tout le quartier du « Centre-ville », mais spécifiquement d'un seul pont reliant le Centre-ville à la banlieue.

Ils ont découvert que les méthodes au niveau des arêtes (en regardant les connexions) étaient bien plus précises pour identifier le biais que les méthodes au niveau des nœuds (en regardant les composants seuls). La « crédulité » n'est pas bloquée dans une partie spécifique du cerveau ; elle réside dans la trajectoire que prend l'information.

3. Les résultats : Ce que la carte a révélé

A. Les ancres « Basses » et « Hautes » utilisent les mêmes routes

Que le modèle ait été trompé par un nombre bas (15) ou un nombre haut (49), le trafic a circulé à travers presque exactement le même ensemble de routes.

La métaphore : C'est comme une rivière. Que l'eau coule vite (ancre haute) ou lentement (ancre basse), elle utilise toujours le même lit de rivière. Le modèle possède une « trajectoire de susceptibilité » partagée pour être influencé par les nombres, peu importe si le nombre est grand ou petit.

B. Les modèles « de base » vs « ajustés par instructions »

Les chercheurs ont testé deux versions du même modèle :

Modèle de base : Le détective brut, non entraîné.
Modèle ajusté par instructions (Instruction-Tuned) : Le détective qui a été entraîné à suivre des règles et à répondre aux questions poliment.

La surprise : Bien qu'ils utilisent le même « lit de rivière » général (les mêmes couches du réseau), les routes spécifiques les plus importantes ont changé après l'entraînement.

La métaphore : Imaginez que vous appreniez un nouvel itinéraire à un conducteur. Il traverse toujours la même ville, mais les rues spécifiques qu'il emprunte pour atteindre sa destination ont changé. L'« ajustement par instructions » (l'entraînement) a recâblé les connexions les plus importantes. Un circuit qui fonctionnait parfaitement sur le modèle brut ne fonctionnait pas toujours sur le modèle entraîné.

4. La vue d'ensemble

Ce document prouve que l'ancrage n'est pas seulement un « bug » dans les connaissances du modèle. C'est un processus mécanique spécifique où des nombres non pertinents détournent les trajectoires de prise de décision du modèle.

Point clé à retenir : Le biais circule à travers les connexions (arêtes), et pas seulement à travers des parties isolées.
Point clé à retenir : Les ancres basses et hautes partagent la même « autoroute », mais l'enseignement de nouvelles règles au modèle (ajustement par instructions) modifie les sorties les plus importantes sur cette autoroute.

En résumé, les chercheurs ont cartographié la « crédulité » à l'intérieur de l'IA, montrant précisément quels fils transportent le signal lorsque le modèle est distrait par un nombre aléatoire. Cela nous aide à comprendre que le modèle n'est pas simplement « faux » ; il suit une trajectoire spécifique et prévisible qui l'égare.

Résumé Technique : Localisation des voies d'ancrage dans les modèles de langage

Énoncé du Problème

Les grands modèles de langage (LLM), comme les humains, présentent un biais d'ancrage, où une valeur numérique non pertinente dans un prompt déplace les jugements ultérieurs vers cette valeur, même lorsque le modèle possède la connaissance factuelle correcte. Bien que des travaux antérieurs aient établi l'existence de ce phénomène comportemental, ils l'ont largement traité comme une boîte noire, mesurant l'ampleur du décalage sans expliquer les mécanismes internes. Cet article comble la lacune de l'interprétabilité mécaniste : spécifiquement, identifier quelles voies internes au sein d'un LLM transportent le signal qui fait qu'un ancrage non pertinent entre en compétition avec la réponse correcte lors de la prédiction.

Méthodologie

1. Configuration de la tâche contrôlée

Les auteurs ont adapté 100 questions d'estimation numérique de l'Open Anchoring Question Dataset (OpAQ) en un format de choix multiples contrôlé.

Structure du Prompt : Chaque élément comprend une question factuelle, une réponse de vérité terrain, et une phrase de type « machine à sous » non pertinente contenant soit un ancrage bas, un ancrage haut, soit un contrôle de correspondance de jetons (chaîne non numérique).
Espace de Réponse : Un ensemble fixe de neuf options est utilisé pour toutes les conditions, contenant la vérité terrain, les ancres, et des valeurs intermédiaires. Le modèle reçoit l'instruction de ne produire que la lettre de la réponse.
Modèles Évalués : Quatre modèles de type décodeur uniquement, à poids ouverts, issus des familles Qwen2.5 et Llama-3.1 :
- Modèles de base : Qwen2.5-7B, Llama-3.1-8B.
- Variantes ajustées par instructions (Instruct) : Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. Métriques

Métrique Comportementale : Le décalage de la Valeur Attendue (VA) normalisée mesure la direction et l'ampleur du décalage de la distribution de probabilité du modèle vers l'ancre.
Métrique d'Attribution : Une métrique de différence de logit ( $m$ $m$ ) est définie comme la différence entre le logit de la réponse correcte et le logit de la réponse de l'ancre active ( $m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$ $m = logit (y_{cor r ec t}) - logit (y_{an c h or})$ ).
- Une diminution de $m$ indique que l'ancre devient plus compétitive.
- Le changement de cette métrique ( $\Delta m$ ) entre les prompts ancrés et de contrôle sert de cible pour la localisation du circuit.
- La validation a confirmé que $\Delta m$ est fortement corrélé aux décalages de VA comportementaux.

3. Cadre de Localisation de Circuit

L'étude emploie la localisation de circuit basée sur l'attribution pour identifier le sous-graphe minimal du modèle responsable de l'effet d'ancrage.

Représentation en Graphe : Le transformeur est traité comme un graphe de calcul où les nœuds sont des composants (têtes d'attention, MLP) et les arêtes sont des voies dirigées.
Méthodes Comparées :
- Node Attribution Patching (NAP/NAP-IG) : Évalue les composants individuels.
- Edge Attribution Patching (EAP/EAP-IG) : Évalue les voies dirigées entre les composants.
- Gradients Intégrés (IG) : Les variantes (NAP-IG, EAP-IG) moyennent les gradients le long d'un chemin d'interpolation pour améliorer la qualité de l'attribution.
Évaluation de la Fidélité : Les auteurs mesurent la Récupération de la Performance du Circuit (CPR). Ils conservent les $k\%$ supérieurs des arêtes/nœuds classés de la course « propre » (contrôle) et patchant le reste avec les activations de la course « corrompue » (ancrée). Un score CPR élevé indique que le sous-graphe conservé récupère avec succès le comportement non ancré du modèle.

Principales Contributions

Validation de la Métrique : L'article établit une métrique validée au niveau de la réponse (différence de logit) qui suit l'ancrage comportemental, permettant l'utilisation de l'attribution par gradient pour la localisation de circuit.
Localisation par Arête vs Nœud : L'étude démontre que les méthodes au niveau des arêtes (EAP, EAP-IG) récupèrent le signal d'ancrage de manière nettement plus fidèle que les méthodes au niveau des nœuds (NAP, NAP-IG). Cela suggère que le biais est mieux compris comme une propriété des voies entre les composants plutôt que comme des composants « biaisés » isolés.
Analyse Structurelle des Circuits :
- Motifs par Couche : Les modèles Qwen concentrent l'attribution dans les couches médianes à tardives, tandis que les modèles Llama la concentrent dans les couches précoces.
- Types de Composants : Les circuits les mieux classés sont dominés par les arêtes attention-vers-attention (environ 68–80 % des arêtes sélectionnées), avec une implication significative des connexions attention-MLP, suggérant que les MLP participent via des voies médiées par l'attention.
Résultats de Transférabilité :
- Intra-Modèle : Les circuits d'ancrage bas et haut partagent une structure substantielle (environ 66–71 % des arêtes partagées) et se transfèrent bien entre les contrastes d'ancres au sein d'un même modèle.
- Inter-Variante : Bien que les modèles de base et ajustés par instructions partagent de larges motifs d'attribution par couche, les arêtes éparses spécifiques qui comptent le plus changent après l'ajustement par instruction. Le transfert inter-variante est moins fiable, particulièrement pour les contrastes d'ancres bas et les circuits éparses.

Résultats

Fidélité : L'EAP-IG (Edge Attribution Patching avec Gradients Intégrés) est apparu comme la méthode de localisation la plus fidèle, atteignant des scores CPR dépassant souvent 0,90 à travers les modèles et les conditions. En revanche, les méthodes au niveau des nœuds (NAP) ont obtenu des scores nettement inférieurs (par exemple, 0,36–0,67).
Structure de l'Ancrage :
- Les circuits d'ancrage bas et haut au sein d'un même modèle sont presque identiques dans leur distribution de profondeur par couche (corrélation de Pearson > 0,99) et partagent environ les deux tiers de leurs meilleures arêtes classées.
- L'ajustement par instruction préserve la profondeur générale de l'attribution mais modifie les arêtes éparses spécifiques qui pilotent l'effet. Par exemple, dans Qwen-7B, la fidélité inter-variante pour les contrastes d'ancrage bas est tombée de 0,917 (correspondance) à 0,291 lors de l'utilisation du classement de la version ajustée par instruction.
Différences entre Modèles : Les modèles Qwen présentent un ancrage comportemental plus fort et une attribution dans les couches plus tardives par rapport aux modèles Llama, qui montrent une concentration dans les couches plus précoces.

Signification et Revendications

L'article prétend fournir un compte mécaniste de la manière dont les signaux de décision liés à l'ancrage sont transportés à l'intérieur des modèles de langage. En formulant l'ancrage comme un problème de localisation de circuit, les auteurs vont au-delà de la mesure du fait qu'un biais se produit pour comprendre comment il est calculé.

Les implications clés tirées par les auteurs incluent :

Voie vs Composant : L'ancrage est un phénomène de niveau de voie ; isoler des nœuds spécifiques « biaisés » est moins efficace que d'identifier le flux d'information entre les composants.
Mécanismes Partagés : Le fort transfert entre les ancres hautes et basses suggère un mécanisme interne partagé pour la sensibilité à l'ancre, plutôt que des modes de défaillance distincts pour différentes directions d'ancrage.
Sensibilité Post-Entraînement : La transférabilité réduite entre les modèles de base et ceux ajustés par instruction indique que le post-entraînement modifie les voies spécifiques qui sont critiques pour ce biais, impliquant que les stratégies d'atténuation pourraient devoir être réévaluées après l'ajustement fin.
Contribution Méthodologique : Ce travail démontre l'utilité de l'application de la localisation de circuit aux biais cognitifs, offrant un cadre pour passer de l'observation comportementale à la compréhension mécaniste des biais induits par les prompts.

Les auteurs restent modestes, notant que leurs conclusions sont spécifiques à la formulation par choix multiples et à un jeu de données spécifique (OpAQ), et que les circuits identifiés représentent le mécanisme pour la métrique de différence de logit validée plutôt que chaque manifestation possible de l'ancrage dans la génération ouverte.