Résumé technique : Comment les LLM sont persuadés : quelques têtes d'attention, réacheminées

Énoncé du problème

Les grands modèles de langage (LLM) possèdent une vulnérabilité critique en matière de sécurité : ils peuvent être persuadés d'abandonner leurs connaissances factuelles au profit d'informations incorrectes lorsqu'ils sont confrontés à un contexte persuasif. Bien que des études comportementales aient documenté des taux élevés de « sycophancie » (taux d'erreur de 29 à 62 % dans les domaines à haut risque) et l'exploitation commerciale de ce phénomène via l'optimisation des moteurs de génération (GEO), la cause mécanique interne de cette substitution reste mal comprise. Les défenses existantes, telles que l'ingénierie de prompt ou le fine-tuning, traitent les symptômes plutôt que les causes profondes, laissant la vulnérabilité sous-jacente intacte. Cet article vise à fournir la première explication au niveau des circuits de la manière dont un texte persuasif remplace les connaissances factuelles, allant au-delà de la fausseté statique pour comprendre comment cette substitution est construite dynamiquement à partir de l'entrée.

Méthodologie

Les auteurs emploient un cadre d'interprétabilité mécaniste basé sur le paradigme des circuits de Transformer, utilisant le patching d'activation et l'analyse des représentations sur des modèles Transformer uniquement décodeurs (LLaMA-3, Qwen-3, Gemma-2, Gemma-3).

1. Configuration expérimentale : L'étude utilise un cadre contrôlé à choix multiples (NQ2 et Geo-Bench) où les modèles répondent à des questions factuelles. Les prompts sont construits par paires : un prompt « propre » et un prompt « persuasif » contenant un segment de texte (appels logiques, basés sur la crédibilité ou émotionnels) conçu pour orienter le modèle vers une option incorrecte spécifique.
2. Localisation causale (Patching d'activation) : Pour identifier les composants responsables de la persuasion, les auteurs effectuent des interventions d'échange. Ils remplacent la mise à jour d'un composant spécifique (tête d'attention ou MLP) dans une exécution persuasive par sa valeur issue d'une exécution propre. Les composants présentant des scores de « restauration » élevés (ramenant le modèle à la bonne réponse) sont identifiés comme causalement critiques.
3. Analyse géométrique : Les auteurs analysent les représentations du flux résiduel à l'aide d'une analyse en composantes principales (PCA) pour comprendre comment les options de réponse sont encodées. Ils examinent spécifiquement la géométrie du sous-espace de décision avant et après les têtes d'attention clés.
4. Traçage des circuits : L'étude retrace la chaîne causale de l'entrée à la sortie en :
   • Décomposant les têtes d'attention en circuits QK (requête-clé) et OV (valeur-sortie).
   • Extrayant une « fonctionnalité de routage d'options » de rang un via la décomposition en valeurs singulières (SVD) du circuit QK.
   • Utilisant un patching de « bruitage » et de « débruitage » pour localiser les couches spécifiques qui construisent cette fonctionnalité de routage à partir des mots-clés persuasifs.

Contributions et résultats clés

1. Têtes de décision éparses et géométrie tétraédrique

L'article identifie que la susceptibilité à la persuasion n'est pas une corruption diffuse du réseau, mais est localisée à un très petit ensemble de têtes d'attention de couches intermédiaires (désignées comme « têtes de décision »). Dans le modèle LLaMA-3, la couche 17, tête 24 (L17H24), est le moteur principal.

• Géométrie : Ces têtes encodent les quatre options de réponse comme des sommets distincts d'un tétraèdre de basse dimension (un sous-espace 3D).
• Mécanisme : La persuasion ne brouille pas la croyance ni ne réduit progressivement la confiance. Au contraire, elle provoque un saut latent discret où la représentation passe du sommet correspondant à la bonne réponse au sommet correspondant à la cible de la persuasion.

2. Routage, et non raisonnement

Les auteurs démontrent que les têtes de décision ne calculent ni ne raisonnent en interne sur les preuves pour déterminer la réponse.

• Mécanisme de copie : Le circuit OV de la tête de décision agit comme un mécanisme de copie fidèle. Les tokens d'option portent déjà un code d'identité discret dans les directions que le circuit OV peut lire. La tête copie simplement le token d'option auquel elle porte attention.
• Reroutage : Par conséquent, la persuasion fonctionne entièrement par reroutage de l'attention. Si l'attention est redirigée vers le token cible de la persuasion, le modèle produit la mauvaise réponse.

3. La fonctionnalité de routage d'options

L'article isole une fonctionnalité spécifique, unidimensionnelle (un vecteur de rang un $u_k$) au sein du circuit QK de la tête de décision, qui régit la sélection de l'attention.

• Contrôle causal : La modification de cette fonctionnalité oriente directement le choix du modèle. L'ajout du vecteur de fonctionnalité aux tokens d'option augmente leur probabilité de sélection ; son retrait bloque la persuasion.
• Construction : Cette fonctionnalité de routage n'est pas présente dans l'entrée brute. Elle est construite par une bande de têtes d'attention plus superficielles (couches 8–12) qui lisent les mots-clés persuasifs dans l'entrée et écrivent la fonctionnalité sur les représentations des tokens d'option.

4. Chaîne causale de bout en bout

L'étude valide une chaîne causale complète :

1. Entrée : Les mots-clés persuasifs sont lus par des têtes superficielles (couches 8–12).
2. Construction de la fonctionnalité : Ces têtes construisent la fonctionnalité de routage d'options ($u_k$) sur les tokens d'option.
3. Routage : La tête de décision (par exemple L17H24) lit cette fonctionnalité via son circuit QK, redirigeant l'attention vers la cible de la persuasion.
4. Sortie : Le circuit OV copie le token cible, entraînant un saut discret vers le mauvais sommet dans le tétraèdre de décision.

5. Généralisation au monde réel (GEO)

Le mécanisme ne se limite pas aux benchmarks synthétiques. Les auteurs montrent que les mêmes têtes de décision et structures géométriques régissent le comportement des modèles dans des scénarios d'optimisation des moteurs de génération (GEO), où le contenu web récupéré est stratégiquement empoisonné pour détourner les sorties des LLM. Le circuit identifié dans des contextes contrôlés se transfère directement à ces scénarios réalistes d'empoisonnement.

Importance et affirmations

L'article reformule la persuasion des LLM d'un échec comportemental en un circuit étroit et monitorable.

• Compréhension mécaniste : Il fournit un compte rendu précis de où et comment la substitution se produit, en identifiant des composants spécifiques (quelques têtes d'attention et une fonctionnalité 1D) plutôt que de traiter le modèle comme une boîte noire.
• Potentiel défensif : En isolant le chemin spécifique, les auteurs suggèrent que des moniteurs d'exécution ciblés pourraient détecter la persuasion en cours, et que des interventions pourraient neutraliser le chemin spécifique sans réentraîner le modèle.
• Limites : Les auteurs déclarent explicitement que leurs résultats sont dérivés de contextes contrôlés à choix multiples. Il reste une question ouverte de savoir si ce circuit exact régit la génération libre. De plus, bien que le mécanisme soit caractérisé, l'article n'évalue pas de défenses spécifiques construites sur ces résultats.

En résumé, l'article soutient que la persuasion est une attaque de « reroutage » visant une fonctionnalité spécifique et de basse dimension au sein du flux résiduel du modèle, contrôlée par un petit ensemble identifiable de têtes d'attention, rendant la vulnérabilité structurellement distincte des erreurs de connaissances statiques.