💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Ce papier présente une méthode pour les interventions causales sur des variables continues en localisant des directions de faible dimension dans les activations de modèles de langage, démontrant que l'orientation du biais verbal déplace causalement les préférences syntaxiques en aval tout en révélant que, bien que les vecteurs d'orientation encodent des signaux d'erreur pertinents pour l'apprentissage en contexte, ces signaux ne sont pas utilisés causalement pour la production en aval.

Auteurs originaux : Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Publié 2026-05-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un chef très sophistiqué et high-tech. Ce chef a lu presque tous les livres de recettes existants, mais lorsqu'on lui demande de préparer un nouveau plat, il ne se contente pas de suivre une recette statique. Au lieu de cela, il examine les ingrédients que vous venez de lui remettre (le « contexte ») et ajuste son style de cuisson en temps réel. Cette capacité à apprendre à partir de quelques exemples sans réentraînement s'appelle l'Apprentissage en Contexte (In-Context Learning).

Ce document est une enquête scientifique sur comment fonctionne le cerveau de ce chef lorsqu'il procède ainsi. Plus précisément, les chercheurs voulaient voir s'ils pouvaient « ajuster » les pensées internes du chef pour modifier sa façon de cuisiner, en se concentrant sur une habitude linguistique spécifique appelée Biais Verbal (Verb Bias).

Voici une décomposition de leurs découvertes utilisant des analogies simples :

1. Le Problème : Cuisiner avec des Ingrédients « Graduels »

La plupart des études précédentes tentaient de changer l'avis du chef sur des choses simples, « tout ou rien », comme « Est-ce un nom ou un verbe ? » (Caractéristiques discrètes). Mais le langage ressemble plus à un gradateur qu'à un interrupteur. Les choses sont graduelles.

Par exemple, prenons le verbe « donner ». En anglais, on peut dire :

« I gave her a book » (Double Objet)
« I gave a book to her » (Datif Prépositionnel)

Certaines personnes (ou certains verbes) préfèrent fortement une version à l'autre. « Donner » est plutôt équilibré, mais « expliquer » préfère fortement « expliquer à elle ». Cette préférence n'est pas une règle stricte ; c'est une échelle glissante. Les chercheurs voulaient savoir : Peut-on trouver le « bouton » spécifique dans le cerveau du modèle qui contrôle cette échelle glissante, et peut-on tourner ce bouton pour changer l'avis du modèle ?

2. L'Outil : Le « Vecteur de Pilotage » (La Télécommande)

Pour étudier cela, les chercheurs ont utilisé un outil appelé Vecteur de Pilotage (Steering Vector). Imaginez cela comme une télécommande pour le cerveau du chef.

Comment ils l'ont créé : Ils ont montré au modèle un tas de phrases utilisant une structure spécifique (par exemple, « I gave her a book »). Ils ont examiné les « pensées » internes du modèle (les activations) pendant qu'il traitait ces phrases et les a moyennées.
Ce qu'il fait : Lorsqu'ils ont ajouté ce signal de « télécommande » au cerveau du modèle lors d'une nouvelle tâche, le modèle a commencé à agir comme s'il venait de voir ces exemples. Il a commencé à préférer la même structure de phrase. Cela a prouvé que la télécommande avait capturé avec succès l'« habitude » de la structure de phrase.

3. Expérience 1 : La Télécommande Fonctionne-t-elle ?

Le Test : Ils ont pris la télécommande (vecteur de pilotage) d'une phrase à « Double Objet » et l'ont injectée dans une nouvelle phrase.
Le Résultat : Le modèle a immédiatement décalé sa préférence vers la structure à « Double Objet ».
L'Analogie : C'est comme remettre au chef une télécommande indiquant « Cuisine Italienne », et soudainement, même s'il était sur le point de faire des sushis, il commence à chercher les pâtes. La télécommande fonctionne.

4. Expérience 2 : Tourner le Bouton « Biais Verbal »

C'est la plus grande percée de l'article. Ils voulaient voir s'ils pouvaient contrôler l'intensité de la préférence, et pas seulement la direction.

La Configuration : Ils ont identifié une « direction » spécifique dans le cerveau du modèle qui correspond au Biais Verbal (à quel point un verbe préfère une structure par rapport à une autre).
L'Intervention : Ils ont utilisé un tour de passe-passe mathématique pour « éditer contre-factuellement » cette direction.
- Scénario A : Ils ont pris un verbe qui aime naturellement la Structure A et ont forcé le modèle à penser qu'il préfère fortement la Structure B.
- Scénario B : Ils ont pris un verbe neutre et l'ont forcé à devenir extrême.
Le Résultat : Lorsqu'ils ont tourné ce bouton « Biais Verbal », le comportement du modèle a changé exactement comme prévu. S'ils ont fait croire au modèle qu'un verbe préférait fortement la structure à « Double Objet », le modèle a commencé à utiliser cette structure plus souvent, même si le verbe ne l'aimait pas naturellement.
La Conclusion : Ils ont prouvé que le modèle ne se contente pas de « se souvenir » de la structure ; il détient en réalité une valeur continue et ajustable pour la mesure dans laquelle un verbe préfère une structure, et ils peuvent physiquement tourner ce cadran.

5. Expérience 3 : Le Facteur « Surprise » Manquant

Dans l'apprentissage humain, nous apprenons mieux lorsque nous sommes surpris. Si vous vous attendez à ce qu'un verbe soit utilisé d'une certaine manière, mais que vous le voyez utilisé d'une autre, votre cerveau dit : « Wow, c'est inattendu ! » et met à jour ses règles plus fortement. Cela s'appelle l'Effet de Fréquence Inverse.

Les chercheurs se sont demandé : La « télécommande » du modèle (vecteur de pilotage) capture-t-elle ce signal de « surprise » ?

Le Test : Ils ont essayé d'éditer un signal de « surprise » dans la télécommande. Ils ont demandé : « Si nous faisons croire au modèle que la phrase était plus surprenante qu'elle ne l'était réellement, va-t-il apprendre davantage ? »
Le Résultat :
- Bonne nouvelle : L'information de « surprise » était présente dans la télécommande. Ils pouvaient l'isoler mathématiquement et l'augmenter ou la diminuer.
- Mauvaise nouvelle : Injecter simplement cette télécommande n'a pas fait apprendre au modèle d'une manière « pilotée par la surprise ». Le modèle n'a pas automatiquement mis à jour son comportement en fonction du niveau de surprise.
L'Analogie : Imaginez que la télécommande possède un bouton pour « Surprise ». Vous pouvez appuyer sur le bouton et voir le voyant s'allumer (l'information est là). Mais lorsque vous appuyez dessus, le chef ne change pas réellement son style de cuisson pour devenir plus adaptatif. Le chef suit simplement l'instruction mais ne « apprend » pas de la surprise.

Résumé des Découvertes

Nous pouvons contrôler des variables continues : Nous pouvons trouver les « gradateurs » dans les cerveaux de l'IA pour des choses comme les préférences verbales et les augmenter ou les diminuer pour modifier le comportement.
Les vecteurs de pilotage sont puissants mais limités : La « télécommande » (vecteur de pilotage) est excellente pour capturer l'état d'une tâche (par exemple, « Je pense actuellement à des phrases à Double Objet »). Elle déplace avec succès les préférences immédiates du modèle.
Mais elle manque la partie « apprentissage » : La télécommande capture le résultat de l'apprentissage (la nouvelle préférence), mais elle ne semble pas capturer le processus d'apprentissage (la mise à jour basée sur l'erreur). C'est comme si la télécommande pouvait régler le thermostat à 21 degrés, mais qu'elle n'expliquait pas comment la chaudière a déterminé qu'il fallait chauffer pour y parvenir.

En résumé : Les chercheurs ont construit un outil pour ajuster les « échelles glissantes » à l'intérieur du cerveau d'une IA. Ils ont prouvé qu'ils pouvaient tourner ces échelles pour modifier la façon dont l'IA parle. Cependant, ils ont également découvert que cet outil capture l'habitude de l'IA, mais pas le plein mécanisme d'apprentissage qui permet à l'IA de s'adapter aux surprises.

Résumé technique : Interventions causales sur des variables continues dans les vecteurs de pilotage

Énoncé du problème
Les méthodes d'interprétabilité causale pour les grands modèles de langage (LLM) se sont principalement concentrées sur des caractéristiques discrètes, telles que le nombre grammatical ou les frontières syntaxiques. Cependant, de nombreux aspects critiques du traitement du langage et des connaissances conceptuelles sont intrinsèquement graduels (continus). L'article comble le vide dans l'application des techniques d'intervention causale aux variables continues. Plus précisément, les auteurs examinent si des caractéristiques psycholinguistiques continues, telles que le biais verbal (la préférence graduée d'un verbe pour une structure syntaxique plutôt qu'une autre, par exemple, objet double vs datif prépositionnel), sont représentées de manière causale dans les activations internes des LLM et si ces représentations peuvent être manipulées pour modifier le comportement en aval. De plus, l'étude explore la relation entre ces représentations continues et l'apprentissage en contexte (ICL), en particulier les mécanismes de mise à jour basés sur l'erreur, supposés sous-tendre l'amorçage structurel.

Méthodologie
Les auteurs proposent un cadre pour l'intervention causale sur des variables continues au sein des vecteurs d'activation, appliqué spécifiquement aux vecteurs de pilotage (vecteurs de tâche) extraits de démonstrations en contexte.

Extraction des vecteurs de pilotage : Suivant Hendel et al. (2023), les auteurs extraient les états cachés des LLM (Llama-2-13B, Llama-3-1B, Llama-3-8B) à la position du verbe cible au cours de séquences en contexte. Ces séquences sont composées de $n-1$ phrases d'amorçage (démonstrations) suivies d'une phrase cible. Les états cachés sont moyennés pour créer un vecteur de pilotage $\bar{\theta}_{\langle v,s \rangle}$ représentant la « tâche » de produire une structure $s$ influencée par le verbe $v$ .
Localisation des variables continues : Pour intervenir sur une variable continue (par exemple, le biais verbal $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ), les auteurs :
- Projettent les vecteurs d'activation de haute dimension dans un espace de plus faible dimension en utilisant l'Analyse en Composantes Principales (ACP).
- Normalisent les coordonnées de l'ACP.
- Ajustent un modèle de régression (régression bêta pour les variables bornées comme le biais verbal ; MCO pour les variables signées) afin de prédire la variable continue cible à partir des coordonnées normalisées. Cela permet d'identifier un vecteur de direction de basse dimension $\beta$ correspondant à la variable.
Édition contrefactuelle : Pour éditer un vecteur $h_i$ vers une valeur cible contrefactuelle $y^*_i$ , les auteurs calculent une mise à jour minimale de norme $L_2$ , notée $\Delta \tilde{z}_i$ , le long de la direction identifiée $\beta$ . La mise à jour est définie comme suit :
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
où $S$ représente le sous-ensemble des composantes principales sélectionnées pour l'édition (généralement les 5 premières par magnitude du coefficient). Le vecteur édité est ensuite réinjecté dans l'espace d'origine et introduit dans le modèle pour observer les effets en aval.
Conditions expérimentales : L'étude teste quatre conditions d'intervention :
- Inchangé : Contrôle (biais original).
- Inversion : Inversion du biais ( $b_v \to 1 - b_v$ ).
- Entièrement biaisé : Saturation du biais à 0 (entièrement biaisé vers l'objet double) ou à 1 (entièrement biaisé vers le datif prépositionnel).
- Édition du signal d'erreur : Un signal d'erreur signée $e = b_v - s$ (où $s$ est la structure observée) est édité de manière similaire pour tester les comportements de mise à jour basés sur l'erreur.

Résultats clés

Les vecteurs de pilotage induisent un amorçage : Les vecteurs de pilotage extraits des phrases d'amorçage induisent avec succès des effets d'amorçage structurel dans les couches moyennes à tardives (Couche 15+). L'injection d'un vecteur d'amorçage PD augmente la préférence du modèle pour les structures PD, et inversement.
Rôle causal du biais verbal : Le biais verbal continu est prévisible de manière linéaire à partir des vecteurs de pilotage. L'édition contrefactuelle de ce biais module de manière causale l'ampleur de l'effet d'amorçage.
- Condition d'inversion : L'inversion du biais verbal dans le vecteur de pilotage inverse la corrélation entre le biais original du verbe et l'ampleur de l'amorçage.
- Condition entièrement biaisée : La saturation du biais élimine la variation de l'ampleur de l'amorçage entre différents verbes, confirmant que le sous-espace identifié détermine causalement la nature graduée de l'effet.
Présence vs utilisation du signal d'erreur :
- Présence : Une variable de type signal d'erreur (combinant le biais verbal et la structure observée) est présente dans les vecteurs de pilotage et peut être éditée de manière causale pour produire des décalages graduels dans les préférences en aval.
- Limitation : Malgré la présence de ce signal, les vecteurs de pilotage non édités ne reproduisent pas l'Effet de Fréquence Inverse (IFE) — le phénomène où les structures d'amorçage inattendues induisent un amorçage plus fort. L'injection standard de vecteurs de pilotage produit une pente positive (correspondant au biais du verbe) plutôt que la pente négative prédite par les théories d'apprentissage basé sur l'erreur.
- Dynamiques par couche : Bien que le biais verbal soit accessible dans les couches précoces, l'intégration du biais et de la structure en un signal d'erreur manipulable qui entraîne des mises à jour de gradient n'émerge que dans les couches moyennes à tardives (Couche 15+).

Portée et affirmations
L'article apporte quatre contributions principales :

Extension méthodologique : Il démontre une méthode viable pour effectuer des interventions causales sur des variables continues, dépassant les caractéristiques discrètes qui ont dominé l'interprétabilité causale.
Vérification causale : Il établit que le biais verbal n'est pas seulement corrélé mais représenté de manière causale dans les vecteurs de pilotage, car les éditions contrefactuelles modifient systématiquement les préférences structurelles en aval.
Analyse du mécanisme ICL : Il offre une vue nuancée des vecteurs de pilotage en tant que mécanisme pour l'ICL. Bien qu'ils capturent avec succès le composant d'activation transitoire de l'amorçage structurel (déplacement des préférences basé sur le contexte), ils échouent à capturer la dynamique complète de la mise à jour basée sur l'erreur (spécifiquement l'IFE). Cela suggère que les vecteurs de pilotage additifs approximent l'état de représentation induit par le contexte mais ne répliquent pas entièrement la règle de mise à jour computationnelle de l'ICL.
Cartographie théorique : Les auteurs proposent une correspondance entre les théories psycholinguistiques et les mécanismes des LLM : les vecteurs de pilotage s'alignent avec les théories de « l'activation transitoire » de l'amorçage, tandis que le composant manquant basé sur l'erreur pourrait nécessiter des mécanismes mieux caractérisés comme des mises à jour de poids de faible rang ou des processus d'apprentissage implicites plutôt que de simples additions vectorielles.

Les auteurs concluent que, bien que l'intervention sur des variables continues soit un outil diagnostique et causal puissant, relier ces représentations continues à la dynamique complète de l'apprentissage en contexte reste un défi, car l'approche actuelle des vecteurs de pilotage capture le « quoi » (l'état de préférence) mais pas le « comment » complet (le processus d'adaptation basé sur l'erreur) de l'ICL.