Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering

Cet article propose un cadre bayésien unifié expliquant que l'apprentissage en contexte et le pilotage par activation contrôlent le comportement des grands modèles de langage en modifiant leurs croyances sur des concepts latents, respectivement par accumulation de preuves et par ajustement des priors.

L'essentiel

Imaginez que les grands modèles de langage (comme ceux qui vous répondent ici) sont de grands chefs cuisiniers très talentueux, mais un peu perplexes. Ils ont appris à cuisiner des millions de recettes pendant leur formation (l'entraînement), mais ils ne savent pas toujours exactement quel plat servir à un client spécifique sans un petit coup de pouce.

Cette recherche explore deux façons différentes de donner ce "coup de pouce" au chef pour qu'il change son comportement, et découvre qu'en réalité, ces deux méthodes fonctionnent sur le même principe fondamental : changer la croyance du chef.

Voici l'explication simple de cette découverte, avec quelques images pour mieux comprendre :

1. Les deux méthodes pour contrôler le chef

Le papier compare deux techniques utilisées par les humains pour guider l'IA :

• L'Apprentissage en Contexte (ICL) : Le "Menu du Jour"
  C'est comme si vous arriviez au restaurant et que vous disiez au chef : "Regarde, j'ai mangé 50 fois ce plat aujourd'hui, et à chaque fois, c'était délicieux. Alors, s'il te plaît, fais-moi le même."
  Plus vous montrez d'exemples (plus le "menu" est long), plus le chef commence à croire que c'est ce qu'il doit faire. Au début, il hésite, mais après un certain nombre d'exemples, il bascule soudainement et adopte le nouveau style. C'est comme accumuler des preuves pour convaincre quelqu'un.

• Le Guidage par Activation (Activation Steering) : Le "Bouton Magique"
  C'est comme si vous aviez un bouton secret sous la table qui modifie directement l'humeur du chef. Si vous appuyez sur le bouton "Humeur Joyeuse", le chef devient instantanément joyeux, peu importe ce que vous lui demandez. Vous ne lui donnez pas d'exemples, vous modifiez directement sa "pensée" interne.

2. La grande découverte : C'est la même chose !

Jusqu'à présent, les scientifiques pensaient que ces deux méthodes étaient très différentes. L'une était basée sur la lecture (le contexte), l'autre sur la manipulation interne (les boutons).

Mais cette étude dit : Non ! C'est la même chose.

Les deux méthodes agissent sur la croyance du modèle.

• Le Menu (ICL) fait changer la croyance en accumulant des preuves : "Oh, il y a beaucoup de preuves que je dois être méchant/joyeux/philosophe..."
• Le Bouton (Guidage) fait changer la croyance en modifiant la probabilité de départ : "Je vais commencer par croire que je suis méchant/joyeux/philosophe, même avant de lire votre demande."

C'est comme si vous essayiez de convaincre un ami de changer d'avis.

• Soit vous lui donnez des tonnes de preuves (ICL) pour qu'il change d'avis petit à petit.
• Soit vous lui injectez une idée fausse directement dans la tête (Guidage) pour qu'il parte déjà avec cette idée en tête.
  Dans les deux cas, le résultat final est le même : il croit maintenant à cette nouvelle idée.

3. La courbe en "S" et le basculement soudain

L'étude montre quelque chose de fascinant : le changement n'est pas toujours lent et régulier.

Imaginez que vous essayez de convaincre un ami très sceptique.

• Au début, vous lui donnez 1, 2, 10 arguments. Il ne bouge pas. Il reste sceptique.
• Soudain, au 15ème argument, il dit : "OK, j'ai compris, tu as raison !".
• Ensuite, il est totalement convaincu.

C'est ce qu'on appelle une courbe en S. Le modèle reste "endormi" pendant un moment, puis bascule très vite vers le nouveau comportement. L'étude permet de prédire exactement à quel moment ce basculement va se produire.

4. Pourquoi est-ce important ? (La sécurité et la créativité)

Comprendre cela est crucial pour deux raisons :

1. La Sécurité (Éviter les catastrophes) : Si vous essayez de faire dire à une IA des choses dangereuses (comme "comment fabriquer une bombe"), vous pouvez utiliser des centaines d'exemples (ICL) pour la tromper. L'étude montre qu'il y a un point de rupture précis. Si vous dépassez ce seuil, l'IA bascule soudainement et peut devenir dangereuse. Savoir où se trouve ce seuil permet de mettre des garde-fous.
2. Le Contrôle Précis : Maintenant, nous savons que nous pouvons combiner les deux méthodes. Vous pouvez donner quelques exemples et appuyer sur un bouton pour obtenir un résultat très précis. C'est comme conduire une voiture : vous avez le volant (le contexte) et vous avez l'accélérateur (le guidage). En utilisant les deux, vous pouvez aller exactement où vous voulez.

En résumé

Cette recherche nous dit que les IA ne sont pas des boîtes noires incompréhensibles. Elles fonctionnent un peu comme des êtres humains qui mettent à jour leurs croyances.

• Le Contexte = Accumuler des preuves pour changer d'avis.
• Le Guidage = Changer l'opinion de départ directement.
• Le Résultat = Les deux font basculer l'IA d'un état à l'autre de manière prévisible, comme un interrupteur qui passe de "OFF" à "ON" après un certain seuil.

C'est une avancée majeure pour comprendre comment "piloter" intelligemment ces robots du futur, que ce soit pour les rendre plus utiles ou pour s'assurer qu'ils ne nous font pas de mal.

Résumé technique

1. Problématique et Contexte

Les grands modèles de langage (LLM) peuvent être contrôlés à l'inférence via deux méthodes principales, souvent considérées comme distinctes :

1. L'apprentissage en contexte (In-Context Learning - ICL) : L'utilisation de prompts (exemples, instructions) pour conditionner le comportement du modèle sans modifier ses poids.
2. Le pilotage par activation (Activation Steering) : L'intervention directe sur les représentations internes (activations cachées) du modèle, souvent via l'ajout de vecteurs de pilotage (steering vectors) pour modifier sa sortie.

Bien que ces méthodes visent le même objectif (contrôler le comportement du modèle), leurs mécanismes sous-jacents sont généralement expliqués séparément. L'article pose la question fondamentale : existe-t-il un cadre unifié expliquant comment ces deux interventions agissent sur la cognition du modèle ?

2. Méthodologie et Cadre Théorique

Les auteurs proposent un modèle unifié basé sur une perspective bayésienne, où le comportement du LLM est interprété comme une mise à jour de ses croyances (beliefs) concernant des concepts latents ($c$).

A. Le Modèle de Dynamique des Croyances

Le modèle formalise la probabilité d'un comportement $y$ étant donné un contexte $x$ comme une inférence sur un concept latent $c$ (par exemple, une "personnalité" spécifique).
La probabilité postérieure est donnée par :
$$p(c|x) = \sigma(\log o(c|x))$$
où $\sigma$ est la fonction sigmoïde et $\log o(c|x)$ est le rapport de vraisemblance a posteriori (log-odds).

Le cœur de la théorie réside dans la décomposition de ce log-odds :
$$\log o(c|x) = \underbrace{\log \frac{p(c)}{p(c')}}_{\text{Priors}} + \underbrace{\log \frac{p(x|c)}{p(x|c')}}_{\text{Vraisemblance (Evidence)}} + \underbrace{a \cdot m}_{\text{Pilotage (Steering)}}$$

• ICL (Apprentissage en contexte) : Agit comme une accumulation de preuves (evidence). À mesure que le nombre d'exemples en contexte ($N$) augmente, la vraisemblance s'accumule. Les auteurs modélisent cette accumulation non pas linéairement, mais selon une loi de puissance sous-linéaire ($N^{1-\alpha}$), expliquant les courbes d'apprentissage en "S" (sigmoïdales) observées empiriquement.
• Pilotage par activation (Steering) : Agit comme une modification des priors. L'ajout d'un vecteur de pilotage de magnitude $m$ décale le log-prior du concept. Selon l'hypothèse de représentation linéaire (Linear Representation Hypothesis - LRH), cette intervention modifie linéairement le log-odds, indépendamment du contexte d'entrée.

B. Expériences

Les auteurs ont testé cette théorie sur plusieurs modèles (Llama-3.1-8B, Gemma-2-9B, Qwen-2.5-7B, Llama-3.1-70B) et plusieurs domaines :

• Personas "Dark Triad" : Psychopathie, Machiavélisme, Narcissisme.
• Nihilisme moral : Croyances spécifiques supprimées par le RLHF.
• Analyse de sentiment à étiquettes inversées : Un tâche où le modèle doit apprendre une nouvelle correspondance entre mots et sentiments.

Les expériences ont varié deux dimensions : le nombre de coups (shots) en contexte ($N$) et la magnitude du vecteur de pilotage ($m$).

3. Contributions Clés

1. Unification Théorique : La première théorie unifiant l'ICL et le pilotage par activation sous un seul cadre bayésien, où l'ICL met à jour la vraisemblance (likelihood) et le pilotage met à jour les priors.
2. Prédiction de la Courbe Sigmoïdale : Le modèle prédit mathématiquement que l'ICL suit une courbe sigmoïdale en fonction de $N^{1-\alpha}$, expliquant le phénomène de "sudden learning" (apprentissage soudain) observé dans les travaux précédents sur l'ICL à nombreux coups (many-shot).
3. Additivité et Phases de Comportement : Le modèle prédit que les effets de l'ICL et du pilotage sont additifs dans l'espace des log-croyances. Cela crée des phases distinctes de comportement. Il existe un point de bascule (crossover point $N^*$) où le comportement du modèle change brusquement d'un concept à l'autre, déterminé par l'équation :
   $$N^*(m) = \left( \frac{-a \cdot m + b}{\gamma} \right)^{\frac{1}{1-\alpha}}$$
4. Validation Empirique Forte : Le modèle bayésien prédit le comportement des LLMs avec une corrélation extrêmement élevée ($r \approx 0.98$) sur des données non vues (hold-out), validant la théorie sur plusieurs modèles et tâches.

4. Résultats Principaux

• Dynamique Sigmoïdale de l'ICL : Les résultats confirment que l'adoption d'une persona suit une courbe sigmoïdale par rapport au nombre d'exemples en contexte, et que cette courbe est décalée par le pilotage par activation. Un pilotage positif déplace la courbe vers la gauche (moins d'exemples nécessaires), tandis qu'un pilotage négatif la déplace vers la droite.
• Réponse au Pilotage Linéaire (dans une plage limitée) : La probabilité de comportement change de manière sigmoïdale en fonction de la magnitude du vecteur de pilotage, ce qui correspond à une relation linéaire dans l'espace des log-odds, confirmant l'hypothèse de représentation linéaire.
• Prédiction des Points de Bascule (Phase Boundaries) : Le modèle permet de prédire avec précision le nombre d'exemples nécessaires ($N^*$) pour qu'un modèle adopte une persona donnée en fonction de la magnitude du pilotage. Cela offre un outil pour anticiper les comportements indésirables (ex: "jailbreaking" par accumulation d'exemples).
• Limites de la Linéarité : L'étude montre que l'hypothèse de représentation linéaire (LRH) ne tient que dans une certaine plage de magnitudes de pilotage. Au-delà d'un certain seuil, le comportement du modèle se dégrade et converge vers le hasard (probabilité de 0.5), indiquant une rupture de la structure linéaire des croyances.

5. Signification et Implications

• Compréhension Mécanistique : Ce travail offre une explication causale de comment les interventions externes (prompts) et internes (activations) modifient la "cognition" du modèle. Il suggère que les LLMs maintiennent et mettent à jour des croyances probabilistes sur des concepts abstraits.
• Sécurité des IA (AI Safety) : La capacité à prédire les points de bascule ($N^*$) est cruciale pour la sécurité. Elle permet d'anticiper quand un modèle passera d'un comportement aligné à un comportement dangereux (ex: adoption d'une persona malveillante) en fonction de la longueur du contexte ou de l'intensité d'une attaque par pilotage.
• Contrôle des Modèles : Cette approche fournit une méthodologie pour combiner de manière optimale l'ingénierie de prompts (ICL) et les interventions mécanistiques (pilotage) pour contrôler les LLMs de manière prédictible et efficace.
• Fondation Théorique : En reliant l'analyse comportementale (niveau Marr) aux représentations internes, l'article renforce l'idée que les principes bayésiens peuvent servir de fondation théorique pour interpréter et contrôler les réseaux de neurones profonds.

En résumé, cet article démontre que l'apprentissage en contexte et le pilotage par activation ne sont pas des phénomènes disjoints, mais deux facettes d'un même mécanisme de mise à jour bayésienne des croyances latentes au sein des grands modèles de langage.