💬 NLP

The Value Axis: Language Models Encode Whether They're on the Right Track

Cet article démontre que les modèles de langage encodent de manière interne un « axe de valeur » linéaire représentant la probabilité de succès d'un objectif, lequel module causalement des comportements tels que la confiance, l'autocorrection et l'exploration, et peut être manipulé par pilotage ou optimisation de préférences.

Auteurs originaux : Nick Jiang, Isaac Kauvar, Jack Lindsey

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nick Jiang, Isaac Kauvar, Jack Lindsey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme celui de ce papier, appelé Qwen3-8B) comme un randonneur essayant de trouver son chemin à travers une forêt dense et brumeuse. Le randonneur a un objectif : atteindre un campement spécifique (résoudre un problème de mathématiques, écrire du code ou répondre à une question).

Ce papier découvre que le randonneur possède une boussole interne cachée qui lui dit constamment : « Suis-je sur le bon chemin ? » ou « Suis-je perdu ? ».

Voici une décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. La « Boussole de la Valeur »

Les chercheurs ont découvert un « axe » spécifique (une direction dans le cerveau du modèle) qui agit comme un indicateur de confiance.

Valeur Haute (Zone Verte) : Le modèle se sent : « Je suis sur la bonne voie ! Cette stratégie va fonctionner. » Il avance avec assurance.
Valeur Basse (Zone Rouge) : Le modèle se sent : « Attendez, quelque chose ne va pas. Je fais fausse route. » Il commence à hésiter, à revenir en arrière ou à changer d'avis.

Ils ont construit cette boussole en faisant jouer un jeu au modèle. Ils ont demandé au modèle de deviner une règle cachée (comme « ajouter un tiret à chaque phrase ») et lui ont donné un score simple de « Oui » ou « Non ». En comparant l'activité cérébrale du modèle avant qu'il ne comprenne la règle par rapport à l'activité après qu'il l'ait comprise, ils ont isolé la direction exacte dans son cerveau qui représente le « succès ».

2. La Boussole Contrôle le Comportement

La partie la plus excitante est que ce n'est pas seulement un sentiment passif ; les chercheurs ont pu diriger le modèle en poussant l'activité de son cerveau le long de cette boussole.

Pousser vers la « Valeur Haute » (Confiance) :
- L'Effet : Le modèle devient obstinément confiant. S'il résout un problème de mathématiques, il cesse de se remettre en question. S'il écrit du code, il arrête d'ajouter de longues explications ou commentaires nerveux. Il donne simplement la réponse.
- Analogie : C'est comme un randonneur qui se sent soudainement sûr du sentier, alors il arrête de consulter sa carte toutes les cinq minutes et continue de marcher d'un pas vif.
Pousser vers la « Valeur Basse » (Doute) :
- L'Effet : Le modèle devient hésitant. Il commence à dire des choses comme : « Attendez, laissez-moi réfléchir à nouveau », ou « En fait, peut-être devrais-je essayer une autre méthode ». En codage, il ajoute beaucoup de commentaires pour expliquer son processus de pensée, comme s'il essayait de justifier ses étapes parce qu'il n'est pas sûr de lui.
- Analogie : C'est comme un randonneur qui se sent perdu, alors il s'arrête, regarde autour de lui avec nervosité et revient sur ses pas.

3. La Boussole Fonctionne Partout

Cette « Boussole de la Valeur » n'est pas seulement pour le jeu qu'ils ont inventé. Les chercheurs l'ont testée dans de nombreuses situations différentes, et elle fonctionne de la même manière :

Mathématiques : Lorsqu'un modèle résolvait des problèmes mathématiques difficiles, la boussole prédisait s'il pensait que la réponse était juste ou fausse avant même d'avoir fini la phrase.
Codage : Lorsque le modèle écrivait du code avec des bugs, la boussole montrait un signal de « valeur basse ». Lorsque le code était correct, le signal était « haut ».
Chat Réel : Lors de l'examen de conversations réelles, la boussole montrait une grande confiance pour les tâches claires et factuelles (comme « extraire ces données ») mais une faible confiance pour les sujets délicats ou sensibles (comme les débats politiques).

4. L'Entraînement Modifie la Boussole

Le papier montre également que vous pouvez re-calibrer cette boussole par l'entraînement.

L'Expérience : Ils ont entraîné le modèle à vraiment aimer un mot spécifique (comme « pamplemousse ») en utilisant une technique appelée Optimisation de Préférence Directe (DPO).
Le Résultat : Après l'entraînement, chaque fois que le modèle utilisait le mot « pamplemousse », sa boussole interne grimpait vers une « Valeur Haute ».
L'Effet Secondaire : Parce que le modèle se sentait si confiant quant à l'utilisation de ce mot, il est devenu trop confiant dans d'autres tâches également. Lorsqu'on lui demandait d'écrire du code en utilisant le mot « pamplemousse », il donnait des réponses plus courtes et moins détaillées, agissant comme s'il savait exactement ce qu'il faisait, même s'il ne l'était pas.

Résumé

En bref, les modèles de langage possèdent un « pressentiment » interne sur le fait qu'ils réussissent ou non. Ce sentiment est encodé dans une direction spécifique de leur cerveau.

Quand le sentiment est bon, le modèle pousse en avant et arrête de s'expliquer.
Quand le sentiment est mauvais, le modèle hésite, revient en arrière et sur-explique.
Nous pouvons ajuster ce sentiment en entraînant le modèle sur de nouvelles préférences, ce qui modifie la façon dont il agit avec confiance à l'avenir.

Le papier prouve que cette « valeur » n'est pas seulement un nombre aléatoire ; c'est un outil fonctionnel que le modèle utilise pour décider s'il doit continuer ou changer de direction.

Résumé technique : L'axe de la valeur : Les modèles de langage encodent s'ils sont sur la bonne voie

Énoncé du problème

Les modèles de langage (LM) accomplissent des tâches complexes à long terme (par exemple, le codage, le raisonnement mathématique) qui nécessitent des décisions intermédiaires sur la nécessité de persister dans une stratégie actuelle ou de revenir en arrière pour explorer des alternatives. Bien que la théorie de l'apprentissage par renforcement (RL) postule que les agents doivent maintenir une « fonction de valeur » interne pour estimer la probabilité de succès futur étant donné un état actuel, il reste peu clair si les LM développent un mécanisme interne analogue. Plus précisément, les LM encodent-ils linéairement une estimation du succès attendu de l'objectif qui module leur confiance et leur prise de décision en cours de génération ?

Méthodologie

1. Construction de l'axe de la valeur

Les auteurs construisent un « axe de la valeur » au sein du flux résiduel de Qwen3-8B en utilisant des données synthétiques d'apprentissage par renforcement en contexte (ICRL - In-Context Reinforcement Learning).

Génération de données : Ils génèrent 300 conversations où un modèle tente de deviner un critère caché (par exemple, « inclure un tiret ») pour modifier un paragraphe. Le modèle reçoit un feedback binaire (+1 ou -1) après chaque tentative.
Moment de la découverte : Dans chaque conversation, le modèle finit par « découvrir » le critère correct. La construction oppose les activations de jetons (tokens) avant la découverte (où le modèle est incertain et reçoit un feedback négatif) aux activations après la découverte (où le modèle est confiant et reçoit un feedback positif).
Définition du vecteur : Le vecteur de l'axe de la valeur $v^{(l)}$ à la couche $l$ est défini comme la différence moyenne des activations cachées entre les jetons post-découverte et les jetons pré-découverte, moyennée sur l'ensemble des conversations :
$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$
Mesure : Pour toute séquence $s$ , la « valeur » est mesurée comme la similitude cosinus moyenne entre les activations de jetons de la séquence et le vecteur de l'axe de la valeur.

2. Pilotage causal (Causal Steering)

Pour tester si l'axe est fonctionnellement pertinent, les auteurs effectuent un pilotage d'activation (ajout d'un vecteur mis à l'échelle $\alpha \cdot \hat{v}$ au flux résiduel) pendant le pré-remplissage (prefilling) et le décodage. Cela permet de moduler causalement le signal de « valeur » interne du modèle et d'observer les changements de comportement.

3. Domaines d'évaluation

L'étude évalue l'axe à travers :

Mathématiques : Questions AIME (confiance verbalisée, retour en arrière/backtracking).
Codage : Problèmes LeetCode (correction du code, verbosité/explication).
Apprentissage de préférences : Optimisation de la préférence directe (DPO) pour induire des préférences de mots.
En conditions réelles (In-the-Wild) : Prompts de Chatbot Arena, ajustement fin supervisé (SFT) sur des benchmarks, et modèles « conscients de l'évaluation » (Eval-Aware).

Résultats clés

1. Corrélation avec la confiance et la correction

Confiance verbalisée : Sur les questions AIME, la projection de l'axe de la valeur est significativement plus élevée lorsque le modèle exprime verbalement sa confiance (« Oui, ma réponse est correcte ») par rapport à l'incertitude. La projection sépare les générations confiantes des non-confiantes avec un AUROC > 0,75.
Retour en arrière (Backtracking) : Les déroulements contenant des phrases de retour en arrière (par exemple, « Attendez », « En fait ») présentent des projections de valeur plus faibles. La projection chute brutalement immédiatement avant un événement de retour en arrière.
Correction du code : L'axe attribue une valeur plus élevée aux solutions de code correctes qu'aux versions corrompues (erreurs de syntaxe, lignes mélangées, noms obfusqués). Le code correct produit systématiquement des projections plus élevées à travers tous les types de corruption.

2. Modulation causale du comportement

Le pilotage du modèle le long de l'axe de la valeur modifie causalement son comportement :

Pilotage de haute valeur : Augmente le taux de réponses « Oui » aux questions de correction, supprime le retour en arrière et réduit la verbosité explicative (moins de commentaires, d'indices de type et de lignes de code) dans les tâches de codage.
Pilotage de basse valeur : Induit le retour en arrière, diminue la confiance verbalisée et augmente la verbosité ainsi que l'hésitation dans les solutions de code.

3. Impact du post-entraînement

La fonction de valeur interne est malléable et façonnée par les objectifs d'entraînement :

Optimisation de la préférence directe (DPO) : L'entraînement des modèles pour préférer des mots spécifiques (par exemple, « pamplemousse ») augmente la valeur interne attribuée à ces mots. Cet effet se généralise aux phrases libres. De plus, l'utilisation de ces mots préférés de « haute valeur » dans les tâches de codage réduit de manière fallacieuse la verbosité des explications, imitant l'effet du pilotage de haute confiance.
Ajustement fin supervisé (SFT) : Le SFT sur un benchmark spécifique (par exemple, GSM8K) augmente la valeur interne attribuée aux réponses dans ce domaine, mais pas sur les benchmarks hors domaine (par exemple, MATH-500).
Conscience de l'évaluation (Eval-Awareness) : Les modèles entraînés à reconnaître les contextes d'évaluation attribuent une valeur interne plus élevée aux prompts d'évaluation qu'aux prompts de déploiement, même lorsque l'utilisateur ne signale pas explicitement une évaluation.

4. Analyse en conditions réelles (In-the-Wild)

Chatbot Arena : Les modèles post-entraînés attribuent une valeur élevée aux requêtes d'extraction d'informations contraintes et une valeur faible aux requêtes ouvertes ou politiquement sensibles. Cette tendance est absente dans le modèle de base, suggérant que le post-entraînement façonne l'axe de la valeur.
Généralisation : L'axe de la valeur se généralise à travers les domaines (mathématiques, codage, apprentissage de préférences) et est stable à travers les couches moyennes à tardives (spécifiquement la couche 21 pour Qwen3-8B), avec un changement directionnel brusque se produisant autour de la couche 13.

Signification et affirmations

L'article affirme que les modèles de langage encodent linéairement une estimation du succès attendu de l'objectif (une fonction de « valeur ») qui module leur confiance dans la poursuite d'une trajectoire actuelle.

Mécanisme : Cette représentation n'est pas simplement une corrélation avec la correction, mais joue un rôle causal dans la prise de décision, déterminant si le modèle persiste dans une stratégie ou revient en arrière.
Généralisation : Le mécanisme est polyvalent, transférable à travers les tâches sans entraînement explicite par RL, suggérant que les LM développent un « goût » interne pour être « sur la bonne voie ».
Influence de l'entraînement : La fonction de valeur interne n'est pas statique ; elle peut être remodelée par des méthodes de post-entraînement (DPO, SFT), qui alignent la confiance interne du modèle avec les comportements récompensés.
Implications : L'axe de la valeur offre un outil potentiel pour l'alignement et l'audit des modèles, fournissant une source de preuve concernant les objectifs et la confiance d'un modèle qui ne repose pas sur ses propres rapports.

Les auteurs font preuve de modestie quant à leurs découvertes, notant que l'analyse est limitée à Qwen3-8B et que la construction spécifique de l'axe peut capturer des composants idiosyncrasiques des données synthétiques d'ICRL, bien que la généralisation à travers divers domaines suggère un mécanisme sous-jacent robuste.