💬 NLP

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

Cet article présente POISE, une méthode d'apprentissage par renforcement qui exploite une sonde légère entraînée sur les états internes d'un modèle de politique pour estimer des lignes de base de valeur à un coût négligeable, permettant ainsi une optimisation de politique stable et efficace sans la surcharge computationnelle de critiques séparés ou de multiples déroulements.

Auteurs originaux : Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un élève brillant mais très coûteux (un grand modèle de langage) comment résoudre des problèmes mathématiques complexes. Vous souhaitez qu'il progresse, vous utilisez donc une méthode appelée Apprentissage par Renforcement. Dans cette méthode, l'élève tente de résoudre un problème, et vous lui attribuez un score (une récompense) s'il trouve la bonne réponse.

Pour l'enseigner efficacement, vous devez lui indiquer non seulement ce qu'il a réussi, mais aussi de combien il a mieux performé par rapport à ses performances habituelles. Cette « différence » est appelée l'avantage. Pour la calculer, vous avez besoin d'une référence — une estimation de ce que l'élève scorerait typiquement sur ce problème spécifique.

Le Problème : Le Coût de l'Estimation

Actuellement, il existe deux principales façons d'obtenir cette référence, et toutes deux sont coûteuses :

La Méthode du « Tuteur Géant » (PPO) : Vous engagez un deuxième modèle d'IA, tout aussi grand et coûteux, pour jouer le rôle de critique. Ce critique observe le travail de l'élève et estime le score. Cela double vos coûts de calcul car vous exécutez deux modèles géants simultanément.
La Méthode de la « Moyenne de Groupe » (GRPO) : Vous demandez à l'élève de résoudre le même problème 8 fois de suite. Vous faites ensuite la moyenne de ces 8 scores pour obtenir une référence. Cela gaspille beaucoup de temps et d'argent car vous générez 7 réponses supplémentaires uniquement pour obtenir une référence, laissant moins de place pour essayer de nouveaux problèmes.

La Solution : POISE (L'Intuition Propre de l'Élève)

Les auteurs de cet article proposent une nouvelle méthode appelée POISE (Optimisation de Politique avec Estimation de Valeur d'État Interne).

Voici l'idée centrale : L'élève sait déjà à quel point le problème est difficile avant même d'avoir fini de le résoudre.

Lorsqu'un grand modèle d'IA réfléchit, il génère une traînée de « pensées internes » (états cachés) alors qu'il passe de la question à la réponse. L'article soutient que ces pensées internes contiennent un signal caché indiquant la probabilité de succès du modèle. C'est comme si l'élève avait un pressentiment : « Je lutte avec cette étape ; je ne vais probablement pas y arriver » ou « Cela semble facile ; je suis confiant ».

POISE fonctionne ainsi :

La Sonde Légère : Au lieu d'engager un deuxième géant de l'IA, ils attachent une minuscule et peu coûteuse « sonde » (comme une simple calculatrice) au cerveau de l'élève.
La Lecture des Signaux : Cette sonde examine les pensées internes de l'élève (états cachés) et son « incertitude » (entropie) pendant qu'il réfléchit.
La Prédiction : La sonde prédit le score basé sur ces signaux internes.
L'Astuce d'Équité (Cross-Rollout) : Pour s'assurer que l'élève ne triche pas en regardant sa propre réponse pour deviner le score, le système utilise une astuce ingénieuse. Il demande à l'élève de résoudre le problème deux fois. Pour noter la première tentative, la sonde examine les pensées internes de la deuxième tentative, et vice versa. Cela garantit que la référence est équitable et sans biais.

Pourquoi C'est Important

C'est Moins Cher : Vous n'avez pas besoin d'un deuxième modèle d'IA géant. Vous utilisez simplement la minuscule sonde sur les signaux que l'élève génère déjà.
C'est Plus Rapide : Vous n'avez pas besoin de générer 8 réponses pour obtenir une référence. Vous n'en avez besoin que de 2 (une pour résoudre, une pour aider à noter). Cela libère votre budget informatique pour essayer de nombreux différents problèmes, ce qui aide l'élève à apprendre plus vite.
C'est Stable : Parce que vous pouvez essayer plus de problèmes différents, le processus d'apprentissage est moins « bruyant » et plus stable.

Les Résultats

Les chercheurs ont testé cela sur des tâches de raisonnement mathématique (comme les mathématiques olympiques). Ils ont constaté que :

POISE a performé aussi bien que les méthodes de l'état de l'art (comme DAPO) qui utilisent des critiques coûteux ou de grands groupes de réponses.
Il a utilisé moins de puissance de calcul et a terminé l'entraînement plus rapidement.
Le « pressentiment » était précis : La minuscule sonde a prédit le taux de succès presque aussi bien qu'un modèle critique d'IA de taille complète.
Cela fonctionne ailleurs : Ils l'ont testé sur des tâches de codage et d'utilisation d'outils, et cela a bien fonctionné là aussi, prouvant que les signaux internes de l'élève sont un indicateur universel de succès.

En Résumé

POISE revient à réaliser que votre élève n'a pas besoin d'un deuxième professeur pour lui dire à quel point il se débrouille. En écoutant simplement son « processus de pensée » interne, vous pouvez instantanément savoir s'il est sur la bonne voie. Cela économise de l'argent, gagne du temps et rend le processus d'apprentissage plus fluide, le tout sans sacrifier la performance.

Résumé technique : POISE (Optimisation de politique avec estimation de la valeur d'état interne)

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est un moteur central pour l'amélioration des modèles de raisonnement de grande envergure (LRM) sur des tâches complexes telles que le raisonnement mathématique. Cependant, un RLVR stable et efficace repose fortement sur une estimation précise de la ligne de base pour réduire la variance des gradients de politique. Les approches existantes entraînent des coûts computationnels significatifs :

PPO (Proximal Policy Optimization) : Nécessite l'entraînement d'un modèle critique séparé à l'échelle du LLM, qui traite la séquence générée complète à chaque mise à jour, doublant approximativement la consommation mémoire et la complexité d'optimisation.
GRPO (Group Relative Policy Optimization) : Évite un critique séparé en estimant les lignes de base à partir de la récompense moyenne d'un groupe de déroulements échantillonnés par invite. Cette méthode « échange des paramètres contre des échantillons », nécessitant plusieurs déroulements par invite pour maintenir une ligne de base stable. Dans le cadre d'un budget de calcul fixe, cela réduit la diversité des invites dans un lot, gonflant la variance des gradients. De plus, une part substantielle de calcul est gaspillée sur des invites « dégénérées » où tous les déroulements reçoivent des récompenses identiques (avantage nul).

La question centrale abordée par ce travail est : Peut-on extraire une ligne de base efficace des calculs déjà effectués lors de l'entraînement de la politique, éliminant ainsi le besoin de ressources supplémentaires ?

Méthodologie : POISE

Les auteurs proposent POISE (Optimisation de politique avec estimation de la valeur d'état interne), une méthode qui exploite les représentations internes du modèle de politique pour estimer la fonction de valeur $V^\pi(x)$ à un coût négligeable.

1. Estimation de la valeur d'état interne

Au lieu d'entraîner un critique séparé, POISE entraîne une sonde légère pour prédire la récompense vérifiable attendue directement à partir des états cachés du modèle de politique et des statistiques de tokens collectés lors du passage avant.

Fonctionnalités d'entrée : La sonde utilise trois signaux complémentaires :
1. Fonctionnalités au niveau de l'invite : États cachés des derniers tokens de l'invite, capturant la représentation de l'invite par le modèle et la difficulté anticipée.
2. Fonctionnalités au niveau de la trajectoire : États cachés de la fin de la trajectoire de raisonnement, révélant des informations pertinentes pour la valeur absentes de l'invite seule.
3. Statistiques d'entropie au niveau des tokens : Caractéristiques d'incertitude légères.
Objectif d'entraînement : La sonde est entraînée à prédire la valeur au niveau de l'invite $V^\pi(x)$ . Pour empêcher la cible de divulguer des informations sur le déroulement spécifique étant évalué, les auteurs utilisent une cible Monte Carlo leave-one-out. Pour une invite $x$ avec $K$ déroulements échantillonnés, la cible pour le déroulement $i$ est la récompense moyenne des $K-1$ autres déroulements.

2. Construction inter-déroulements pour l'absence de biais

Un défi théorique critique consiste à garantir que la ligne de base reste conditionnellement indépendante de l'action (la réponse échantillonnée) pour préserver l'absence de biais du gradient de politique. Si la ligne de base dépend du même déroulement qu'elle évalue, elle introduit un biais.

Solution : POISE emploie une construction inter-déroulements. Pour chaque invite, deux déroulements indépendants, $y^{(1)}$ $y^{(1)}$ et $y^{(2)}$ $y^{(2)}$ , sont échantillonnés.
- La ligne de base pour $y^{(1)}$ est prédite en utilisant les états internes de $y^{(2)}$ .
- La ligne de base pour $y^{(2)}$ est prédite en utilisant les états internes de $y^{(1)}$ .
Cela garantit que la ligne de base utilisée pour mettre à jour un déroulement spécifique est dérivée d'un échantillon indépendant, satisfaisant la condition $E[b(x) \nabla \log \pi(y|x)] = 0$ .

3. Intégration à l'optimisation de politique

POISE intègre cet estimateur dans une boucle d'optimisation de style PPO :

Entraînement en ligne : L'estimateur de valeur est entraîné conjointement avec la politique sur un tampon glissant des trajectoires récentes. Comme les caractéristiques sont extraites du passage avant déjà requis pour les mises à jour de politique, la surcharge computationnelle est négligeable.
Calcul de l'avantage : Les avantages sont calculés comme $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$ , où $b^{(i)}(x)$ est la ligne de base inter-déroulements.
Efficacité : Contrairement à GRPO, qui nécessite un grand groupe (par exemple, 8 déroulements) pour estimer une ligne de base, POISE ne nécessite qu'une paire de déroulements. Cela permet d'allouer le budget de calcul fixe à un plus grand nombre d'invites distinctes par lot, réduisant théoriquement la variance des gradients.

Contributions clés

Nouvelle estimation de ligne de base : Introduit une méthode pour dériver des lignes de base à partir des états internes du modèle de politique, éliminant le besoin d'un critique à l'échelle du LLM séparé ou de grands groupes de déroulements.
Absence de biais théorique : Propose une architecture inter-déroulements qui garantit l'indépendance conditionnelle requise pour des gradients de politique non biaisés tout en utilisant des caractéristiques conditionnées par la trajectoire.
Efficacité computationnelle : Démontre qu'une sonde légère (régression linéaire) peut atteindre des performances d'estimation de valeur comparables ou supérieures à un critique séparé, tout en nécessitant nettement moins de calcul.
Généralisabilité : Montre que les signaux d'état interne se généralisent à travers différents domaines (mathématiques, codage, appel d'outils, suivi d'instructions) et échelles de modèles.

Résultats expérimentaux

La méthode a été évaluée sur Qwen3-4B et DeepSeek-R1-Distill-Qwen-1.5B à travers des benchmarks de raisonnement mathématique de niveau olympique (AMC, AIME, HMMT, BRUMO).

Performance : POISE atteint des performances comparables à DAPO (un algorithme de pointe basé sur GRPO).
- Sur Qwen3-4B, POISE a obtenu un score moyen Avg@32 de 0,500, correspondant étroitement aux 0,508 de DAPO, tout en le surpassant sur des benchmarks spécifiques comme AMC23 et HMMT25.
- Sur DeepSeek-R1-Distill-Qwen-1.5B, POISE a amélioré le score moyen à 0,303 contre 0,296 pour DAPO.
Efficacité de l'entraînement : POISE nécessite nettement moins de temps réel. Sur DeepSeek-R1-Distill-Qwen-1.5B, atteindre une performance comparable a pris 18 heures avec POISE contre 24 heures avec DAPO sur un seul GPU B200. Sur Qwen3-4B, le temps était de 36 heures contre 49 heures.
Stabilité : Les normes de gradient dans POISE étaient constamment inférieures à celles de DAPO, indiquant une variance de gradient réduite et une optimisation plus stable.
Qualité de l'estimation de valeur : La sonde d'état interne a atteint une corrélation de Pearson de 0,870 avec les récompenses empiriques, surpassant un critique à l'échelle du LLM entraîné séparément (0,676) sur la même tâche.
Généralisation : L'estimateur a maintenu des performances élevées sur les tâches de codage, d'appel d'outils et de suivi d'instructions, surpassant souvent les critiques séparés dans ces domaines.

Signification et affirmations

L'article affirme que POISE fournit une voie efficace en termes de calcul vers un RLVR stable et évolutif pour les modèles de raisonnement de grande envergure. En exploitant les propres représentations internes du modèle, la méthode :

Élimine la surcharge mémoire et computationnelle de l'entraînement d'un modèle critique séparé.
Supprime l'inefficacité d'échantillonnage des lignes de base relatives aux groupes (GRPO), permettant une plus grande diversité d'invites dans un budget fixe.
Évite le gaspillage de calcul sur des invites dégénérées qui produisent un avantage nul.
Démontre que les états internes, précédemment utilisés principalement comme outils de diagnostic, peuvent servir de signaux d'optimisation pratiques et haute fidélité pour l'apprentissage par renforcement.

Les auteurs concluent que POISE permet une optimisation de politique plus stable et efficace sans avoir besoin de lignes de base relatives aux groupes ou de modèles de valeur auxiliaires, en faisant une alternative viable pour l'entraînement de modèles de raisonnement de grande envergure sous contraintes de ressources.