💬 NLP

Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward

Cet article étudie le succès paradoxal de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) dans l'amélioration du raisonnement des LLM en démontrant que les récompenses fallacieuses améliorent la performance non pas par un alignement direct, mais en induisant un biais de troncature qui réduit l'entropie de la politique, clarifiant ainsi les rôles distincts de l'exploration et de l'exploitation dans ce cadre.

Auteurs originaux : Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant très intelligent mais légèrement confus (un grand modèle de langage) comment résoudre des problèmes mathématiques complexes. Vous voulez qu'il apprenne en essayant différentes solutions et en recevant des commentaires. C'est le cœur de l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR).

D'habitude, l'enseignant ne donne un « Oui » ou un « Non » qu'à la toute fin : « As-tu trouvé la bonne réponse ? ». Si oui, tant mieux ; si non, réessaie.

Cette étude examine un phénomène étrange : que se passe-t-il si l'enseignant arrête de donner de vrais commentaires et décide à la place de lancer une pièce pour décider si la réponse est juste ou fausse ? Étonnamment, dans certains cas, l'étudiant devient meilleur en mathématiques même si l'enseignant ment. Les auteurs creusent le pourquoi de ce phénomène, en se concentrant sur trois personnages : le Écrêtage (Clipping), l'Entropie et les Récompenses Spacieuses (Spurious Rewards).

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. L'enseignant « Pile ou Face » (Récompenses Spacieuses)

Dans une classe normale, l'enseignant récompense les bonnes réponses. Dans cette expérience, l'enseignant lance une pièce. Face = « Très bien ! » (Récompense), Pile = « Réessaie » (Pas de récompense), peu importe si le calcul est mathématiquement juste ou non.

Le Paradoxe : La logique voudrait que cela confonde l'étudiant et le rende moins bon. Mais l'article a découvert que pour des étudiants plus forts et plus intelligents, ce bruit aléatoire les a réellement aidés à améliorer leurs scores. Pour les étudiants plus faibles, cela ne faisait que les rendre confus et instables.
La Leçon : Ce n'est pas la « vérité » de la récompense qui compte. C'est la façon dont l'étudiant réagit au bruit. Si l'étudiant est déjà bon, le bruit agit comme une légère poussée qui l'aide à se concentrer. S'il est en difficulté, le bruit ne fait que l'étouffer.

2. Le « Dos-d'âne » (Écrêtage / Clipping)

Dans le processus d'entraînement, il existe un mécanisme de sécurité appelé Écrêtage (Clipping). Imaginez que l'étudiant court très vite. S'il essaie de changer sa réponse de manière trop drastique en une seule étape, l'enseignant place un « dos-d'âne » (un clip) pour l'empêcher de surréagir.

L'Ancienne Croyance : On pensait que ce dos-d'âne était le héros qui rendait l'étudiant plus intelligent en amplifiant les bonnes réponses.
La Découverte de l'Article : Les auteurs ont fait les calculs et ont découvert que le dos-d'âne est en réalité minuscule, presque invisible. Il ne fournit pas le signal d'apprentissage principal. Il est trop petit pour être la raison pour laquelle l'étudiant s'est amélioré.
Le Vrai Rôle du Dos-d'âne : Son vrai travail est d'empêcher l'étudiant de paniquer. Sans lui, l'étudiant pourrait faire un bond gigantesque et absurde dans sa logique qui lui briserait le cerveau (une « explosion de gradient »). Le clip maintient la stabilité de l'entraînement, mais il n'enseigne pas les mathématiques.

3. Le « Compteur de Confiance » (Entropie)

L'Entropie est un mot savant pour dire « à quel point l'étudiant est incertain ».

Entropie Élevée : L'étudiant devine de manière aléatoire. « C'est peut-être 5, peut-être 10, peut-être une banane. » (Exploration élevée).
Entropie Faible : L'étudiant est très sûr de lui. « C'est définitivement 5. » (Exploitation élevée).

D'habitude, dans l'apprentissage, on veut un mélange : explorer un peu, puis exploiter ce que l'on sait. Mais dans cet entraînement mathématique, l'article a découvert que réduire la confiance de l'étudiant (réduire l'entropie) conduit souvent à de meilleurs scores.

La Connexion : Le « Dos-d'âne » (Écrêtage) agit accidentellement comme un Boost de Confiance. En empêchant l'étudiant de faire des variations sauvages, il le force à rester plus proche de ses réponses actuelles, plus affirmées.
Le Piège : Être confiant n'est pas toujours une bonne chose.
- Si l'étudiant est déjà intelligent et que les problèmes sont faciles, devenir plus confiant l'aide à verrouiller la bonne réponse.
- Si l'étudiant est faible ou que les problèmes sont difficiles, forcer la confiance le rend simplement obstiné dans l'erreur. Il arrête d'explorer de nouvelles idées et s'enferme dans une mauvaise habitude.

La Vue d'Ensemble : Que se passe-t-il réellement ?

L'article résout un mystère : Pourquoi mentir à l'étudiant (récompenses aléatoires) le rend-il parfois plus intelligent ?

Ce n'est pas le mensonge en soi : Le lancer de pièce aléatoire n'enseigne pas les mathématiques.
Ce n'est pas le dos-d'âne : Le mécanisme d'écrêtage est trop petit pour être le principal enseignant.
C'est le « Verrou de Confiance » : La combinaison du bruit aléatoire et du dos-d'âne force l'étudiant à devenir plus déterministe (moins aléatoire, plus confiant).
- Pour un étudiant fort, ce « verrou de confiance » l'aide à arrêter de se remettre en question et à suivre la bonne voie.
- Pour un étudiant faible, ce verrou l'emprisonne dans ses erreurs, et il devient moins bon.

Résumé en une phrase

L'article révèle que dans l'entraînement mathématique de l'IA, le « bruit aléatoire » aide les modèles puissants non pas parce que le bruit est utile, mais parce que les règles d'entraînement (l'écrêtage) forcent accidentellement le modèle à cesser de deviner pour devenir de manière confiante et déterministe, ce qui ne fonctionne que si le modèle était déjà assez intelligent pour avoir raison.

Résumé Technique : Exploration vs Exploitation dans le RLVR

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un moteur principal pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), particulièrement dans les domaines mathématiques. Cependant, des observations empiriques récentes présentent une dynamique paradoxale : l'amélioration des performances en RLVR a été attribuée à deux mécanismes qui semblent contredire les intuitions classiques de l'apprentissage par renforcement (RL) concernant le compromis exploration-exploitation :

Récompenses fallacieuses : L'utilisation de récompenses aléatoires ou mal alignées (par exemple, des signaux Bernoulli(1/2) indépendants de la vérité terrain) a été observée comme améliorant les performances de certains modèles (ex: Qwen-Math), alors que la théorie classique du RL suggère qu'un tel bruit devrait entraver l'exploitation.
Minimisation de l'entropie : La réduction de l'entropie de la politique pour encourager des sorties déterministes et à haute confiance a été liée à des gains, malgré la vision standard selon laquelle la réduction de l'entropie conduit à une convergence prématurée et à des politiques sous-optimales.

L'article étudie les principes sous-jacents permettant de réconcilier ces effets, en questionnant spécifiquement si les récompenses fallacieuses fournissent des signaux d'apprentissage significatifs, comment le biais de troncature (clipping bias) interagit avec l'entropie de la politique, et si les gains observés sont de simples artefacts de contamination de données ou des particularités spécifiques aux modèles.

2. Méthodologie et Cadre Théorique

Les auteurs emploient une combinaison d'analyses théoriques et d'évaluations empiriques approfondies sur plusieurs familles de modèles (Qwen-Math, Llama, QwQ) et tailles (de 7B à 32B).

2.1 Analyse Théorique de la Troncature et de l'Entropie

L'article analyse l'optimisation de la politique relative au groupe (GRPO - Group Relative Policy Optimization), l'algorithme standard pour le RLVR.

Biais de Troncature (Clipping Bias) : Les auteurs dérivent des bornes explicites sur l'ampleur du terme de correction de la troncature supérieure ( $C^+_{tot}$ ). Ils prouvent que sous des récompenses aléatoires, le biais de troncature ne constitue pas un signal d'apprentissage significatif. Les bornes théoriques (Théorème 3.2, Théorème 3.4) démontrent que l'ampleur de la somme brute du substitut ( $N_{raw}$ ) dépasse largement le terme de correction de la troncature ( $E[|N_{raw}|] \gg E[|C^+_{tot}|]$ ), impliquant que la troncature ne génère pas directement de gains de performance.
Dynamique de l'Entropie : L'article remet en question l'approximation de travaux antérieurs (Cui et al., 2025) suggérant que l'entropie reste constante sous des récompenses aléatoires. En incorporant la troncature et des termes d'ordre supérieur, les auteurs dérivent une formulation de "décalage de l'entropie de la politique en une étape" (one-step policy-entropy shift).
- Entraînement sans Troncature : Le changement d'entropie dépend de l'asymétrie initiale de la politique ( $\Phi(\pi_{old})$ ). Si la politique est suffisamment asymétrique, l'entropie peut augmenter ; sinon, elle diminue.
- Entraînement avec Troncature : Les auteurs prouvent (Théorème 4.3) que la troncature supérieure agit comme un mécanisme implicite de minimisation de l'entropie. La troncature réduit systématiquement l'entropie de la politique, poussant celle-ci vers des déploiements (rollouts) plus déterministes et à plus haute confiance.

2.2 Modèle de Désalignement de la Récompense

Pour expliquer pourquoi les récompenses aléatoires bénéficient à certains modèles mais pas à d'autres, les auteurs introduisent un modèle probabiliste de désalignement de la récompense. Ils définissent le "dommage" ( $\Delta$ ) comme la perte de masse d'avantage pour les déploiements corrects due à un étiquetage aléatoire erroné (Faux Positifs et Faux Négatifs).

Dépendance à la Force du Modèle : L'analyse montre que le dommage attendu et sa variance diminuent à mesure que le nombre de déploiements corrects ( $n_c$ ) augmente. Par conséquent, les modèles plus forts (où $n_c > n_i$ ) subissent moins de dommages totaux de désalignement et présentent des dynamiques d'entraînement plus stables, ce qui les rend plus susceptibles de bénéficier des récompenses aléatoires.
Hypothèse de Contamination : Le modèle suggère que les améliorations ne sont pas uniquement dues à la contamination des données (mémorisation des ensembles de validation) mais sont un phénomène plus large dépendant de la capacité initiale du modèle par rapport à la difficulté du jeu de données.

3. Contributions Clés

Bornes Théoriques sur la Troncature : L'article dérive des bornes explicites montrant que sous des récompenses fallacieuses, le biais de troncature ne fournit aucun signal d'apprentissage significatif. Au lieu de cela, il établit un lien déterministe où la troncature réduit systématiquement l'entropie de la politique.
Découplage de l'Entropie et de la Performance : Les auteurs démontrent qu'il n'existe pas de relation de causalité directe entre la réduction de l'entropie de la politique et l'amélioration des performances. Bien que la minimisation de l'entropie puisse coïncider avec des gains, elle peut aussi mener à un effondrement des performances, particulièrement pour les modèles plus faibles ou sur des jeux de données difficiles.
Généralisation au-delà de la Contamination : À travers des expériences sur des familles de modèles non contaminés (Llama, QwQ) et des difficultés de jeux de données variables (DeepScaleR vs. AIME), l'article montre que les gains de performance sous des récompenses aléatoires sont robustes et ne sont pas confinés aux modèles Qwen-Math potentiellement contaminés.
Cadre de Désalignement de la Récompense : Un nouveau modèle théorique explique les conditions sous lesquelles les récompenses aléatoires sont bénéfiques, liant le succès à la force du modèle et au ratio entre les déploiements corrects et incorrects.

4. Résultats Expérimentaux

Troncation vs Sans Troncature : Dans des expériences sur Qwen2.5-Math-7B avec des récompenses aléatoires, la désactivation de la troncature a conduit à une augmentation de l'entropie de la politique et, dans certains cas, à une amélioration des performances. L'activation de la troncature a provoqué une diminution monotone de l'entropie. Crucialement, pour le modèle plus faible Qwen-Math-7B sur le jeu de données difficile AIME, la minimisation de l'entropie (via la troncature) a conduit à une performance sous-optimale, tandis que les modèles plus forts (QwQ-32B, R1-Distill-Llama-8B) ont montré des gains constants.
Explosion du Gradient : Les auteurs ont observé que sans la troncature, les modèles présentant de grands noyaux de gradient (ex: R1-Distill-Llama-8B) peuvent souffrir d'une explosion de gradient et d'un effondrement de l'entraînement, soulignant le rôle de la troncature comme mécanisme de stabilité plutôt que comme moteur de performance.
Force du Modèle : Les expériences ont confirmé que les modèles plus forts (ex: Llama-8B distillé) s'améliorent sous des récompenses aléatoires, tandis que les modèles plus faibles (ex: Qwen-1.5B) se dégradent ou restent instables. Cela soutient la théorie du désalignement de la récompense selon laquelle les gains dépendent de la capacité du modèle à générer un nombre suffisant de trajectoires correctes.
Sensibilité aux Hyperparamètres : La variation du ratio de troncature ( $\epsilon$ ) et de la taille du groupe ( $G$ ) a montré que si une troncature plus stricte réduit la variance, elle ne modifie pas fondamentalement la conclusion selon laquelle la troncature agit comme un régulateur d'entropie.

5. Signification et Revendications

L'article prétend clarifier les mécanismes derrière le phénomène de la "récompense fallacieuse" en RLVR, renversant la vue dominante selon laquelle les améliorations sont uniquement dues à la contamination des données ou que le biais de troncature fournit un signal d'apprentissage.

Recadrage de la Troncature : Les auteurs affirment que la troncature en RLVR sous des récompenses aléatoires fonctionne principalement comme un régularisateur qui impose une région de confiance locale et réduit l'entropie de la politique, plutôt que comme une source de gradients informatifs.
Bénéfices Dépendant du Contexte : L'article conclut que les bénéfices des récompenses fallacieuses et de la minimisation de l'entropie sont dépendants du régime. Ils sont efficaces pour les modèles forts sur des jeux de données plus faciles où la politique est déjà concentrée sur des trajectoires correctes, mais ils peuvent renforcer des modes incorrects et dégrader les performances pour les modèles plus faibles ou les tâches plus difficiles.
Absence de Lien Universel Entropie-Performance : Le travail réfute explicitement l'idée d'une relation monotone entre une entropie plus faible et une performance plus élevée, montrant que la réduction de l'entropie peut accompagner un effondrement des performances.

En résumé, l'article pose que le succès du RLVR avec des récompenses fallacieuses n'est pas un paradoxe, mais le résultat d'interactions spécifiques entre la force du modèle, la difficulté du jeu de données et les effets de régularisation implicite de la troncature sur l'entropie de la politique. Ces conclusions fournissent des principes pour un entraînement RLVR plus efficace, suggérant que le contrôle de l'entropie doit être considéré comme un régularisateur de stabilisation plutôt que comme un objectif universel d'amélioration.