💬 NLP

The Invisible Leash: Why RLVR May or May Not Escape Its Origin

Cet article démontre empiriquement que, bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) améliore considérablement la précision des LLM, il échoue finalement à étendre les frontières du raisonnement car son optimisation contrainte par le support rétrécit l'espace de solutions du modèle, l'amenant souvent à ignorer des réponses correctes qui étaient auparavant accessibles au modèle de base.

Auteurs originaux : Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Publié 2026-02-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : L'« invisible laisse »

Imaginez que vous avez un étudiant très talentueux (le Modèle de Base) qui a lu une bibliothèque entière de livres et possède énormément de connaissances. Il peut résoudre des problèmes mathématiques, mais parfois, il s'embrouille ou donne une réponse un peu désordonnée.

Pour l'améliorer, vous introduisez un entraîneur strict (le système RLVR). Cet entraîneur n'apprend pas de nouveaux sujets à l'étudiant en partant de zéro. Au lieu de cela, l'entraîneur observe l'étudiant résoudre des problèmes, et chaque fois que l'étudiant trouve la bonne réponse exacte, l'entraîneur lui fait un "high-five" (une récompense). Si la réponse est fausse, l'entraîneur lui dit doucement : « Réessaie ».

L'article pose une question cruciale : Cet entraînement apprend-il réellement à l'étudiant de nouvelles façons de réfléchir, ou l'entraîne-t-il simplement à répéter les réponses spécifiques qu'il connaissait déjà, mais avec plus d'assurance ?

Les auteurs appellent cela une « invisible laisse ». Ils ont découvert que, bien que l'étudiant devienne bien meilleur pour trouver la première réponse correcte, il reste en réalité attaché au même ensemble limité d'idées qu'il possédait au départ. Il ne peut pas facilement sauter par-dessus la clôture pour découvrir des solutions totalement inédites qu'il n'avait pas déjà entrevu.

Explication des conclusions clés

1. Le piège du « Support » : Garder l'ancienne carte

Considérez les connaissances de l'étudiant comme la carte d'une ville. Le « Modèle de Base » possède une carte qui montre de nombreux itinéraires possibles pour atteindre une destination, y compris des chemins détournés et obscurs.

Ce que fait le RLVR : Il regarde la carte et dit : « Hé, ce trajet fonctionne parfaitement ! Pavons-le d'or et faisons-en la seule route sur laquelle nous roulerons. »
Le résultat : L'étudiant devient incroyablement rapide et précis sur cette route pavée. Cependant, il commence à oublier les autres routes valides et sinueuses qui étaient sur la carte originale.
La conclusion de l'article : Dans presque tous les tests (mathématiques, logique, codage), les modèles entraînés par RLVR ont conservé les « bonnes » réponses qu'ils connaissaient déjà (environ 93 à 99 %), mais ils ont perdu l'accès aux autres réponses correctes que le modèle original aurait pu trouver. Ils n'ont pas ajouté de nouvelles routes sur la carte ; ils ont simplement réduit le trafic à une voie unique.

2. Le compromis « Précision vs Diversité »

Imaginez que vous pêchez dans un lac.

Le Modèle de Base lance un filet large. Il attrape quelques gros poissons, mais aussi certains poissons plus petits et de types différents. C'est un peu désordonné, mais il trouve tout ce qui s'y trouve.
Le Modèle RLVR utilise une lance. Il est incroyablement précis. S'il voit un poisson, il le transperce à chaque fois. Mais parce qu'il est si concentré sur l'atteinte de sa cible, il arrête de lancer son filet largement.

Le hic : Si vous n'avez besoin que d'un seul poisson (une seule bonne réponse), la lance (RLVR) est meilleure. Mais si vous devez attraper n'importe quel poisson dans un grand seau (essayer de nombreuses fois pour trouver une solution), le filet large (Modèle de Base) est en réalité plus efficace car il couvre plus de terrain. L'article a révélé que si le RLVR est excellent pour réussir du premier coup, le modèle original gagne souvent si on lui donne de nombreuses chances d'essayer.

3. L'illusion du « Bruit Confus »

Parfois, l'étudiant entraîné par RLVR semble réfléchir plus intensément. Il peut faire des pauses plus longues, dire plus de mots, ou sembler plus « incertain » pendant qu'il parle (ce qu'on appelle l'Entropie au niveau du Token).

L'analogie : Imaginez un chef qui découpe des légumes de manière très bruyante et chaotique. On pourrait croire qu'il expérimente de nouvelles techniques.
La réalité : Malgré le bruit, il ne prépare toujours que les trois mêmes plats qu'il faisait auparavant. Il n'invente pas une nouvelle recette ; il prépare simplement les anciennes avec plus de panache.
La conclusion de l'article : Même si les modèles semblent plus « incertains » étape par étape, ils convergent en réalité vers un ensemble beaucoup plus restreint de réponses finales. Ils sont moins diversifiés à la fin.

4. Quand apprend-il réellement quelque chose de nouveau ?

L'article a toutefois trouvé quelques rares exceptions où le modèle RLVR a réellement trouvé une nouvelle solution. Cela ne s'est produit que dans deux scénarios spécifiques :

Réassemblage de pièces de puzzle : L'étudiant connaissait déjà les pièces individuelles (sous-compétences), mais ne parvenait pas à les assembler correctement. L'entraîneur l'a aidé à emboîter les pièces.
Correction du format : L'étudiant connaissait la réponse, mais ne savait pas comment l'écrire dans le format spécifique demandé par l'entraîneur. L'entraîneur lui a enseigné les règles de formatage, débloquant ainsi la réponse qui était déjà là.

Dans ces cas, le modèle ne découvrait pas un nouvel univers de pensée ; il polissait simplement ce qui était déjà caché dans l'ombre de ses connaissances d'origine.

Conclusion : Briser la laisse

L'article conclut que les méthodes actuelles de RLVR sont comme un outil de précision, et non un moteur de créativité. Elles sont excellentes pour affiner et perfectionner ce qu'un modèle sait déjà, mais elles sont « en laisse » par la distribution initiale du modèle de base. Elles ne peuvent pas facilement découvrir des solutions que le modèle de base avait une probabilité nulle de trouver.

Pour véritablement étendre les capacités de raisonnement d'un modèle — pour lui permettre de découvrir des choses qu'il n'a jamais vues auparavant — nous devons ajouter quelque chose de nouveau à la recette : une exploration explicite. Nous devons délibérément pousser la masse de probabilité vers les « coins sombres » de l'espace des solutions, plutôt que de simplement aiguiser la mise au point sur les points lumineux que nous connaissons déjà.

En bref : Le RLVR fait du modèle un meilleur exécuteur d'idées connues, mais cela ne fait pas nécessairement de lui un meilleur penseur d'idées nouvelles.

Résumé Technique : La laisse invisible ? Pourquoi l'RLVR peut ou ne peut pas s'échapper de ses origines

Énoncé du problème

Les progrès récents des grands modèles de langage (LLM), particulièrement en raisonnement mathématique et logique, ont été portés par l'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards). Bien que l'RLVR ait démontré des améliorations significatives de la précision à l'essai unique (pass@1), un débat fondamental persiste : l'RLVR élargit-il réellement les frontières de raisonnement d'un modèle pour découvrir des solutions inédites, ou se contente-t-il d'amplifier les sorties à haute récompense que le modèle de base possède déjà, améliorant ainsi la précision au détriment de la diversité ?

La littérature actuelle offre des points de vue divergents. Certaines études suggèrent que l'RLVR effectue une optimisation conservatrice au sein des capacités existantes, tandis que d'autres soutiennent qu'il étend le raisonnement dans des domaines spécifiques. De plus, les métriques d'évaluation standard comme le pass@k capturent principalement la récupération de solutions plutôt que la capacité de raisonnement nouveau. Il existe un manque d'investigation empirique systématique sur la manière dont l'RLVR remodèle le support de raisonnement effectif du modèle tout au long de l'entraînement, spécifiquement pour savoir s'il peut découvrir des solutions auparavant inaccessibles au modèle de base.

Méthodologie

Les auteurs introduisent un cadre centré sur le Support Empirique, défini comme l'ensemble des solutions correctes qu'un modèle peut réalistement découvrir sous un échantillonnage fini. Ils formalisent la dynamique de l'accessibilité des solutions en catégorisant les complétions correctes en quatre régions basées sur le fait que le modèle de base ( $q$ ) et le modèle entraîné par RLVR ( $\pi_\theta$ ) leur assignent ou non une masse de probabilité non négligeable (supérieure à un seuil $\epsilon$ ) :

Préservation du Support : Solutions correctes accessibles aux deux modèles.
Expansion du Support : Solutions correctes nouvellement accessibles à l'RLVR (négligeables dans le modèle de base, non négligeables dans l'RLVR).
Réduction du Support : Solutions correctes accessibles au modèle de base mais perdues dans l'RLVR.
Hors Support : Solutions correctes manquées par les deux.

Pour quantifier ces dynamiques, l'article propose quatre métriques :

Taux de Rétention du Support (SRR) : Mesure la préservation des solutions du modèle de base.
Taux de Découverte Net (NDR) : Mesure la fraction de nouvelles découvertes authentiques.
Score de Dynamique de Support (SDS) : Une moyenne harmonique équilibrant rétention et découverte.
Taux de Changement de Support Net (NSCR) : Capture l'expansion ou la réduction nette de l'espace des solutions.

L'étude utilise des expériences empiriques étendues à travers diverses échelles de modèles (de 1,5B à 32B de paramètres) et divers domaines (mathématiques, raisonnement logique, QA factuel, génération de code et raisonnement visuel). Les modèles évalués incluent les variantes de ProRL, Nemotron, Skywork, AceReason, Phi4 et DAPO. Les auteurs analysent également la dynamique de l'entropie, en distinguant l'entropie au niveau du jeton (incertitude locale pendant la génération) et l'entropie au niveau de la réponse (diversité globale des sorties finales). De plus, ils fournissent des preuves théoriques concernant les limites des mises à jour RL on-policy.

Contributions Clés et Résultats

1. Préservation Prédominante avec Expansion Limitée

Les résultats empiriques indiquent que l'RLVR agit principalement comme un mécanisme d'optimisation contraint par le support. Sur tous les modèles et domaines testés :

Haute Rétention, Faible Découverte : Les Taux de Rention du Support (SRR) sont systématiquement élevés (0,90–0,99), indiquant que l'RLVR préserve de manière fiable les solutions accessibles du modèle de base. Cependant, les Taux de Découverte Net (NDR) sont extrêmement bas (souvent $\le 0,04$ ), ce qui signifie que la découverte réelle de nouveaux chemins de raisonnement est rare.
Réduction Nette : Dans presque tous les cas, le nombre de solutions correctes perdues (Réduction) dépasse le nombre de nouvelles solutions trouvées (Expansion). Le Taux de Changement de Support Net (NSCR) est systématiquement négatif, suggérant que l'RLVR rétrécit systématiquement l'ensemble des solutions accessibles.
Paradoxe de Performance : Bien que les modèles RLVR surpassent souvent les modèles de base à de faibles budgets d'échantillonnage (ex: pass@1), les modèles de base dominent fréquemment à des budgets d'échantillonnage élevés (ex: pass@8192) en raison de leur couverture de solutions plus large.

2. Le Compromis Précision-Diversité

L'étude identifie un compromis fondamental où l'RLVR améliore la précision en concentrant la masse de probabilité sur des trajectoires à haute récompense connues, mais réduit la diversité des solutions globales.

Dynamique de l'Entropie : Bien que certains modèles RLVR présentent une entropie accrue au niveau du jeton (paraissant plus incertains pendant la génération), ils montrent systématiquement une entropie diminuée au niveau de la réponse. Cela indique qu'en dépit d'une stochasticité locale, les modèles convergent vers un ensemble plus restreint de réponses finales distinctes.
Analyse de la Perplexité : Les modèles RLVR présentent une perplexité plus élevée lorsqu'ils sont évalués face à des traces de raisonnement externes diverses (ex: de DeepSeek-R1 ou Claude Sonnet), confirmant qu'ils réduisent la capacité du modèle à assigner une probabilité à des styles de résolution divers.

3. Mécanismes d'Expansion Rare

Lorsque l'expansion se produit (par exemple, dans des tâches comme Dice, Arc 1D, ou Boxnet), l'article identifie deux mécanismes spécifiques :

Recomposition de Sous-compétences : Le modèle de base possède les composants nécessaires (fragments) mais échoue à les assembler globalement. L'RLVR amplifie ces composants faiblement représentés.
Alignement du Format de Prompt : L'RLVR corrige les désalignements dans le format de réponse, débloquant des capacités qui étaient présentes mais supprimées en raison de défaillances de suivi d'instructions.
Crucialement, ces expansions ne représentent pas la découverte de solutions véritablement absentes de la distribution de base ; il s'agit de repondérations de capacités existantes de la longue traîne.

4. Limites Théoriques

L'article fournit des preuves théoriques (Théorème C.1 et Corollaire C.2) démontrant que les mises à jour RLVR on-policy standards ne peuvent pas étendre le support de la politique au-delà du support initial du modèle de base. Si le modèle de base assigne une probabilité de zéro à une solution correcte, l'RLVR ne peut pas la découvrir. De plus, la performance asymptotique du pass@k d'un modèle RLVR est bornée par celle du modèle de base.

Signification et Revendications

L'article affirme révéler une "laisse invisible" qui contraint les pratiques actuelles de l'RLVR. La principale signification de ce travail réside dans :

Recadrage du rôle de l'RLVR : Il positionne l'RLVR non pas comme un amplificateur de capacité qui déverrouille de nouveaux horizons de raisonnement, mais comme un amplificateur de précision qui aiguise la distribution autour des modes à haute récompense connus.
Limites des Paradigmes Actuels : Il remet en question l'hypothèse selon laquelle l'RLVR mène intrinsèquement à un raisonnement plus profond ou à une résolution de problèmes nouvelle. Au contraire, il suggère que sans stratégies d'exploration explicites, l'RLVR est fondamentalement limité par l'initialisation du modèle de base.
Implications pour l'Évaluation : Les conclusions suggèrent que s'appuyer uniquement sur le pass@1 ou des métriques à faible budget peut surestimer les capacités de l'RLVR, car ces métriques favorisent les distributions concentrées produites par l'RLVR, tout en ignorant la perte de diversité qui nuit aux performances dans des scénarios à haut budget ou à solutions multiples.
Directions Futures : Les auteurs concluent que briser cette "laisse invisible" nécessite des innovations futures qui injectent explicitement de la masse de probabilité dans des régions de solutions sous-représentées, allant au-delà de l'optimisation on-policy standard vers des stratégies hybrides ou des mécanismes d'exploration explicites.

Ce travail ne prétend pas résoudre ces limitations, mais vise à fournir un fondement empirique et théorique rigoureux pour comprendre les compromis inhérents entre précision et diversité dans l'apprentissage par renforcement basé sur des récompenses vérifiables.