💬 NLP

Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes

PrefixRL remédie à l'inefficacité de l'apprentissage par renforcement sur les problèmes de raisonnement complexe en se conditionnant sur des préfixes hors politique de traces réussies pour stabiliser l'entraînement et accroître l'efficacité de l'échantillonnage, atteignant une convergence plus rapide et des performances supérieures par rapport aux bases de référence standards tout en permettant une boucle d'auto-amélioration via l'échantillonnage par rejet.

Auteurs originaux : Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant (un modèle d'IA) comment résoudre des problèmes mathématiques incroyablement difficiles. L'étudiant est intelligent, mais face à une question vraiment difficile, il se contente généralement de deviner et se trompe. En fait, il se trompe si souvent qu'il cesse d'apprendre car il ne parvient jamais à obtenir une réponse « correcte » à étudier. C'est le problème que l'article traite : l'apprentissage par renforcement (RL) sur des problèmes difficiles stagne souvent car l'IA ne voit jamais un mouvement gagnant.

Les auteurs proposent une nouvelle méthode ingénieuse appelée PrefixRL. Voici comment elle fonctionne, en utilisant des analogies simples :

1. Le Problème : Le scénario du « Perdu dans le noir »

Imaginez que l'étudiant est dans un labyrinthe sombre essayant de trouver la sortie. Chaque fois qu'il fait un pas, il heurte un mur et reçoit un signal de « 0 point ». Il continue de marcher en cercles, gaspillant de l'énergie (puissance de calcul), mais ne trouve jamais le chemin vers la sortie. Comme il ne trouve jamais la sortie, il ne sait pas quelle direction est la bonne, et son apprentissage s'arrête.

En termes d'IA, cela se produit lorsqu'un modèle essaie de résoudre un problème difficile et ne parvient presque jamais à générer une réponse correcte par lui-même. La « récompense » (le signal qui dit « tu as réussi ! ») est si rare que l'IA reste bloquée.

2. L'Ancienne Méthode : « Juste mémoriser la réponse »

Auparavant, si les chercheurs possédaient quelques réponses correctes provenant d'une tentative précédente (données hors-politique ou off-policy), ils essayaient de forcer l'étudiant à mémoriser ces réponses d'abord (Ajustement Fin Supervisé ou Supervised Fine-Tuning) avant de le laisser réessayer.

La faille : C'est comme forcer l'étudiant à mémoriser un itinéraire spécifique à travers le labyrinthe. Une fois qu'il l'a mémorisé, il cesse d'explorer. Si le labyrinthe change légèrement, ou s'il doit trouver un meilleur itinéraire, il est coincé car il a perdu sa curiosité et sa créativité. Il devient trop rigide.

3. La Nouvelle Méthode : PrefixRL (La stratégie du « Départ Avancé »)

PrefixRL change la donne. Au lieu de faire mémoriser toute la réponse à l'étudiant, les chercheurs lui donnent un départ avancé.

L'analogie : Imaginez que l'étudiant est à nouveau coincé dans le labyrinthe sombre. Cette fois, un ami (qui a résolu le labyrinthe auparavant) lui tend un morceau de papier qui dit : « Tu es actuellement au coin où se trouve la porte rouge. De là, tourne à gauche. »
L'étudiant n'a pas besoin de découvrir comment atteindre la porte rouge ; il commence simplement à partir de là.
Crucialement : L'étudiant est toujours responsable de découvrir le reste du labyrinthe par lui-même. Il ne se contente pas de copier tout le chemin ; il utilise ce « départ avancé » pour pratiquer le reste du voyage.

En termes techniques, l'IA prend une solution correcte trouvée dans le passé, coupe la partie de début (le « préfixe ») et l'attache au problème. L'IA tente ensuite de terminer le reste de la solution. Parce qu'elle part d'un « bon » endroit, elle est beaucoup plus susceptible d'obtenir une récompense (une réponse correcte) et d'apprendre.

4. Le Tour de Magie : La « Back-Généralisation »

La découverte la plus surprenante de l'article est ce que les auteurs appellent la Back-Généralisation.

L'analogie : Imaginez que vous pratiquez la conduite uniquement sur une portion d'autoroute facile et spécifique (la partie « préfixée »). Vous apprenez à vous insérer, à accélérer et à diriger parfaitement sur ce tronçon.
La surprise : Même si vous n'avez jamais pratiqué sur les routes de montagne difficiles et sinueuses (le problème original, sans préfixe), vos compétences de conduite sur l'autoroute rendent étrangement votre conduite sur les routes de montagne meilleure aussi.
Pourquoi ? L'article suggère qu'en pratiquant sur les problèmes avec « départ avancé », l'IA apprend la logique sous-jacente et les stratégies nécessaires pour résoudre le problème. Elle apprend comment réfléchir, et non pas seulement quoi penser. Ainsi, lorsqu'elle revient au problème difficile original sans le départ avancé, elle peut appliquer ces nouvelles stratégies et le résoudre mieux qu'avant.

5. Pourquoi est-ce meilleur (Les Résultats)

L'article a testé cela sur des problèmes de mathématiques et de codage très difficiles.

Vitesse : PrefixRL a appris deux fois plus vite que les meilleures méthodes précédentes. Il a gaspillé moins de puissance de calcul car il n'avait pas besoin de continuer à deviner dans le noir.
Qualité : L'IA finale était trois fois meilleure pour résoudre les problèmes difficiles que les anciennes méthodes.
Flexibilité : Cela a même fonctionné lorsque le « départ avancé » provenait d'un type d'IA complètement différent (comme utiliser les indices d'un modèle Qwen pour entraîner un modèle Llama). Cela signifie que vous n'avez pas besoin du même modèle d'IA pour générer les indices ; n'importe quelle IA intelligente peut fournir le « départ avancé ».

Résumé

PrefixRL est comme donner un indice à un étudiant en difficulté pour l'aider à franchir la partie la plus difficile d'une question, afin qu'il puisse pratiquer la résolution du reste. Curieusement, en pratiquant avec l'indice, l'étudiant devient si bon dans la logique du problème qu'il peut résoudre la version originale, sans indice, encore mieux qu'avant. Cela réutilise le travail informatique passé pour rendre le nouvel apprentissage plus rapide et plus intelligent, sans forcer l'IA à simplement mémoriser des réponses.

Résumé Technique : Réutilisez vos FLOPs : Passer à l'échelle du RL sur des problèmes difficiles en se conditionnant sur des préfixes très off-policy

1. Énoncé du problème

L'apprentissage par renforcement (RL) est devenu la méthode de facto pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), particulièrement en mathématiques et en programmation. Cependant, les méthodes de RL on-policy standard font face à un goulot d'étranglement critique lorsqu'elles sont appliquées à des problèmes difficiles où le taux de réussite du modèle de base est proche de zéro (ex: pass@2k ≈ 0).

Dans ce régime, la politique de RL échantillonne rarement une trace de raisonnement correcte. Par conséquent :

Disparition des signaux d'apprentissage : Les estimations du gradient de la politique deviennent nulles ou proches de zéro car toutes les trajectoires échantillonnées reçoivent une récompense nulle.
Gaspillage de calcul : Le système dépense des quantités massives de FLOPs pour l'échantillonnage sans recevoir de signal d'apprentissage, ce qui provoque un plafonnement de l'apprentissage et des récompenses.
Inefficacité des solutions existantes :
- Fine-tuning supervisé (SFT) sur des traces off-policy : Bien que cela puisse amorcer le modèle, cela conduit souvent à un effondrement de l'entropie et à la mémorisation, entravant l'exploration ultérieure.
- RL direct off-policy : L'utilisation directe de traces off-policy via la pondération par importance souffre d'estimations de gradients à haute variance et d'instabilité.

Le défi central est de savoir comment réutiliser le calcul « gaspillé » des exécutions d'inférence ou de RL précédentes (qui peuvent contenir de rares traces correctes) pour guider la politique de RL on-policy sans introduire les instabilités associées à la supervision off-policy directe.

2. Méthodologie : PrefixRL

Les auteurs proposent PrefixRL, un cadre qui conditionne le processus de RL on-policy sur des préfixes de traces off-policy réussies plutôt que d'utiliser ces traces comme cibles de supervision directe.

Mécanisme central

Collecte de données : Un ensemble de traces off-policy ( $D_{off}$ ) est collecté, généralement via un échantillonnage par rejet à grande échelle sur le modèle de base jusqu'à ce qu'une trace correcte soit trouvée pour chaque problème.
Augmentation du problème : Pour chaque problème original $x$ , le système extrait un préfixe (les $h$ premiers tokens) d'une trace off-policy correcte $y_x$ . Ce préfixe est ajouté au prompt du problème original pour créer un problème préfixé : $\text{concat}(x, y_{x, 1:h})$ .
Objectif d'entraînement : Le modèle est entraîné via un RL on-policy sur un mélange de :
- Problèmes originaux (sans préfixe).
- Problèmes préfixés.
- Crucialement : Les gradients sont masqués sur les tokens du préfixe off-policy. Le modèle n'est mis à jour que sur les tokens qu'il génère après le préfixe.

Garanties théoriques

Le papier fournit des preuves théoriques concernant l'objectif PrefixRL :

Consistance : Si les préfixes off-policy sont corrects et réalisables par une politique au sein de la classe de modèles, tout maximiseur de l'objectif PrefixRL est également un maximiseur de l'objectif de RL standard. La méthode n'introduit pas de biais dans la solution optimale.
Efficacité d'échantillonnage : PrefixRL réduit l'écart de sous-optimalité par rapport au RL standard. En plaçant la politique dans des états à plus haute récompense (des états où une solution correcte est déjà partiellement formée), il réduit la charge d'exploration. Les limites théoriques suggèrent une réduction du nombre d'échantillons on-policy requis, avec une mise à l'échelle favorable à la longueur du contexte.

Phénomène clé : Back-Generalization (Généralisation inverse)

Empiriquement, les auteurs découvrent la back-generalization : l'entraînement uniquement sur des problèmes préfixés booste significativement la performance sur les problèmes originaux non préfixés, même si le modèle n'a jamais été explicitement entraîné sur les versions non préfixées durant cette phase.

Mécanisme : Le modèle ne se contente pas d'imiter le préfixe. Au lieu de cela, il apprend des stratégies qui se généralisent à l'état non préfixé.
Découverte de stratégie : Le modèle peut désapprendre les stratégies sous-optimales présentes dans le préfixe et découvrir de nouvelles, meilleures stratégies. Il modifie la distribution du prochain token sur des états non vus, effectuant ainsi un « retour en arrière » (backtracking) à partir des états à haute récompense fournis par le préfixe pour trouver de meilleurs chemins dans l'espace non préfixé.
Relationnalité : La back-generalization est plus efficace lorsque le préfixe (ou le problème contextuel) est sémantiquement lié au problème cible.

3. Contributions clés

Cadre PrefixRL : Une nouvelle méthode pour recycler les FLOPs off-policy en se conditionnant sur des préfixes corrects, évitant les instabilités du RL off-policy direct ou l'effondrement de l'entropie induit par le SFT.
Analyse théorique : Preuve que PrefixRL est cohérent avec les objectifs de RL standard et offre des gains d'efficacité d'échantillonnage prouvables en réduant la charge d'exploration.
Découverte de la Back-Generalization : Identification d'un phénomène où le conditionnement sur des préfixes peut mener à une performance supérieure sur des tâches non préfixées, dépassant souvent la généralisation simple sur des tâches liées.
Boucle d'auto-amélioration : Démonstration d'un pipeline pratique où les traces off-policy sont générées via l'échantillonnage par rejet à partir du modèle de base lui-même, créant un cycle d'auto-amélioration sans modèles enseignants externes.

4. Résultats expérimentaux

Les auteurs ont évalué PrefixRL sur des benchmarks de raisonnement mathématique difficiles (DAPO, OMNI-MATH, AIME '25, HMT '25) en utilisant des modèles Llama-3.1-8B et Qwen-3-4B.

Efficacité de calcul : PrefixRL atteint la même récompense d'entraînement 2× plus vite que la meilleure ligne de base (SFT sur données off-policy suivi de RL), même après avoir pris en compte le coût de calcul de l'échantillonnage par rejet initial.
Gains de précision :
- Sur les problèmes d'entraînement difficiles, PrefixRL augmente la précision finale de >45 % (plus de 3× par rapport à la ligne de base).
- Sur des benchmarks hors échantillon comme AIME '25, PrefixRL améliore le pass@1 de 12 % par rapport à la meilleure ligne de base dans une comparaison à calcul équivalent.
Robustesse de la source : La méthode reste efficace même lorsque les préfixes off-policy proviennent d'une famille de modèles différente (ex: utiliser des préfixes Qwen pour entraîner une politique Llama), démontrant une grande flexibilité en conditions réelles.
Dynamique d'entraînement :
- Stabilité : Contra \à le SFT+RL, PrefixRL préserve l'entropie au niveau du token, évitant l'effondrement de l'exploration.
- Qualité du gradient : PrefixRL présente des normes de gradient plus élevées et une variance plus faible par rapport au RL off-policy standard (qui souffre de poids d'importance à haute variance).
- Efficacité : Le modèle génère des réponses plus courtes en moyenne, indiquant qu'il atteint les étapes décisives plus tôt et réduit les « errances improductives ».

5. Signification et affirmations

Les auteurs affirment que PrefixRL change fondamentalement l'approche de la mise à l'échelle du RL sur les problèmes difficiles. Au lieu de considérer les données off-policy comme une cible d'imitation (ce qui mène à l'instabilité ou à l'effondrement) ou de les rejeter comme du bruit, PrefixRL les traite comme un mécanisme de conditionnement pour guider l'exploration.

La signification réside dans :

Réutilisation des FLOPs : Elle transforme le calcul précédemment gaspillé (tentatives échouées qui ont finalement produit une trace correcte via l'échantillonnage par rejet) en un signal direct pour l'apprentissage.
Résolution du régime des « problèmes difficiles » : Elle permet l'entraînement par RL sur des problèmes où les rollouts on-policy échouent presque systématiquement, un régime où le RL standard stagne.
Back-Generalization : La découverte que le conditionnement sur des préfixes peut mener à une performance supérieure sur des tâches non préfixées suggère un mécanisme puissant pour exploiter le calcul antérieur qui va au-delà de la simple généralisation, pouvant potentiellement remodeler la façon dont les futurs algorithmes de RL intègrent les données historiques.

Les auteurs concluent que l'exploitation de la back-generalization est un ingrédient crucial pour amorcer le calcul préalable et permettre l'auto-amélioration continue dans les LLM de raisonnement.