🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Cet article remet en question la pratique standard consistant à n'appliquer l'apprentissage par renforcement (RL) qu'après l'ajustement fin supervisé (SFT) en démontrant que l'intégration du RL plus tôt dans le pré-entraînement, l'optimisation de la composition des données et la fusion du RL avec les objectifs de SFT peuvent améliorer efficacement les capacités de raisonnement et élargir les distributions du modèle tout en préservant les capacités générales.

Auteurs originaux : Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un étudiant brillant mais novice (le modèle d'IA) pour résoudre des problèmes mathématiques. Pendant des années, la recette standard comprenait trois étapes :

Pré-entraînement : L'étudiant lit des millions de livres pour apprendre le langage général et les faits.
SFT (Ajustement Supervisé) : Un enseignant donne à l'étudiant un manuel avec des problèmes et leurs réponses exactes, le forçant à mémoriser le chemin de résolution.
RL (Apprentissage par Renforcement) : L'étudiant est placé dans un jeu où il reçoit des points uniquement s'il trouve la réponse finale, l'encourageant à découvrir de nouvelles façons de résoudre les problèmes par lui-même.

Cette étude pose la question suivante : Devons-nous vraiment attendre que l'étudiant ait fini de lire tous les livres et mémorisé le manuel avant de le laisser jouer au jeu ?

Voici ce que les chercheurs ont découvert, expliqué simplement :

1. On peut commencer le jeu plus tôt

La règle habituelle dit : « Attendez que l'étudiant soit pleinement formé avant de lui donner le jeu. » Les chercheurs ont essayé de donner le jeu (RL) à l'étudiant alors qu'il en était encore à la lecture de ses premiers chapitres (au début du pré-entraînement).

Le résultat : Cela a fonctionné de manière surprenante ! Même quand l'étudiant n'avait lu qu'une infime fraction des livres, jouer au jeu l'aidait à résoudre les problèmes mathématiques bien mieux que la simple lecture de plus de livres. En fait, jouer au jeu tôt était souvent aussi efficace que d'attendre la fin et de suivre toute la routine « Lire → Mémoriser → Jouer ».

2. Le « Jeu » est meilleur quand on n'a pas de manuel

Habituellement, l'étape de « Mémorisation » (SFT) nécessite un manuel avec les bonnes réponses. Mais et si vous n'avez pas assez de manuels ?

La découverte : Si vous n'avez qu'un ou deux exemples de la façon de résoudre un problème, l'étape de « Mémorisation » (SFT) échoue. Mais le « Jeu » (RL) prospère. L'étudiant apprend à explorer et à trouver des solutions par lui-même sans avoir besoin d'un corrigé parfait. Le jeu est un bien meilleur professeur lorsque vous manquez d'exemples.

3. Le ingrédient secret est le type de livres, pas la taille de l'étudiant

Les gens pensent souvent : « Si l'étudiant est plus grand (plus puissant), il apprendra mieux. » Les chercheurs ont testé cela en rendant l'étudiant plus grand.

Le rebondissement : Rendre l'étudiant plus grand n'a pas aidé à apprendre le jeu plus rapidement. Cependant, lui donner plus de livres de mathématiques spécifiquement pendant sa phase de lecture initiale l'a fait.
La leçon : Si vous voulez que l'étudiant soit bon en mathématiques, nourrissez-le d'histoires mathématiques tôt. Le contenu de ce qu'il lit importe plus que la taille de son cerveau.

4. Le mythe de l'« Affûtage » vs l'« Expansion »

Il existe un débat récent : Le « Jeu » (RL) ne fait-il qu'affûter les réponses existantes de l'étudiant pour les rendre plus précises et confiantes, ou lui apprend-il réellement de nouvelles façons de réfléchir ?

La vue ancienne : Beaucoup pensaient que le RL ne faisait qu'« affûter » l'étudiant, le rendant plus confiant mais pas nécessairement plus intelligent.
La nouvelle découverte : Les chercheurs ont découvert que l'effet d'« affûtage » provient en réalité de l'étape de « Mémorisation » (SFT). Lorsque vous forcez un étudiant à mémoriser un manuel d'abord, il cesse d'explorer.
La vraie magie : Si vous laissez l'étudiant jouer au jeu directement sans mémoriser le manuel au préalable, il étend réellement sa pensée. Il essaie de nombreux chemins différents et découvre de nouvelles solutions qu'il ne connaissait pas auparavant. L'étape de « Mémorisation » est ce qui limite sa créativité, et non le jeu lui-même.

5. La recette de l'« Étudiant Suprême »

Les chercheurs ont combiné le meilleur des deux mondes. Au lieu de faire « Mémoriser » puis « Jouer », ils ont fait faire les deux à l'étudiant en même temps.

Comment ça marche : Imaginez l'étudiant en train de résoudre un problème. Une partie de son cerveau vérifie le manuel (SFT), et une autre partie expérimente de nouvelles idées (RL). Ils font la moyenne des conseils de ces deux parties pour mettre à jour leur cerveau.
Le résultat : Cet « Étudiant Suprême » (Moyenne Parallèle) est devenu le meilleur pour résoudre les problèmes. Il obtient les bonnes réponses plus souvent que n'importe qui d'autre, et contrairement aux étudiants qui ont simplement mémorisé le manuel, il n'oublie pas comment faire d'autres choses (comme la conversation générale).

Résumé des points clés

N'attendez pas : Vous pouvez utiliser l'Apprentissage par Renforcement (le jeu) très tôt dans la vie d'un modèle, même avant qu'il n'ait terminé sa phase de « lecture ».
Les données comptent plus que la taille : Nourrir le modèle avec des types de données spécifiques (comme les mathématiques) pendant le pré-entraînement est plus important que de simplement agrandir le modèle.
Le RL n'est pas le méchant : Le RL ne gâche pas les compétences générales d'un modèle et ne fait pas que l'« affûter ». Ces effets négatifs proviennent de l'étape de « Mémorisation » (SFT). Le RL aide réellement les modèles à explorer et à trouver de nouvelles solutions.
Faites-le ensemble : Les meilleurs résultats proviennent du mélange des étapes de « Mémorisation » et de « Jeu » simultanément, plutôt que de les faire l'une après l'autre.

En bref, l'étude suggère que nous devrions cesser de traiter l'Apprentissage par Renforcement comme une simple touche finale à la fin du processus. Au lieu de cela, nous devrions l'intégrer beaucoup plus tôt dans le processus d'entraînement et le mélanger à d'autres méthodes pour obtenir des modèles plus intelligents et plus capables.

Résumé Technique : Excursions de l'Apprentissage par Renforcement (RL) durant le Pré-entraînement

Problématique

Le pipeline d'entraînement standard pour les Grands Modèles de Langage (LLM) restreint généralement l'apprentissage par renforcement (RL) à la phase de post-entraînement, appliquée uniquement après un extensif pré-entraînement par prédiction du prochain jeton (NTP) et un ajustement fin supervisé (SFT). Cette approche séquentielle soulève deux questions fondamentales :

Le Timing : Est-il fondamentalement nécessaire d'attendre la fin du pré-entraînement pour appliquer le RL, ou le RL peut-il être efficace plus tôt ?
Le Mécanisme : Le RL a-t-il intrinsèquement pour effet d'« affûter » la distribution de sortie existante d'un modèle (limitant l'exploration), ou étend-il ses capacités ? La littérature récente suggère que le RL affine principalement les distributions, mais il n'est pas clair si cela est un artefact du pipeline standard SFT $\to$ RL plutôt qu'une propriété de l'objectif de RL lui-même.

De plus, un débat existe quant à savoir si le RL érode les capacités générales héritées du pré-entraînement.

Méthodologie

Les auteurs mènent une étude contrôlée à grande échelle pour isoler les effets du RL du régime de pré-entraînement standard.

Modèle et Données : Ils pré-entraînent un modèle de 1 milliard de paramètres (basé sur l'architecture OLMo2) à partir de zéro sur un corpus de haute qualité et riche en raisonnement (mélange DOLMino, 50 milliards de jetons). Ils expérimentent également avec un modèle de 4 milliards et un modèle de 1 milliard entraîné sur 60 milliards de jetons (avec des données mathématiques supplémentaires).
Checkpoints : Au lieu d'attendre le modèle final, ils sauvegardent des checkpoints tout au long du processus de pré-entraînement (de 4 à 50 milliards de jetons).
Pipelines d'Entraînement : Pour chaque checkpoint $M_t$ $M_{t}$ , ils appliquent quatre stratégies de post-entraînement distinctes :
1. RL Direct ( $M^R_t$ ) : Appliquer le RL (spécifiquement GRPO avec des récompenses vérifiables) directement au checkpoint de base sans SFT préalable.
2. SFT ( $M^{SFT}_t$ ) : Ajustement fin supervisé utilisant une solution de vérité terrain unique par problème.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ) : SFT utilisant toutes les solutions de vérité terrain disponibles par problème (un réglage souvent peu pratique dans la réalité).
4. Pipeline Standard ( $M^{SFT \to RL}_t$ ) : SFT suivi de RL, représentant le standard actuel de l'industrie.
5. Moyennage Parallèle ( $M^{Parallel}_t$ ) : Une méthode proposée où les gradients du RL et du SFT sont calculés en parallèle à partir du même instantané de paramètres et moyennés pour mettre à jour les poids.
Évaluation : La performance est mesurée sur GSM8K (niveau primaire) et MATH (niveau compétition) en utilisant des métriques pass@k ( $k=1, 8, 32$ ). Les capacités générales sont évaluées sur six benchmarks non mathématiques (ex: LAMBADA, HellaSwag).

Contributions Clés et Résultats

1. Le RL est efficace tôt dans le pré-entraînement

Contrairement à l'hypothèse selon laquelle le RL nécessite un modèle de base hautement capable, les auteurs constatent que le RL est efficace de manière surprenante très tôt.

Gains Précoces : Le RL direct améliore les performances sur GSM8K dès 4 milliards de jetons de pré-entraînement, bien avant le nombre de jetons optimal selon Chinchilla.
Compétitivité : À 10 milliards de jetons, le RL direct égale la performance du pipeline standard SFT $\to$ RL sur pass@1 et pass@32, bien qu'il n'ait jamais vu de traces de raisonnement de vérité terrain.
Rareté des Données : Lorsque les démonstrations de vérité terrain sont rares (une seule solution par prompt), le RL surpasse significativement le SFT. Le SFT ne surpasse le RL que lorsqu'il est fourni de multiples solutions de haute qualité (SFT-Gold), une condition rarement rencontrée en pratique.

2. La Composition des Données de Pré-entraînement > Échelle du Modèle

Pour les tâches de raisonnement plus difficiles (jeu de données MATH), l'efficacité du RL dépend davantage de la composition des données de pré-entraînement que de l'échelle du modèle.

Scaling des Données : L'ajout de données ciblées et riches en mathématiques au mélange de pré-entraînement (passant de 50 à 60 milliards de jetons) booste significativement les gains réalisables par le RL direct.
Scaling du Modèle : Augmenter la taille du modèle de 1 à 4 milliards améliore la performance absolue du modèle de base, mais n'améliore pas substantiellement le gain relatif fourni par le RL.
Diagnostic : La précision pass@k du modèle de base sur l'ensemble de test sert de prédicteur léger pour déterminer si l'entraînement par RL produira des gains en aval.

3. Le RL Étend vs Affûte les Distributions

L'article conteste l'affirmation selon laquelle le RL affûte intrinsèquement les distributions.

Expansion : Appliqué directement aux checkpoints de base, le RL étend la distribution du modèle, améliorant à la fois le pass@1 et le pass@32. Le modèle découvre de nouveaux chemins de raisonnement grâce à l'apprentissage on-policy.
Artefact d'Affûtage : L'effet d'« affûtage » (amélioration du pass@1 mais dégradation du pass@32) observé dans les travaux récents ne survient que lorsque le RL suit le SFT. Les auteurs supposent que le SFT contraint l'exploration en exposant le modèle à des solutions de vérité terrain, ce qui fait que le RL ultérieur se contente de raffiner les chemins existants plutôt que d'en découvrir de nouveaux.

4. Préservation des Capacités Générales

Dégradation par le SFT : Le SFT dégrade systématiquement les capacités générales (non mathématiques) de 4 à 8 points de pourcentage sur les benchmarks.
Préservation par le RL : Le RL direct laisse les capacités générales essentiellement inchangées.
Moyennage Parallèle : La méthode de moyennage parallèle proposée ( $M^{Parallel}_t$ ) combine les forces des deux : elle obtient les scores pass@32 les plus élevés (surpassant le pipeline standard) tout en préservant les capacités générales, évitant la régression observée dans les régimes basés sur le SFT.

Signification

L'article soutient que beaucoup d'hypothèses concernant le RL (ex: il nécessite un modèle de base mature, il affûte intrinsèquement les distributions, ou il érode les capacités générales) sont des artefacts du régime d'entraînement actuel SFT $\to$ RL plutôt que des propriétés inhérentes à l'objectif de RL.

Les auteurs concluent que :

Faisabilité : Introduire le RL plus tôt dans le pipeline d'entraînement est faisable et souvent préférable.
Leviers de Données : La composition ciblée des données de pré-entraînement est un levier plus puissant pour l'efficacité du RL que le passage à l'échelle du modèle.
Synergie des Objectifs : Les objectifs de RL et de SFT sont complémentaires. L'approche de moyennage parallèle démontre que les combiner peut produire des capacités de raisonnement supérieures (pass@32) sans sacrifier l'intelligence générale.

Ce travail suggère un changement de paradigme où le RL est traité comme un objectif d'entraînement de premier rang, intégré tout au long du processus de pré-entraînement et de fine-tuning, plutôt que comme une étape finale de post-entraînement.