🤖 AI

Cross-Epoch Adaptive Rollout Optimization for RL Post-Training

Auteurs originaux : Yiming Zong, Yige Wang, Jiashuo Jiang

Publié 2026-06-05

📖 4 min de lecture☕ Lecture pause café

Auteurs originaux : Yiming Zong, Yige Wang, Jiashuo Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant essayant d'aider une classe d'élèves (un grand modèle de langage) à apprendre à résoudre des problèmes mathématiques difficiles. Vous disposez d'un temps de classe limité (le « budget de déploiement ») pour travailler sur une immense liste de questions d'entraînement.

L'ancienne méthode : l'approche « taille unique »

Dans la méthode standard (appelée GRPO), l'enseignant traite chaque élève et chaque question exactement de la même manière. Peu importe si une question est incroyablement facile, impossiblement difficile ou juste équilibrée, l'enseignant consacre exactement le même temps à chacune.

Le problème : Si un élève connaît déjà la réponse à une question, y passer plus de temps est un gaspillage. Si une question est si difficile que l'élève est complètement perdu, y passer plus de temps est également frustrant et inutile. L'enseignant perd un temps précieux sur des questions qui n'apprennent rien de nouveau, laissant moins de temps pour les questions qui pourraient réellement aider l'élève à progresser.

La nouvelle méthode : CERO (Le « tuteur intelligent »)

L'article présente une nouvelle méthode appelée CERO. Considérez CERO comme un tuteur adaptatif et intelligent qui observe attentivement les élèves et décide dynamiquement où consacrer le temps de classe restant.

Voici comment fonctionne CERO, en utilisant des analogies simples :

1. Le « compteur de confiance » (Bêta Posterior)
Pour chaque question, CERO maintient un « compteur de confiance » mental. Il ne se contente pas de deviner si l'élève réussira ; il suit l'incertitude.

Si l'élève réussit à chaque fois, le compteur dit : « Nous connaissons celle-ci. Arrêtons de perdre du temps. »
Si l'élève échoue à chaque fois, le compteur dit : « C'est trop difficile pour l'instant. Passons à autre chose. »
Si l'élève réussit la moitié du temps et échoue l'autre moitié, le compteur dit : « C'est le point idéal ! Nous ne connaissons pas encore la réponse, mais nous sommes proches. Consacrons plus de temps ici ! »

2. La règle des « rendements décroissants »
CERO sait que les premières tentatives sur une question complexe sont très précieuses. Mais si vous posez la même question encore et encore, la valeur de chaque nouvelle tentative diminue (comme manger une part de gâteau délicieux : la première part est incroyable, la dixième sert juste à remplir l'estomac). CERO utilise une règle mathématique pour s'assurer qu'il ne reste pas bloqué sur une seule question indéfiniment.

3. Le « budget global » (L'astuce de la dualité de Fenchel)
L'enseignant a une limite stricte de temps de classe total. CERO utilise une astuce mathématique ingénieuse (appelée « reformulation de la dualité de Fenchel ») pour agir comme un système de prix dynamique.

Imaginez que chaque question possède un « prix » basé sur ce qu'elle peut enseigner à l'élève.
Le « Budget Global » agit comme le portefeuille de l'enseignant.
Si l'enseignant dépense son temps trop rapidement, le « prix » des nouvelles questions augmente, le rendant plus sélectif.
Si l'enseignant a du temps à perdre, le « prix » baisse, permettant de tester plus de questions.
Cela garantit que l'enseignant ne manque jamais de temps avant la fin du cours, tout en choisissant toujours les questions les plus pertinentes.

Les résultats

Les chercheurs ont testé cela sur plusieurs modèles d'IA différents en utilisant des problèmes mathématiques.

Le résultat : CERO a systématiquement permis à l'IA de mieux apprendre que la méthode standard.
Pourquoi ? Parce que CERO a cessé de perdre du temps sur des questions que l'IA connaissait déjà ou qu'elle ne pouvait pas encore résoudre. Au lieu de cela, il s'est concentré sur les questions « Goldilocks » (juste ce qu'il faut) — celles qui étaient juste assez difficiles pour être utiles, mais pas impossibles.
Efficacité : L'IA a appris plus rapidement et a obtenu de meilleurs scores dans des compétitions mathématiques (comme l'AIME et l'AMC) sans nécessiter de puissance de calcul supplémentaire ou de modification de la manière fondamentale dont l'IA apprend.

En résumé

CERO est comme un entraîneur intelligent qui arrête de gaspiller le temps d'entraînement sur des exercices que l'athlète a déjà maîtrisés ou qu'il ne peut pas encore réaliser. Au lieu de cela, il se concentre sur le temps d'entraînement limité et sur les exercices spécifiques qui pousseront le plus la performance de l'athlète, garantissant ainsi que chaque minute de pratique compte.

Résumé Technique : Optimisation de la Rollout Adaptative Inter-Époques pour le Post-Entraînement par RL (CERO)

1. Formulation du Problème

Le post-entraînement des Grands Modèles de Langage (LLM) via l'Apprentissage par Renforcement (RL), particulièrement avec des algorithmes comme GRPO, repose généralement sur l'échantillonnage d'un nombre fixe de rollouts (itérations de génération) par prompt. Cette stratégie d'allocation uniforme ignore l'hétérogénéité des signaux d'entraînement fournis par les différents prompts. Certains prompts sont triviaux (produisant un succès ou un échec constant avec une faible variance), tandis que d'autres sont trop difficiles ou déjà maîtrisés, offrant des rendements marginaux décroissants. Par conséquent, une partie significative du budget global de rollout est gaspillée sur des prompts ayant une valeur d'apprentissage limitée.

Le papier formule cela comme un problème d'allocation de ressources en ligne inter-époques sous un budget global fixe $B$ . Contrairement aux méthodes antérieures qui effectuent une réallocation au sein d'un batch ou un filtrage post-génération, ce travail traite de l'allocation des rollouts à travers les prompts et les époques d'entraînement. L'objectif est de maximiser l'utilité cumulative des échantillons collectés, où l'utilité est soumise à des rendements décroissants au niveau du prompt. Le problème est mathématiquement défini par la maximisation de la somme des fonctions d'utilité spécifiques aux prompts $U_i(\sum_k N_{i,k})$ sous la contrainte de budget global $\sum_{i,k} N_{i,k} \le B$ , où $N_{i,k}$ est le nombre de rollouts assignés au prompt $i$ à l'époque $k$ .

2. Méthodologie : CERO

Les auteurs proposent CERO (Cross-Epoch Adaptive Rollout Optimization), un algorithme bayésien primal-dual en ligne conçu pour allouer de manière adaptative les rollouts en fonction de l'informativité estimée des prompts.

2.1 Informativité et Conception de l'Utilité

Modélisation de la Postérior Beta : Pour chaque prompt $x_i$ , CERO maintient une distribution postérior Beta sur sa probabilité de succès latente $p_i$ , mise à jour sur la base de l'historique des rollouts $H_i^k$ .
Score d'Informativité ( $q_{k,i}$ ) : Au lieu d'utiliser une estimation ponctuelle de la probabilité de succès, CERO estime la variance de Bernoulli attendue : $q_{k,i} = E[p_i(1-p_i) | H_i^k]$ . Ce score est maximisé lorsque $p_i \approx 0.5$ (difficulté intermédiaire) et s'annule pour les prompts faciles ( $p_i \approx 1$ ) ou difficiles ( $p_i \approx 0$ ), identifiant ainsi efficacement les prompts qui offrent les signaux d'apprentissage les plus incertains et donc les plus informatifs.
Fonction d'Utilité : Une fonction d'utilité concave et saturante est définie par $U_i(n) = 1 - \exp(-\eta q_i n)$ , où $n$ est le nombre cumulé de rollouts. Cela capture les rendements décroissants : les premiers rollouts sur un prompt informatif sont très précieux, mais la valeur marginale diminue à mesure que davantage d'échantillons sont collectés.

2.2 Optimisation via la Reformulation Fenchel-Dual

Le couplage temporel de la fonction d'utilité (qui dépend des allocations cumulées) rend l'optimisation directe en ligne difficile. CERO traite cela via une reformulation Fenchel-duale :

Le problème est transformé en un objectif dual impliquant des variables duales par prompt $\theta_i$ et un multiplicateur de budget global $\mu$ .
Cette reformulation décompose le problème temporellement couplé en sous-problèmes d'allocation par époque, coordonnés par les variables duales.

2.3 Algorithme Primal-Dual en Ligne

CERO fonctionne comme une couche "drop-in" au-dessus des pipelines de RL existants (ex: GRPO) :

Décision d'Allocation : À chaque époque, pour chaque prompt, l'algorithme résout un sous-problème linéaire. Un prompt reçoit le nombre maximum de rollouts autorisés ( $N_{max}$ ) si sa valeur marginale estimée (variable duale $\theta_i$ ) dépasse le prix actuel du budget global ( $\mu$ ) ; sinon, il reçoit zéro.
Mise à jour par Feedback : Après la génération des réponses et l'observation des récompenses, la postérior Beta du prompt est mise à jour, et le score d'informativité $q_{k,i}$ est rafraîchi.
Mises à jour des Variables Duales :
- Au niveau du prompt ( $\theta$ ) : Mise à jour via la descente de gradient en ligne projetée pour équilibrer les rollouts alloués par rapport à l'utilité impliquée par l'estimation actuelle de l'informativité.
- Au niveau du budget ( $\mu$ ) : Mise à jour basée sur l'écart entre la consommation réelle de rollouts et le taux de budget cible. Si la consommation dépasse le taux, $\mu$ augmente, rendant l'allocation future plus sélective ; si elle est inférieure, $\mu$ diminue.

3. Principales Contributions

Formulation du Problème : Le papier est le premier à formuler l'allocation de rollout du post-entraînement RL des LLM comme un problème d'optimisation en ligne à budget fixe inter-époques avec des rendements décroissants spécifiques aux prompts, couplant explicitement les décisions à travers l'horizon d'entraînement via un budget global partagé.
Conception de l'Algorithme : Il introduit CERO, un algorithme bayésien primal-dual qui utilise des estimations postérieures de la valeur de rollout par prompt pour guider le budget. Il utilise la variance de Bernoulli postériore attendue comme proxy de la capacité d'apprentissage et emploie une reformulation Fenchel-duale pour gérer la non-séparabilité temporelle.
Validation Théorique et Empirique :
- Théorie : Sous l'hypothèse d'utilités de prompts fixes, les auteurs prouvent une borne de regret en $O(\sqrt{K})$ par rapport à un benchmark d'allocation hors ligne, où $K$ est le nombre d'époques.
- Expériences : Des expériences approfondies sur des tâches de raisonnement mathématique (AIME, AMC) sur quatre LLM en open-weights (allant de 1.5B à 7B de paramètres) démontrent que CERO surpasse systématiquement le GRPO vanilla.

4. Résultats Expérimentaux

Les auteurs ont évalué CERO sur le dataset DAPO-Math-17K en utilisant DeepSeek-R1-Distill-1.5B, Qwen3-4B (Base et Instruct) et Qwen2.5-Math-7B.

Performance : CERO a obtenu des améliorations constantes par rapport au GRPO vanilla sur tous les modèles et benchmarks. Les gains moyens varient de +1.53 à +6.04 points selon le modèle.
Analyse d'Efficacité : Le "Ratio de Prompt Effectif" (la fraction de prompts dans un batch contenant à la fois des réponses réussies et échouées, générant des gradients non nuls) est nettement plus élevé pour CERO que pour GRPO.
- Dans le baseline GRPO, le ratio de prompt effectif chute brutalement au fil de l'entraînement, indiquant que le modèle a maîtrisé de nombreux prompts, menant à des groupes de rollouts dégénérés.
- CERO maintient un ratio de prompt effectif plus élevé en détournant l'allocation de manière adaptative des prompts maîtrisés vers ceux ayant une plus grande incertitude.
Surcoût (Overhead) : Le mécanisme de mise à jour de l'allocation introduit un surcoût de calcul négligeable (moins d'une seconde par mise à jour).

5. Signification et Revendications

Le papier affirme qu'une allocation adaptative du budget de rollout est une direction fondée et efficace pour améliorer l'efficacité de l'échantillonnage lors du post-entraînement par RL. En s'éloignant d'une allocation uniforme, CERO garantit que le budget de génération fixe est dépensé sur les prompts qui fournissent les signaux d'apprentissage les plus informatifs.

Les auteurs positionnent CERO comme une couche de collecte de données adaptative "drop-in" qui modifie quels prompts reçoivent des rollouts et combien, sans altérer l'objectif de politique-gradient sous-jacent. Ce travail souligne que l'inefficacité de l'actuel post-entraînement par RL provient non seulement de la règle de mise à jour de la politique, mais aussi de la stratégie de collecte de données sous-optimale.

Limites notées par les auteurs :

La garantie théorique de regret suppose des utilités de prompts fixes, alors que l'implémentation utilise des estimations postériores dynamiques par époque. Ainsi, l'analyse ne capture pas pleinement la non-stationnarité induite par les mises à jour de la politique et les rafraîchissements de la postérior.
La validation empirique est actuellement limitée aux tâches de raisonnement mathématique ; une validation plus large sur d'autres domaines et modèles de récompense est suggérée comme travail futur.