Résumé Technique : Replay d'Expérience Priorisé par l'Avantage au Niveau des Rollouts pour GRPO

Énoncé du Problème

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) utilisant l'optimisation de politique relative au groupe (GRPO) est devenu la norme pour le post-entraînement du raisonnement des grands modèles de langage (LLM). Cependant, GRPO est intrinsèquement inefficace en termes d'échantillonnage. Dans le cadre on-policy standard, un groupe de rollouts candidats est généré pour chaque prompt, utilisé pour une mise à jour de gradient unique, puis jeté. Cela est particulièrement coûteux pour les rollouts qui portent un signal d'apprentissage fort, comme les réponses correctes rares au sein d'un groupe de réponses incorrectes.

L'expérience de replay (ER) est une technique courante pour améliorer l'efficacité de l'échantillonnage dans d'autres domaines de l'apprentissage par renforcement, mais elle ne se transfère pas directement à GRPO pour deux raisons principales :

1. Dérive Rapide de la Politique : Les politiques de LLM changent considérablement par étape de gradient. Les rollouts stockés deviennent rapidement « obsolètes » et leur utilisation sans contrôle peut déstabiliser l'entraînement.
2. Granularité au Niveau du Groupe : GRPO agrège les signaux d'apprentissage par rollout en une valeur unique par requête. Les schémas de replay naïfs qui stockent et échantillonnent des groupes entiers (niveau requête) échouent à isoler les rollouts spécifiques à haut signal au sein d'un groupe, lesquels sont les moteurs de l'apprentissage.

Les tentatives existantes pour appliquer le replay à GRPO souffrent souvent d'une obsolescence non bornée ou reposent sur des signaux de priorité au niveau de la requête (ex. : variance du groupe) qui ne peuvent pas résoudre le cas des rollouts minoritaires au sein du groupe, là où résident les gradients les plus informatifs.

Méthodologie

Les auteurs proposent un tampon de Replay d'Expérience Priorisé par l'Avantage au Niveau des Rollouts spécifiquement conçu pour GRPO. La méthode intègre trois composantes clés pour traiter l'obsolescence et l'isolation du signal :

1. Éviction par Âge (Contrôle de l'Obsolescence)

Pour limiter le décalage de la politique dû à la réutilisation des données, le tampon utilise une éviction par âge. Chaque rollout stocké est marqué d'une « étape de naissance » ($t_b$). À n'importe quelle étape d'entraînement $t$, l'âge d'un rollout est $t - t_b$. Tout rollout plus ancien qu'un seuil maximum $\tau_{max}$ est évincé.

• Contrairement à l'éviction basée sur la capacité, qui varie selon l'échelle du modèle et la difficulté des données, l'éviction par âge fournit une limite de l'obsolescence au niveau de l'étape, invariante à la taille du modèle.
• Cela garantit qu'aucune mise à jour ne réutilise un rollout au-delà d'un nombre fixe d'étapes d'entraînement, atténuant le risque d'entraînement sur des données significativement hors-politique (off-policy).

2. Composition Ancrée sur le Frais (Fresh-Anchored Composition)

Les auteurs rejettent la « composition de pool » standard (où les données fraîches et rejouées sont mélangées dans un seul batch) au profit d'une composition ancrée sur le frais.

• À chaque étape d'entraînement, l'ensemble du batch de rollouts frais et on-policy est conservé.
• Un ensemble distinct de rollouts de replay est échantillonné depuis le tampon et concaténé au batch frais.
• Cela garantit que chaque mise à jour de gradient inclut un « ancrage frais », limitant le décalage de politique maximal indépendamment de la partie replay. Ceci est crucial aux échelles de modèles plus importantes où le mélange de données obsolètes avec des données fraîches dans un pool unique a été observé comme dégradant les performances sous le niveau de GRPO standard.

3. Priorité $|A_i|$ au Niveau du Rollout

Au lieu d'échantillonner des groupes entiers (niveau requête), le tampon stocke et échantillonne des rollouts individuels.

• Signal de Priorité : La priorité pour l'échantillonnage est la magnitude de l'avantage absolu $|A_i|$ du rollout individuel. Dans GRPO, $A_i$ est l'avantage relatif au groupe. Les rollouts avec un $|A_i|$ élevé (typiquement la minorité dans les groupes asymétriques, ex. : la seule réponse correcte dans un groupe de réponses fausses) fournissent l'essentiel du signal d'apprentissage.
• Mécanisme : En échantillonnant au niveau du rollout, la méthode peut recycler sélectivement ces rollouts minoritaires à haut signal qui sont souvent jetés après un seul passage dans le GRPO standard. Cela contraste avec les signaux au niveau de la requête comme la variance du groupe ($\sigma_g$), qui traitent tous les rollouts d'un groupe de la même manière et échouent à prioriser les instances minoritaires spécifiques.

La procédure d'entraînement (Algorithme 1) implique la génération de rollouts frais, le filtrage des groupes à variance nulle, l'échantillonnage de rollouts de replay basés sur la priorité $|A_i|$ à partir du tampon avec limitation d'âge, et l'exécution d'une mise à jour GRPO sur le batch concaténé.

Contributions Clés

1. Nouvelle Architecture de Replay : Le papier introduit un tampon de replay spécifique à GRPO combinant éviction par âge, composition ancrée sur le frais et priorité $|A_i|$ au niveau du rollout.
2. Supériorité Empirique : La méthode surpasse le GRPO standard et les bases de comparaison de replay naïves (priorité uniforme et $\sigma_g$ avec composition de pool) sur trois échelles de modèles (0,6B, 1,7B et 4B) sur cinq benchmarks de raisonnement mathématique.
3. Gains d'Échelle : Les gains de performance augmentent avec la taille du modèle. L'amélioration la plus importante est observée à l'échelle 4B, avec une augmentation de +4,35 points de pourcentage (pp) sur la moyenne des cinq benchmarks par rapport à GRPO.
4. Analyse d'Efficacité : En utilisant le score d'Efficacité-Précision (AES), qui mesure conjointement la précision et la longueur de génération de tokens, la méthode montre une marge d'efficacité significative par rapport à GRPO, particulièrement à l'échelle 4B (+0,579 AES).
5. Études d'Ablation : Des ablations par axe valident que chaque composante est nécessaire :
   • Éviction par Âge : Un plafond modéré ($\tau_{max}=10$) équilibre le volume de replay et l'obsolescence ; des plafonds plus élevés entraînent des baisses de performance dues au décalage de la politique.
   • Composition : La composition ancrée sur le frais est essentielle à grande échelle ; la composition de pool fait chuter le modèle 4B en dessous du niveau de GRPO standard.
   • Priorité : La priorité $|A_i|$ au niveau du rollout surpasse significativement les signaux au niveau de la requête ($\sigma_g$ ou uniforme), améliorant particulièrement le pass@k (diversité d'échantillonnage).

Résultats

• Précision : Sur la moyenne des cinq benchmarks (MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26), le modèle 4B a atteint 31,06 % de précision avec la méthode proposée, contre 26,71 % pour le GRPO standard et 26,70 % pour la meilleure base de comparaison naïve.
• Diversité d'Échantillonnage : La méthode améliore les métriques pass@k, indiquant qu'elle préserve la diversité d'échantillonnage que le RLVR standard tend souvent à restreindre. À 4B, la méthode dépasse GRPO de +10,06 pp sur la métrique pass.
• Efficacité des Tokens : L'analyse AES révèle un changement asymétrique de la longueur des réponses : le modèle génère des réponses plus longues pour les rollouts corrects (+34,9 % à 4B) et des réponses plus courtes pour les rollouts incorrects (-10,2 % à 4B). Cela suggère que la méthode optimise le budget de tokens en allouant plus de tokens aux solutions correctes à haute probabilité tout en compressant les tentatives incorrectes.

Signification et Revendications

Le papier affirme que sa méthode fournit une procédure d'entraînement efficace en termes d'échantillonnage pour GRPO sur des tâches de raisonnement mathématique à récompenses vérifiables. La signification réside dans la démonstration que le replay d'expérience peut être adapté avec succès aux contraintes uniques du post-entraînement des LLM (dérive rapide et avantages relatifs au groupe) sans déstabiliser l'entraînement.

Les auteurs présentent leurs contributions de manière modeste, en notant que :

• La méthode est actuellement limitée aux récompenses vérifiables binaires (raisonnement mathématique) et ne revendique pas de généralisation aux récompenses non vérifiables (ex. : modèles de récompense appris) ou à d'autres algorithmes de RL (ex. : PPO, REINFORCE) sans étude supplémentaire.
• Les tendances de mise à l'échelle sont observées dans la plage testée (0,6B à 4B) et sur des ensembles de prompts spécifiques ; le transfert à des échelles plus grandes ou à d'autres domaines que les mathématiques n'est pas validé.
• Les résultats sont basés sur un seul germe d'entraînement (seed) et des réglages d'évaluation spécifiques, bien que l'utilisation de multiples benchmarks fournisse une indication indirecte de stabilité.

En fin de compte, ce travail établit que la priorisation au niveau du rollout combinée à un contrôle strict de l'obsolescence permet de recycler efficacement les signaux d'apprentissage à haute valeur dans GRPO, menant à des gains substantiels tant en précision qu'en efficacité de tokens à mesure que la taille du modèle augmente.