Résumé technique : Contrôle du taux de réussite des déployements par échantillonnage de préfixes

1. Énoncé du problème

Dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR) à récompense binaire, tel que l'ingénierie logicielle (SWE-bench) et le raisonnement mathématique, les méthodes de gradient de politique en ligne comme l'optimisation de politique relative par groupes (GRPO) reposent sur l'échantillonnage de groupes de trajectoires de déployement pour générer des signaux d'apprentissage contrastifs. Cependant, une inefficacité significative survient lorsque ces groupes échantillonnés présentent des taux de réussite biaisés (par exemple, tous des succès ou tous des échecs, ou des ratios fortement déséquilibrés comme 1/8 ou 7/8).

Dans de tels régimes biaisés, les récompenses binaires fournissent des signaux contrastifs faibles. Plus précisément :

• Les groupes tous-échecs (0/N) ou tous-succès (N/N) sont généralement rejetés par des heuristiques de filtrage de groupe (par exemple, dans GRPO ou DAPO) car ils n'offrent aucun signal d'avantage relatif.
• Les groupes biaisés (par exemple, 1/8 ou 7/8) qui survivent au filtrage fournissent toujours des signaux d'apprentissage sous-optimaux par rapport aux groupes équilibrés.
• Gaspillage de calcul : La génération de ces trajectoires non informatives consomme des ressources informatiques et du temps réel substantiels sans générer de bénéfices d'entraînement proportionnels.

Les méthodes existantes tentent d'atténuer ce problème par un filtrage implicite, un échantillonnage dynamique ou l'injection de guidage externe (indices, préfixes oracle ou traces d'enseignants). Cependant, ces approches échouent souvent à contrôler explicitement le taux de réussite des groupes conservés vers le régime le plus informatif, ou elles modifient le budget de ressources et le protocole en introduisant des données externes.

2. Méthodologie : Échantillonnage de préfixes (PS)

Les auteurs proposent le Contrôle du taux de réussite des déployements (Rollout-PRC) comme objectif explicite, identifiant un taux de réussite de 50 % comme le point de fonctionnement optimal pour le RL à récompense binaire. Ils introduisent ensuite l'Échantillonnage de préfixes (PS), un cadre bidirectionnel qui oriente les groupes de déployement biaisés vers ce régime de 50 % sans nécessiter de données externes ni modifier le budget de déployement.

2.1 Base théorique : Pourquoi 50 % ?

L'article démontre qu'un taux de réussite de 50 % ($p=0,5$) maximise quatre métriques complémentaires de la force du signal d'apprentissage :

1. Entropie de la récompense : Maximise la teneur en information des résultats binaires.
2. Probabilité de survie : Maximise la probabilité qu'un groupe survive au filtrage de groupe (c'est-à-dire qu'il ne soit ni tous-échecs ni tous-succès).
3. Énergie d'avantage RLOO : Maximise la variance des estimations d'avantage Leave-One-Out (RLOO) sous GRPO.
4. Paires contrastives : Maximise le nombre de paires succès-échec disponibles pour l'apprentissage contrastif au sein d'un groupe.

2.2 Le cadre d'échantillonnage de préfixes

L'échantillonnage de préfixes fonctionne en rejouant des préfixes de trajectoire pour ajuster la difficulté de la continuation pour les groupes biaisés :

• Pour les groupes « difficiles » (faible taux de réussite, par exemple 1/8 ou 2/8) : Le système sélectionne une trajectoire réussie du même lot (ou un préfixe sauvegardé) et rejoue son préfixe. Cela agit comme un « départ anticipé », fournissant à la politique actuelle une solution partielle correcte à partir de laquelle continuer, augmentant ainsi la probabilité d'une réussite complète.
• Pour les groupes « faciles » (taux de réussite élevé, par exemple 6/8 ou 7/8) : Le système sélectionne une trajectoire échouée et rejoue son préfixe. Cela agit comme un « handicap », forçant la politique à naviguer dans un chemin difficile qu'elle avait précédemment échoué, augmentant ainsi la probabilité d'échec et créant un signal contrastif.

2.3 Implémentation dans des environnements à état

Une innovation clé de PS est sa capacité à fonctionner dans des environnements d'agents à état (par exemple, des agents de codage avec utilisation d'outils et interaction avec l'environnement) :

• Rejeu par exécution : Au lieu de simplement concaténer du texte, le système reconstruit l'état de l'agent (code, historique de conversation, sorties d'outils, état de l'environnement) en faisant passer les réponses de préfixe sauvegardées à travers le parseur d'actions standard et l'exécuteur d'environnement.
• Masquage de préfixe : Pour garantir que l'attribution des crédits reste conforme à la politique, la perte est masquée pour tous les tokens du préfixe rejoué. L'optimisation est restreinte uniquement aux tokens de continuation générés par la politique actuelle. Cela empêche le modèle de recevoir un crédit pour des actions qu'il n'a pas générées tout en bénéficiant de l'état reconstruit.
• Contrôle adaptatif : Un contrôleur adaptatif maintient une moyenne mobile exponentielle (EMA) du taux de réussite des nouveaux déployements pour chaque « seau » de biais (1/8, 2/8, 6/8, 7/8). Il ajuste dynamiquement le ratio de préfixe (la longueur du préfixe à rejouer) pour orienter le taux de réussite de chaque seau vers la cible de 0,5.

3. Contributions clés

1. Formulation du Rollout-PRC : L'article identifie et formalise le contrôle du taux de réussite comme un objectif d'efficacité fondé sur des principes pour le RL à récompense binaire, prouvant qu'un taux de réussite de 50 % maximise l'entropie de la récompense, l'énergie d'avantage et la structure contrastive.
2. Algorithme d'échantillonnage de préfixes : Un cadre bidirectionnel qui utilise des préfixes auto-générés (sans oracles externes) pour orienter les groupes biaisés. Il prend en charge de manière unique les environnements d'agents à état via le rejeu par exécution et le masquage de préfixe.
3. Validation empirique : Démontré à plusieurs échelles (Qwen3-4B à 32B) et dans plusieurs domaines (SWE-bench et AIME 2025), montrant que PS atteint les performances de référence en moins d'étapes et offre des accélérations globales significatives.

4. Résultats expérimentaux

Les auteurs ont évalué PS sur SWE-bench Verified (RL agentique) et AIME 2025 (raisonnement mathématique) en utilisant des modèles Qwen3 (4B, 8B, 14B, 32B).

4.1 Performance sur les benchmarks

• SWE-bench Verified :
  • Qwen3-14B : A atteint le pic de performance de la référence (0,273) à l'étape 170 (contre 300 pour la référence) et a atteint un nouveau pic de 0,295 (+4,7 points de pourcentage).
  • Qwen3-32B : A atteint le pic de la référence à l'étape 290 (contre 410) et a atteint un pic de 0,422 (+5,4 points de pourcentage).
• AIME 2025 :
  • Qwen3-4B : A atteint le pic de la référence à l'étape 140 (contre 230) avec un gain de +7,3 points de pourcentage.
  • Qwen3-8B : A atteint le pic de la référence à l'étape 190 (contre 260) avec un gain de +10,8 points de pourcentage.

4.2 Efficacité et accélérations

• Accélération globale : PS a fourni une accélération de 2,01× sur Qwen3-14B et de 1,55× sur Qwen3-32B.
• Efficacité d'entraînement : Le nombre d'étapes d'entraînement pour atteindre le score de tâche ordinaire de la référence a été réduit d'un facteur de 1,51 à 1,92 selon les modèles.
• Groupes valides : Le nombre de groupes de déployement valides (non dégénérés) par lot a augmenté de manière significative (par exemple, de 25,9 à 36,7 pour 14B), indiquant une utilisation plus efficace du budget de déployement.
• Temps réel : Dans les exécutions SWE à état, le rejeu de préfixe a réduit le temps réel par étape en réutilisant des états reconstruits plutôt qu'en régénérant des préfixes, contribuant à l'accélération globale.

4.3 Études d'ablation

Les ablations sur l'exécution mathématique 4B ont confirmé la décomposition des gains :

• Rejeu : Le principal moteur de la vitesse de convergence (accélération de 1,61× avec un rejeu fixe).
• Contrôle adaptatif : Essentiel pour maintenir les taux de réussite des nouveaux déployements proches de 0,5 ; des ratios fixes ont conduit à des taux de réussite sous-optimaux (par exemple, 0,36 ou 0,65) et à une convergence plus lente.
• Couverture bidirectionnelle : Le contrôle des deux seaux difficiles et faciles est nécessaire ; le contrôle uniquement des seaux difficiles a produit des gains nettement inférieurs.

5. Signification et affirmations

L'article affirme que l'échantillonnage de préfixes offre une méthode fondée sur des principes et économe en ressources pour améliorer l'entraînement du RL à récompense binaire sans dépendre d'une supervision externe ni augmenter les budgets de calcul.

• Mécanisme : Les gains sont attribués à l'orientation des groupes biaisés et partiellement réussis vers le régime à fort signal de 50 %, augmentant ainsi l'entropie de la récompense et les paires contrastives.
• Capacité à état : Contrairement aux méthodes antérieures qui reposent sur la concaténation de préfixes uniquement textuels, PS reconstruit avec succès les environnements d'agents à état (code, outils, historique) par rejeu d'exécution, le rendant applicable à des tâches agentiques complexes.
• Modestie : Les auteurs déclarent explicitement que leurs affirmations sont limitées au RLVR à récompense binaire avec des déployements groupés. Ils ne prétendent pas que 50 % est optimal pour tous les designs de curriculum ni que la méthode élimine le besoin de données diversifiées ; elle optimise plutôt l'utilisation du budget de déployement existant. La méthode est présentée comme un contrôleur « plug-and-play » compatible avec les pipelines GRPO++ existants.

En résumé, l'article démontre qu'en gérant activement le taux de réussite des groupes de déployement pour cibler 50 %, on peut accélérer considérablement l'entraînement des systèmes de RL agentiques tout en préservant ou en améliorant les performances finales, le tout en opérant dans les mêmes contraintes computationnelles que les références standard.