🤖 machine learning

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

Cet article introduit le Single-rollout Asynchronous Optimization (SAO), un cadre d'apprentissage par renforcement asynchrone, stable et efficace, qui remplace l'échantillonnage par groupe par des stratégies de rollout unique et emploie un écrêtage strict au niveau du jeton pour entraîner avec succès des modèles agentiques à grande échelle comme GLM-5.2 sur des benchmarks complexes de codage et de raisonnement.

Auteurs originaux : Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez une équipe de chefs étudiants pour cuisiner le repas parfait. Dans l'ancienne méthode (que l'article appelle RL Synchrone), le chef exécutif criait : « Tout le monde, commencez à cuisiner ! », puis attendait. Les étudiants commençaient tous à préparer leurs plats. Mais voici le problème : certains étudiants sont rapides et d'autres sont lents. Les étudiants rapides finissaient leurs plats et restaient là à regarder le mur, attendant que l'étudiant le plus lent ait terminé. Ce n'est que lorsque tout le monde avait fini que le chef goûtait la nourriture, donnait un retour et disait à tout le monde quoi faire ensuite. C'est incroyablement inefficace ; la cuisine est pleine de temps d'inactivité.

Pour corriger cela, les chercheurs ont essayé le RL Asynchrone. Dans cette version, dès qu'un étudiant termine un plat, le chef le goûte immédiatement et donne un retour. L'étudiant peut commencer son prochain plat tout de suite. La cuisine ne s'arrête jamais. C'est beaucoup plus rapide.

Cependant, il y avait un gros bémol. Parce que le chef goûtait les plats d'étudiants qui avaient commencé à cuisiner à des moments différents, la « recette » que les étudiants suivaient changeait constamment. Certains étudiants cuisinaient selon une ancienne recette, tandis que d'autres en utilisaient une nouvelle. Cette confusion rendait l'entraînement instable, et les étudiants devenaient souvent moins bons en cuisine au lieu de s'améliorer. De plus, la méthode populaire utilisée pour noter ces étudiants (appelée GRPO) exigeait que le chef attende qu'un groupe d'étudiants ait terminé avant de donner une note, ce qui ramenait le problème d'attente.

Les auteurs de cet article ont introduit une nouvelle méthode appelée SAO (Single-Rollout Asynchronous Optimization). Ils ont résolu le chaos grâce à trois astuces ingénieuses :

1. La règle du « Feedback Instantané » (Single-Rollout)

Au lieu d'attendre qu'un groupe d'étudiants termine un lot, la SAO dit : « Dès qu'un seul étudiant termine un plat, notez-le immédiatement. »

La métaphore : Imaginez un jeu vidéo où vous obtenez un score dès que vous terminez un niveau, plutôt que d'attendre que toute votre équipe ait fini. Cela élimine le délai de « l'attente du membre le plus lent ».
Le problème résolu : Cela empêche le « groupe » de devoir attendre le membre le plus lent, maintenant l'entraînement à pleine vitesse.

2. Le « Filet de Sécurité Strict » (Double-Sided Clipping)

Parce que les étudiants travaillent si vite et que les recettes changent, il existe un risque qu'ils deviennent fous et tentent quelque chose de totalement sauvage et dangereux.

La métaphore : Les auteurs ont installé une « clôture » autour de l'entraînement. Si la nouvelle idée d'un étudiant est trop différente de ce que l'enseignant attend (trop à gauche ou trop à droite), le système ne se contente pas de l'ignorer ; il bloque complètement l'étudiant de l'apprentissage de cette erreur spécifique. C'est comme un entraîneur strict qui dit : « Si tu essaies de courir à reculons, je ne te laisserai pas apprendre de cette course du tout. »
Le problème résolu : Cela empêche l'entraînement de devenir instable ou de « exploser » lorsque les étudiants sont confus par le rythme rapide.

3. Le « Super-Coach » (Meilleur Modèle de Valeur)

Dans l'ancienne méthode de « groupe », le coach pouvait comparer le plat d'un étudiant aux plats de ses camarades pour voir s'il était bon. Mais dans cette méthode « un par un », il n'y a pas de camarades pour comparer. Le coach doit être incroyablement intelligent pour savoir si un plat seul est bon ou mauvais.

La métaphore : Les auteurs ont entraîné un « Coach de Valeur » (un Critique) qui est beaucoup plus intelligent et met à jour ses connaissances deux fois plus vite que les chefs étudiants. Ils ont également figé les « instincts » (couches d'attention) du coach pour qu'il ne soit pas confus, ne laissant le coach apprendre que les détails spécifiques de la recette.
Le problème résolu : Cela garantit que même lorsque l'étudiant travaille seul, le coach peut lui dire avec précision : « Oui, c'était un bon mouvement », ou « Non, c'était mauvais », sans avoir besoin d'un groupe pour comparer.

Les Résultats

Les auteurs ont testé cette nouvelle méthode sur deux tâches très difficiles :

Codage : Demander à l'IA de corriger des bugs dans des logiciels (comme un mécanicien réparant une voiture).
Raisonnement Mathématique : Demander à l'IA de résoudre des problèmes mathématiques complexes (comme un étudiant passant un examen difficile).

Le résultat :

L'ancienne méthode (GRPO) commençait bien mais finissait par s'effondrer et échouer après un certain temps parce qu'elle devenait trop confuse.
La nouvelle méthode SAO a maintenu un entraînement fluide pendant longtemps (jusqu'à 1 000 étapes) et a obtenu des scores de manière constante et croissante.
Elle a également prouvé que cette méthode est parfaite pour l'Apprentissage en Ligne (Online Learning), où les règles du jeu changent pendant que vous jouez. Par exemple, si l'enseignant dit soudainement : « Maintenant, je veux des histoires mignonnes », l'IA entraînée par SAO pourrait rapidement changer de style, alors que les autres méthodes étaient trop lentes pour s'adapter.

En résumé, l'article dit : « Arrêtez d'attendre les groupes. Laissez chacun travailler à son propre rythme, mais donnez-leur un filet de sécurité strict et un coach super intelligent qui met à jour ses connaissances instantanément. Cela rend l'entraînement de l'IA plus rapide, plus stable et meilleur pour résoudre des problèmes complexes et changeants. »

Résumé Technique : Optimisation Asynchrone à Rollout Unique pour l'Apprentissage par Renforcement Agentique

Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu un composant critique du post-entraînement des grands modèles de langage (LLM), particulièrement pour les tâches agentiques impliquant de longs horizons, le codage et le raisonnement complexe. Cependant, les pipelines de RL existants sont principalement synchrones et entrelacés par lots (batch-interleaved). Dans ces systèmes, la politique génère un lot de rollouts, et l'optimisation ne commence qu'après la collecte de l'intégralité du lot. Cette approche est inefficace pour les charges de travail agentiques où les longueurs de trajectoire varient considérablement ; les trajectoires courtes se terminent rapidement tandis que les plus longues agissent comme des traînards (stragglers), provoquant un temps d'inactivité substantiel des clusters de GPU.

Bien que le RL asynchrone — qui met à jour le modèle en continu à mesure que les rollouts arrivent — offre une solution pour améliorer l'utilisation et l'efficacité temporelle (wall-clock efficiency), il introduit deux défis majaux :

Instabilité de l'entraînement et dérive hors-politique (Off-Policy Drift) : Dans un cadre asynchrone, les rollouts sont générés par plusieurs versions plus anciennes de la politique du modèle. Ce « décalage de politique » (policy lag) crée un comportement hors-politique imprévisible qui peut déstabiliser l'entraînement.
Incompatibilité avec l'échantillonnage par groupe : Les algorithmes largement utilisés comme le Group Relative Policy Optimization (GRPO) reposent sur l'échantillonnage d'un groupe de réponses par prompt pour estimer les avantages via une moyenne au niveau du groupe. Cette approche par groupe est incompatible avec l'entraînement asynchrone car le groupe doit attendre la fin du membre le plus lent, réintroduisant ainsi de la latence et un biais hors-politique. De plus, l'échantillonnage par groupe est mal adapté aux contextes en ligne ou agentiques complexes où l'environnement ne fournit souvent qu'un seul retour de trajectoire par prompt.

Méthodologie : Optimisation Asynchrone à Rollout Unique (SAO)

Les auteurs proposent SAO, un cadre conçu pour stabiliser l'entraînement de RL asynchrone tout en préservant son efficacité. SAO remplace l'échantillonnage par groupe par un échantillonnage à rollout unique (un seul rollout par prompt) et introduit des mécanismes spécifiques pour gérer les défis de variance et de hors-politique qui en résultent.

1. Échantillonnage d'Importance Direct à Double Sens (Direct Double-Sided Importance Sampling - DIS)

Pour traiter le « décalage de politique » entre le moteur de rollout et le modèle d'entraînement sans le coût de calcul du suivi d'un historique de politiques anciennes :

Calcul de ratio simplifié : SAO utilise directement la politique de rollout ( $\pi_{rollout}$ ) comme proxy de comportement et la politique actuelle ( $\pi_\theta$ ) pour l'échantillonnage d'importance, éliminant ainsi le besoin d'une politique « ancienne » ( $\pi_{old}$ ) distincte et potentiellement obsolète. Le ratio de probabilité est calculé directement à partir des logs de rollout : $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$ .
Écrêtage (Clipping) de Token à Double Sens : Contrairement au clipping standard de PPO, SAO emploie une stratégie d'écrêtage strict à double sens. Il restreint la région de confiance à $[1-\epsilon_\ell, 1+\epsilon_h]$ . Les tokens tombant en dehors de cette plage sont entièrement masqués du calcul du gradient. Ce masquage agressif prévient les instabilités causées par une divergence extrême de la politique.

2. Échantillonnage à Rollout Unique avec Modélisation de Valeur Améliorée

Le remplacement de l'échantillonnage par groupe par des mises à jour à rollout unique réduit la latence mais augmente la variance du gradient. Pour atténuer cela, SAO introduit des stratégies spécifiques de formation du modèle de valeur :

Mises à jour de valeur plus rapides : Le réseau de valeur ( $V_\phi$ ) est mis à jour plus fréquemment que la politique ( $\pi_\theta$ ). Plus précisément, pour chaque mise à jour de gradient de politique unique, le réseau de valeur subit $K$ mises à jour (où $K=2$ dans les expériences). Cela garantit que les estimations de valeur s'adaptent rapidement à la politique actuelle avant d'être utilisées pour le calcul de l'avantage.
Entraînement à l'Attention Gelée (Frozen-Attention) : Pour stabiliser le modèle de valeur, les auteurs observent que l'instabilité provient principalement des couches d'Attention Complète (Full Attention). Par conséquent, ils gèlent les paramètres d'attention dans le modèle de valeur et n'optimisent que les projections Mixture-of-Experts (MoE). Cela régularise le modèle de valeur, exploitant les poids d'attention pré-entraînés tout en permettant au modèle d'apprendre des fonctions de valeur spécifiques à la tâche.
GAE à Saut d'Observation (Skip-Observation Token-Level GAE) : Pour les tâches agentiques avec des actions ( $a_i$ ) et des observations de l'environnement ( $o_i$ ) entrelacées, l'estimation de l'avantage généralisé (GAE) standard introduit du bruit lors du calcul des avantages à travers la frontière où le modèle ne génère pas l'observation. SAO dérive un GAE à saut d'observation qui lie directement la valeur de l'action actuelle à la valeur de l'action suivante, contournant les tokens de feedback externes de l'environnement.

3. Mise à l'échelle du Pré-entraînement du Modèle de Valeur

Les auteurs soulignent qu'une initialisation robuste est critique. Ils augmentent considérablement les données utilisées pour le pré-entraînement du modèle de valeur afin de traiter le problème du « démarrage à froid » (cold start), garantissant que le modèle de valeur est efficace dès les premières étapes de l'entraînement à rollout unique.

Principales Contributions

Mécanisme de Stabilisation : Introduction d'une stratégie d'échantillonnage d'importance à niveau de token simplifiée mais agressive (DIS) qui élimine le besoin de suivi de l'historique de la politique tout en imposant un écrêtage strict à double sens pour maintenir la stabilité de l'entraînement.
Paradigme de Rollout Unique : Passage de l'échantillonnage par groupe à l'échantillonnage à rollout unique pour éliminer les barrières de synchronisation dans le RL asynchrone, couplé à des conceptions spécifiques de l'entraînement du modèle de valeur (mises à jour plus rapides, attention gelée) pour gérer la variance résultante.
Estimateur Spécifique aux Agents : Dérivation d'un estimateur GAE à niveau de token avec saut d'observation qui gère correctement la discontinuité entre les actions générées par le modèle et le feedback de l'environnement dans les trajectoires multi-tours des agents.
Validation Empirique : Démonstration que SAO peut entraîner de manière stable pendant plus de 1 000 étapes, surpassant GRPO et ses variantes sur divers benchmarks.

Résultats Expérimentaux

SAO a été évalué sur des benchmarks de codage agentique et de raisonnement mathématique, notamment SWE-Bench Verified, AIME2025, BeyondAIME, HMMT Nov 2025, et IMOAnswerBench.

Performance : SAO a systématiquement surpassé la ligne de base (Qwen3-30B-A3B SFT) et les variantes de GRPO sur tous les benchmarks.
- Sur AIME2025, SAO a atteint une précision de 97,3 % contre 84,2 % pour GRPO (avec python) et 80,4 % pour la ligne de base SFT.
- Sur SWE-Bench Verified, SAO a atteint 29,8 % de précision, dépassant GRPO (27,0 %) et la ligne de base (23,0 %).
Stabilité : Alors que le GRPO standard souffrait d'un effondrement de performance autour de 160 étapes d'entraînement, SAO a maintenu une performance stable et a continué de s'améliorer jusqu'à 1 000 étapes.
Études d'Ablation : Le retrait de composants tels que les « Mises à jour de valeur plus rapides » ou l'« Attention gelée » a entraîné une dégradation des performances, confirmant la nécessité de ces choix de conception.
Apprentissage en Ligne : Dans un scénario d'apprentissage en ligne simulé avec des préférences de récompense changeantes (styles d'écriture), SAO a démontré un réalignement rapide de la politique, tandis qu'une ligne de base de moyenne glissante (Running Mean) présentait un retard d'adaptation significatif.

Signification et Revendications

L'article affirme que SAO résout avec succès le compromis entre efficacité et stabilité dans le RL asynchrone pour les LLM. En s'éloignant de l'échantillonnage par groupe inhérent à GRPO, SAO permet un véritable entraînement asynchrone où les rollouts sont consommés immédiatement dès leur arrivée, éliminant les effets de traînards.

Les auteurs soutiennent que leur approche est particulièrement efficace pour les tâches agentiques et les scénarios d'apprentissage en ligne où le feedback par trajectoire unique est la norme. Le déploiement réussi de SAO dans le pipeline d'entraînement du modèle ouvert GLM-5.2 (750B-A40B) sert de validation pratique de la scalabilité et de la robustesse de la méthode dans des contextes réels à grande échelle. Ce travail suggère qu'avec une conception appropriée du modèle de valeur et une correction hors-politique, le RL asynchrone peut être une alternative stable et supérieure aux méthodes de batch synchrones pour les tâches de raisonnement complexes à long horizon.