🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

Cet article introduit SAPO, un cadre de travail optimisé pour le calcul et l'efficacité de la mémoire pour l'apprentissage par renforcement agentique qui utilise une dorsale autorégressive partagée pour les fonctions de politique et de valeur afin d'atteindre une performance et une stabilité supérieures aux méthodes existantes telles que PPO et GRPO, tout en éliminant la nécessité d'un modèle critique distinct.

Auteurs originaux : Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Publié 2026-08-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle en pleine évolution, une nouvelle frontière est apparue où les programmes informatiques ne sont plus seulement des générateurs de texte passifs, mais des agents actifs capables de raisonner, de naviguer sur le Web et de résoudre des problèmes complexes sur de nombreuses étapes. Ce domaine, connu sous le nom d'apprentissage par renforcement agentique, enseigne à ces assistants numériques en les laissant essayer des actions dans un environnement simulé et en les laissant apprendre des résultats. Imaginez un étudiant passant un examen : s'il obtient la bonne réponse, il se sent bien ; s'il échoue, il essaie de comprendre ce qui n'a pas fonctionné. Pour une IA, ce processus d'apprentissage repose sur un système capable de revenir sur une longue chaîne de décisions et de déterminer quelle étape spécifique a conduit au succès ou à l'échec. Traditionnellement, cela nécessitait un système lourd en deux parties : une partie pour décider de l'action suivante, et une partie « critique » distincte et massive pour évaluer si la situation actuelle est bonne. Cette séparation fonctionne bien mais exige une puissance de calcul et une mémoire énormes, ce qui ralentit souvent le processus d'apprentissage ou le rend trop coûteux à exécuter sur du matériel standard.

Des chercheurs ont récemment découvert que beaucoup de ces agents d'IA éprouvent des difficultés lorsque le retour qu'ils reçoivent est parcimonieux ou différé, comme lorsqu'ils doivent attendre la toute fin d'une tâche longue pour savoir s'ils ont réussi. Les méthodes existantes qui tentent de simplifier ce processus en supprimant le critique séparé finissent souvent par une instabilité de l'apprentissage ou des performances médiocres, car elles manquent d'un moyen clair d'attribuer le mérite à chaque étape individuelle dans une séquence longue. Pour résoudre cela, une équipe de scientifiques de l'Université de Xiamen et de l'Université technologique de Nanyang a développé un nouveau cadre appelé SAPO, qui signifie Single-Rollout Autoregressive Policy Optimization (Optimisation de politique autoregressive à passage unique). Au lieu d'utiliser deux modèles distincts ou d'exiger que l'IA génère des dizaines d'essais différents pour apprendre d'une seule tâche, SAPO enseigne à un seul modèle de langage à tout faire à la fois. Il utilise le flux naturel de la génération de langage pour décider simultanément d'une action, évaluer l'état avant l'action et juger de la valeur de l'action elle-même, le tout au sein d'un seul flux continu de pensée.

L'innovation centrale de SAPO réside dans la manière dont il organise l'information à l'intérieur du cerveau de l'IA. Dans une conversation ou une tâche standard, l'IA lit une instruction, réfléchit, puis écrit une réponse. Les chercheurs ont réalisé que le moment juste avant que l'IA ne commence à écrire une réponse est le moment idéal pour demander : « À quel point cette situation est-elle bonne ? » et le moment juste après que la réponse est terminée est le moment idéal pour demander : « À quel point cette action spécifique était-elle bonne ? » En plaçant ces deux questions à des points fixes et spécifiques dans le processus de génération de texte, le modèle peut apprendre à répondre aux deux sans avoir besoin d'un évaluateur distinct. Cette conception permet à l'IA d'apprendre à partir d'un seul essai de tâche, plutôt que de devoir générer un grand groupe de variations pour les comparer entre elles. Le système apprend efficacement à généraliser sa compréhension de la valeur à travers différentes situations, garantissant qu'il ne se contente pas de mémoriser un chemin spécifique vers le succès, mais qu'il comprenne la logique sous-jacente de pourquoi un mouvement était bon ou mauvais.

Pour tester cette approche, l'équipe a entraîné l'IA sur deux environnements exigeants : un foyer simulé où l'agent doit accomplir des tâches physiques comme nettoyer ou chauffer des objets, et un scénario complexe de shopping sur le Web où l'agent doit naviguer sur des sites internet pour trouver des produits spécifiques. Ils ont utilisé deux tailles différentes de modèles de langage, l'un avec 1,5 milliard de paramètres et un autre avec 7 milliards, pour voir si la méthode tenait la route à différentes échelles. Les résultats furent frappants. Dans les tâches domestiques, la nouvelle méthode a amélioré le taux de réussite de plus de 15 points de pourcentage par rapport à la méthode standard utilisant un critique séparé, et de plus de 12 points de pourcentage par rapport à la méthode de pointe qui tente d'éviter l'utilisation d'un critique. Dans les tâches de shopping sur le Web, les améliorations étaient similairement significatives, l'IA obtenant des scores plus élevés et complétant plus de tâches avec succès. Peut-être plus important encore, la nouvelle méthode l'a fait en utilisant nettement moins de mémoire et en étant environ 33 % plus rapide par étape d'entraînement que l'approche traditionnelle, car elle a éliminé la nécessité de faire fonctionner un second modèle distinct pour évaluer la performance.

Le succès de ce cadre suggère que la manière dont les grands modèles de langage traitent naturellement l'information peut être exploitée pour résoudre certains des problèmes les plus difficiles de l'entraînement des agents d'IA. En alignant le processus d'apprentissage sur la structure naturelle de la génération de langage, les chercheurs ont montré qu'il est possible d'atteindre des performances de haut niveau sans le coût de calcul lourd du maintien de systèmes séparés pour la prise de décision et l'évaluation. Cette approche rend non seulement l'entraînement plus efficace, mais aussi plus stable, permettant aux agents d'apprendre efficacement même lorsque les récompenses pour leurs actions sont différées ou peu fréquentes. Alors que le domaine de l'intelligence artificielle évolue vers la création d'agents plus autonomes et capables, des méthodes comme celle-ci offrent une voie pratique, prouvant que l'efficacité et la haute performance peuvent aller de pair sans sacrifier la capacité d'apprendre à partir d'interactions complexes et à long terme.

Résumé Technique : SAPO (Single-Rollout Autoregressive Policy Optimization)

1. Énoncé du Problème

L'apprentissage par renforcement (RL) agentique est devenu une étape cruciale de post-entraînement pour les grands modèles de langage (LLM), leur permettant d'accomplir des tâches interactives à long horizon telles que le raisonnement, l'utilisation d'outils et la navigation web. Bien que les méthodes existantes aient rencontré un certain succès, elles font face à trois limitations principales :

Manque de généralisation explicite de la valeur : Les méthodes sans critique, basées sur le groupe relatif (ex: GRPO), estiment les avantages en normalisant les récompenses à travers plusieurs trajectoires échantillonnées. Cette approche échoue à apprendre une fonction de valeur généralisée capable d'attribuer du crédit à des états ou des prompts spécifiques indépendamment du groupe, ce qui entraîne un faible assignation de crédit temporel.
Effondrement de l'avantage (Advantage Collapse) : Dans les tâches à long horizon avec un feedback parcimonieux, il est fréquent que toutes les trajectoires d'un groupe reçoivent des récompenses identiques ou quasi identiques. Cela provoque la disparition des avantages normalisés, entraînant des zones de gradient nul ou un « effondrement de l'avantage », ce qui stoppe l'apprentissage.
Compromis inefficaces : Les méthodes relatives au groupe imposent un arbitrage coûteux entre le budget d'échantillonnage et la performance. Les petits groupes produisent des bases de référence bruitées, tandis que les grands groupes améliorent la stabilité au prix de coûts de calcul massifs et de barrières de synchronisation. À l'inverse, le PPO traditionnel avec un critique appris offre une estimation de la valeur explicite mais impose une surcharge mémoire et computationnelle substantielle en raison de la nécessité d'un modèle critique distinct de la taille de la politique.

Les tentatives actuelles pour atténuer ces problèmes (ex: DAPO, ReMax, VinePPO) restent soit dépendantes de multiples rollouts, soit conservent une attribution de crédit grossière, soit nécessitent des réseaux de valeur séparés qui dupliquent les paramètres. Il existe un besoin pour un cadre supportant l'apprentissage efficace à un seul rollout avec une estimation de valeur temporelle explicite sans maintenir un critique séparé.

2. Méthodologie : SAPO

Les auteurs proposent SAPO (Single-Rollout Autoregressive Policy Optimization), un cadre à faible consommation de mémoire et de calcul qui unifie l'apprentissage de la politique et de la valeur au sein d'un seul backbone autoregressif.

Architecture Centrale : Acteur-Critique Autoregressif

SAPO exploite la structure causale des LLM pour représenter la politique, la valeur d'état ( $V$ ) et la valeur d'action ( $Q$ ) au sein d'un flux de modèle unique.

Frontières Causales : La méthode identifie deux frontières causales distinctes dans le tour d'un agent :
1. Frontière pré-action : Le contexte d'état ( $c^s_t$ ) avant la génération de l'action.
2. Frontière post-action : Le contexte d'état concaténé avec l'action générée ( $c^{s,a}_t$ ).
Backbone Partagé : Le même modèle transformer génère les tokens d'action entre ces frontières.
Base de Valeur à Deux Tokens : Au lieu d'une tête de valeur séparée, SAPO réserve deux tokens de vocabulaire spécifiques ( $w^+$ $w^{+}$ et $w^-$ $w^{-}$ ) exclusivement comme base de valeur. Le modèle lit les logits de ces deux tokens aux frontières causales respectives pour calculer des valeurs scalaires normalisées :
- $V_\theta(s_t)$ est lu à la frontière pré-action.
- $Q_\theta(s_t, a_t)$ est lu à la frontière post-action.
- La valeur est dérivée de la différence de logits, plafonnée à une plage normalisée $[-1, 1]$ , et mise à l'échelle par la récompense maximale possible ( $R_{max}$ ).
Séparation de la Politique : Les tokens de valeur réservés sont exclus du vocabulaire d'action lors de la génération de la politique et de la normalisation des probabilités, garantissant qu'ils n'interfèrent pas avec la distribution d'action.

Estimation de l'Avantage à Rollout Unique

Contrairement aux méthodes relatives au groupe, SAPO échantillonne une seule trajectoire par tâche.

GAE au niveau de la trajectoire : La méthode utilise un Estimateur d'Avantage Généralisé (GAE) qui propage les récompenses terminales retardées en arrière à travers la trajectoire en utilisant les valeurs d'état ( $V$ ) apprises.
Cibles :
- La Valeur d'État est entraînée vers le $\lambda$ -retour (propageant l'information de résultat à long terme).
- La Valeur d'Action est entraînée vers une cible SARSA on-policy (ancrant la frontière post-action dans les conséquences immédiates).
Normalisation par Batch : Pour stabiliser l'entraînement sans statistiques de groupe, les avantages au niveau du tour sont normalisés à l'aide de statistiques de batch ( $\mu_B, \sigma_B$ ) à travers le batch d'entraînement actuel avant d'être diffusés à tous les tokens de l'action.

Optimisation Conjointe

SAPO optimise une fonction d'objectif unifiée en un seul passage arrière (backward pass) :

Perte de Politique au niveau du Token : Une perte de type PPO avec clipping utilisant les avantages normalisés par batch.
Pertes de Valeur : Des pertes de régression avec clipping pour les objectifs $V$ et $Q$ , moyennées par tour plutôt que par token pour assurer un poids égal pour chaque décision, quelle que soit la longueur de la réponse.
Régularisation : Inclut la divergence KL par rapport à une politique de référence et la régularisation de l'entropie.

3. Contributions Clés

Architecture Unifiée : Introduction d'une architecture acteur-critique autoregressive à un seul rollout qui représente et entraîne conjointement la politique, la valeur d'état et la valeur d'action via des lectures de frontières causales, éliminant le besoin d'un réseau critique séparé.
Nouvel Estimateur : Développement d'un estimateur d'avantage au niveau de la trajectoire combinant les $\lambda$ -retours avec la normalisation par batch, permettant une attribution de crédit explicite au niveau du tour sans dépendre de l'échantillonnage relatif au groupe.
Efficacité et Stabilité : Démonstration que ce cadre unifié atteint un équilibre favorable entre performance, stabilité d'entraînement, efficacité mémoire et efficacité d'exécution sur des tâches agentiques à long horizon.

4. Résultats Expérimentaux

Les auteurs ont évalué SAPO sur les benchmarks ALFWorld (raisonnement incarné) et WebShop (navigation web) en utilisant des modèles de base Qwen2.5-1.5B et Qwen2.5-7B.

Performance : SAPO a systématiquement surpassé le PPO standard et GRPO.
- Sur ALFWorld avec Qwen2.5-1.5B, SAPO a atteint 90,1 % de succès agrégé, dépassant PPO et GRPO de +35,7 et +17,3 points de pourcentage, respectivement.
- Sur WebShop, SAPO a obtenu une amélioration de score de +8,4 points et une augmentation du taux de succès de +12,2 points par rapport à PPO.
- À travers les expériences (résumées dans l'Abstract), SAPO s'entraîne de manière stable et surpasse PPO et GRPO avec une moyenne de +15,1 et +12,1 points de pourcentage, respectivement.
- Avec le modèle 7B, SAPO a obtenu 94,0 % de succès sur ALFWorld et un score de 88,6 sur WebShop avec 82,4 % de succès, surpassant PPO, GRPO ainsi que les variantes récentes sur les trois métriques agrégées.
Efficacité :
- Mémoire : SAPO élimine l'empreinte mémoire d'un modèle critique séparé (qui est typiquement de la taille de la politique).
- Temps d'exécution : SAPO a réduit le temps d'exécution par itération de 33,2 % par rapport à PPO. Les économies principales proviennent de la suppression des étapes d'inférence de valeur et d'optimisation du critique, réduisant le temps total de 451,2s à 301,4s par itération sur ALFWorld.
Stabilité : La méthode s'est entraînée de manière stable à partir d'un seul rollout par prompt, évitant les problèmes d'effondrement de l'avantage observés dans les méthodes relatives au groupe sous feedback parcimonieux.

5. Signification et Revendications

L'article affirme que SAPO résout la tension entre la généralisation explicite de la valeur des algorithmes acteur-critique et l'efficacité mémoire/computationnelle des optimisations sans critique basées sur le groupe relatif.

Alignement Architectural : Les auteurs soutiennent que le flux d'information requis pour l'apprentissage acteur-critique s'aligne naturellement sur l'ordre causal de la génération de langage. En exploitant cet alignement, SAPO permet un apprentissage de la valeur efficace au sein d'un modèle causal unique.
Scalabilité : Le cadre démontre que l'apprentissage de la valeur explicite ne nécessite pas de modèles dupliqués ou d'échantillonnage coûteux, offrant une voie viable vers un RL agentique efficace à long horizon.
Généralisation : Les résultats suggèrent que l'alignement architectural entre la modélisation autoregressive et l'apprentissage acteur-critique peut réduire la dépendance à l'ingénierie de récompense dense spécifique à la tâche, car la méthode performe bien avec des récompenses de résultat parcimonieuses.

L'article conclut que SAPO représente une étape significative pour rendre le RL agentique plus scalable et pratique pour les interactions complexes à plusieurs tours.