Résumé technique : Optimisation de politique groupée à avantage généralisé (GAGPO)

Énoncé du problème

L'apprentissage par renforcement (RL) est devenu un paradigme dominant pour l'entraînement postérieur des agents de modèles de langage de grande taille (LLM), en particulier pour les interactions multi-tours. Cependant, un goulot d'étranglement critique persiste : l'attribution de crédit dans les environnements multi-tours. Dans ces contextes, les agents reçoivent généralement des récompenses éparses au niveau de la trajectoire uniquement à la fin d'un épisode. Cela rend difficile la détermination de quelles actions intermédiaires spécifiques ont conduit au succès ou à l'échec.

Les solutions existantes font face à un compromis :

1. Méthodes basées sur un critique : Elles introduisent des estimateurs de valeur auxiliaires ou des modèles de récompense de traitement pour fournir un retour d'information plus dense au niveau de l'étape. Bien qu'efficaces, elles ajoutent une complexité d'entraînement significative et une erreur d'estimation.
2. Méthodes sans critique : Elles reposent sur une optimisation groupée relative à la trajectoire ou de style Monte Carlo (par exemple, GRPO, GiGPO). Bien qu'architecturalement simples, elles génèrent souvent des signaux à haute variance et une supervision faiblement propagée, échouant à aligner l'attribution de crédit avec les véritables frontières de décision de l'agent (étapes de l'environnement) plutôt qu'avec la génération de tokens.

Le défi central consiste à réaliser une attribution de crédit temporellement propagée et alignée sur les étapes dans l'entraînement d'agents multi-tours, sans dépendre d'un critique appris ou de procédures de recherche spécialisées.

Méthodologie : GAGPO

Les auteurs proposent l'Optimisation de politique groupée à avantage généralisé (GAGPO), une méthode de RL sans critique conçue pour permettre une attribution de crédit temporel précise et alignée sur les étapes. GAGPO fonctionne en trois étapes principales :

1. Regroupement des dérollages et agrégation d'états

Contrairement aux mises à jour standard au niveau des tokens, GAGPO traite chaque étape de l'environnement comme l'unité de base de l'attribution de crédit. Tous les tokens au sein d'une seule action de l'agent (une séquence de tokens) partagent un avantage unique au niveau de l'étape.

• Proxy de valeur groupé : La méthode construit un proxy de valeur non paramétrique en regroupant toutes les occurrences d'un même état d'environnement $s$ à travers les trajectoires échantillonnées. Pour un état $s$, le groupe $G(s)$ rassemble toutes les étapes $(i, t)$ où l'état correspond.
• Estimation de la valeur : Le proxy de valeur $\bar{V}(s)$ est calculé comme la moyenne des retours actualisés de toutes les étapes dans $G(s)$ :
  $$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$$
  Cette agrégation est effectuée entièrement à partir des dérollages collectés, ne nécessitant aucun coût d'entraînement supplémentaire ni critique appris.

2. Attribution de crédit temporel au niveau de l'étape

GAGPO calcule les avantages temporels de manière récursive, imitant l'estimation d'avantage généralisé (GAE) mais en utilisant le proxy non paramétrique $\bar{V}$ au lieu d'une fonction de valeur apprise.

• Résidu TD : Pour une étape $(i, t)$, le résidu de différence temporelle est :
  $$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$$
  (où $\bar{V}$ est 0 pour les états terminaux).
• Propagation récursive : L'avantage au niveau de l'étape $\hat{A}^{(i)}_t$ est calculé de manière récursive avec un paramètre de compromis biais-variance $\lambda$ :
  $$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$$
  Cela permet à la supervision des résultats de se propager en arrière dans le temps, attribuant le crédit aux décisions intermédiaires basées sur les récompenses différées.

3. Mise à jour PPO normalisée par groupe

Pour assurer la stabilité et l'optimisation localisée :

• Normalisation par groupe : Au lieu de normaliser sur l'ensemble du lot (ce qui mélange des tâches hétérogènes), les avantages sont standardisés au sein de chaque groupe de dérollage $B$ :
  $$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$$
• Ratio d'importance au niveau de la séquence : Puisqu'une action $a_t$ se compose de plusieurs tokens, GAGPO calcule un ratio d'importance unique pour l'ensemble de la séquence d'actions en moyennant les rapports de log des tokens individuels, plutôt que de tronquer les ratios token par token indépendamment. Cela empêche le « déchirement du gradient » au sein d'une seule action.
• Objectif : L'objectif final est une fonction de perte PPO tronquée utilisant ces avantages alignés sur la séquence et normalisés par groupe.

Contributions clés

1. Propagation temporelle sans critique : GAGPO introduit une méthode pour calculer des avantages temporels de style TD/GAE sans critique appris, en utilisant un proxy de valeur groupé non paramétrique dérivé des données de dérollage.
2. Attribution de crédit alignée sur les étapes : Elle déplace l'unité d'optimisation des tokens vers les étapes de l'environnement, garantissant que le crédit est attribué aux véritables frontières de décision de l'agent.
3. Dynamique d'optimisation stable : En combinant la récursion temporelle avec la normalisation par groupe et les ratios d'importance au niveau de la séquence, GAGPO extrait des signaux d'optimisation stables et à faible variance directement à partir des trajectoires multi-tours.
4. Supériorité empirique : La méthode démontre des améliorations constantes par rapport à des bases de référence RL solides (PPO, RLOO, GRPO, GiGPO) sur des benchmarks multi-tours complexes.

Résultats expérimentaux

Les auteurs ont évalué GAGPO sur ALFWorld (tâches ménagères incarnées) et WebShop (achat en ligne) en utilisant les architectures de base Qwen2.5-1.5B-Instruct et Qwen2.5-7B-Instruct.

• Gains de performance : GAGPO a constamment surpassé toutes les bases de référence.
  • Sur ALFWorld (modèle 7B), il a obtenu un score global de 95,6, dépassant la base de référence la plus forte (GiGPO à 88,8) de 6,8 points.
  • Sur WebShop (modèle 7B), il a amélioré le score de 86,3 à 90,3 et le taux de réussite de 66,4 % à 77,5 %.
• Dynamique d'apprentissage : L'analyse des 120 premières étapes d'entraînement a révélé que GAGPO apprend plus rapidement dans les premières étapes et maintient un écart de performance tout au long de l'entraînement par rapport à GiGPO et GRPO.
• Efficacité d'interaction : Les agents GAGPO ont atteint une réussite de tâche en moins d'étapes d'interaction (longueurs d'épisode plus courtes) en moyenne.
• Stabilité de l'optimisation :
  • Norme du gradient : GAGPO a présenté une dynamique de gradient plus lisse et moins volatile que les fluctuations de grande amplitude observées dans GiGPO.
  • Variance de l'avantage : La distribution des avantages au niveau de l'étape dans GAGPO était significativement plus concentrée (intervalle interquartile plus faible et moins de valeurs extrêmes) que dans GiGPO, indiquant des signaux d'apprentissage à plus faible variance.

Signification et affirmations

L'article affirme que GAGPO offre un cadre simple mais hautement efficace pour le RL agentique multi-tours. Sa signification principale réside dans la démonstration que :

1. Les méthodes sans critique peuvent être étendues efficacement aux agents LLM interactifs si le crédit est attribué au niveau des étapes de l'environnement plutôt qu'au niveau des tokens.
2. La propagation temporelle des récompenses éparces via un proxy non paramétrique est suffisante pour surmonter le problème d'attribution de crédit sans la surcharge de l'entraînement de modèles de valeur auxiliaires.
3. La normalisation par groupe et l'alignement au niveau de la séquence sont essentiels pour stabiliser l'optimisation des politiques multi-tours, empêchant la haute variance et l'instabilité souvent associées aux mises à jour groupées de style Monte Carlo.

Les auteurs concluent que GAGPO fournit un signal d'entraînement aligné sur les étapes, temporellement cohérent et stable, permettant aux agents LLM de s'améliorer par la recherche et l'interaction de manière plus efficace. Ils notent des limitations concernant la dépendance à l'appariement exact des états (ce qui fonctionne pour les environnements textuels déterministes mais peut nécessiter une approximation pour des contextes stochastiques ou continus) et la portée de l'évaluation limitée à des benchmarks et des tailles de modèles spécifiques.