🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ est un nouveau cadre d'apprentissage par renforcement qui optimise la profondeur de l'orientation basée sur des indices en échantillonnant à partir d'une distribution gaussienne estimée en ligne, surpassant ainsi les méthodes déterministes et de sondage existantes dans les tâches agentiques tout en réduisant considérablement les coûts de calcul.

Auteurs originaux : Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un programme informatique essayant d'apprendre à naviguer dans un monde complexe, comme un robot se déplaçant dans une maison ou un agent virtuel faisant des courses sur un site web. Ces tâches nécessitent souvent une longue chaîne de décisions, où le programme doit effectuer de nombreuses étapes avant de réussir ou d'échouer finalement. Le problème central est que le programme ne reçoit qu'un signal à la toute fin pour lui dire s'il a gagné ou perdu. Cela rend l'apprentissage incroyablement difficile, comme si l'on essayait d'apprendre à faire du vélo en étant seulement informé par un « bon travail » ou « tu es tombé » après avoir déjà parcouru un kilomètre, sans aucun retour pour savoir si l'on dirigeait correctement le guidon au milieu du trajet. Pour aider le programme à apprendre, les chercheurs ont essayé de lui donner un « indice » au début de chaque tentative : un court extrait d'un chemin parfait réalisé par un expert. Cela donne au programme un coup de pouce, le plaçant plus près de la ligne d'arrivée afin qu'il puisse apprendre les étapes restantes. Cependant, une question cruciale demeure : quelle proportion du chemin de l'expert doit être montrée ? Si l'on en montre trop peu, le programme est toujours perdu ; si l'on en montre trop, il se contente de copier l'expert sans rien apprendre de nouveau.

Pendant longtemps, les chercheurs ont abordé cette question comme s'il existait une quantité parfaite d'aide applicable à chaque tâche, ou ils ont tenté de deviner la bonne quantité pour chaque tâche spécifique en effectuant de nombreuses sessions d'entraînement supplémentaires et coûteuses pour tester différents niveaux d'aide. Une nouvelle étude menée par une équipe de l'Université de Zhejiang et de Baidu suggère que ces deux approches passent à côté de la plaque. Les chercheurs ont découvert que le « point idéal » pour l'aide n'est pas un point unique et précis, mais plutôt une plage. Pour toute tâche donnée, il existe une bande de différentes quantités d'aide qui fonctionnent bien, et cette bande se déplace en fonction de la difficulté de la tâche. Au lieu d'essayer de déterminer un nombre exact, l'équipe a développé une méthode qui traite la quantité d'aide appropriée comme une plage flexible qui change à mesure que l'ordinateur apprend. Ils appellent leur système Agent-G2.

Les chercheurs ont testé leur idée dans deux environnements exigeants : un monde textuel où un agent doit accomplir des tâches ménagères comme ramasser des objets ou nettoyer, et une boutique en ligne simulée où l'agent doit rechercher et acheter des articles spécifiques. Ils ont utilisé un modèle de langage comme cerveau de ces agents. Dans leurs expériences, ils ont découvert que la quantité d'aide la plus efficace forme une courbe en cloche autour du point idéal. Cela signifie que pour une tâche difficile, une large gamme de niveaux d'aide peut fonctionner, tandis que pour une tâche plus facile, la plage peut être plus étroite. De manière cruciale, ils ont constaté que la difficulté d'une tâche est étroitement liée à la longueur du chemin de l'expert. Une tâche nécessitant vingt étapes est généralement plus difficile qu'une tâche n'en nécessitant que deux.

Pour résoudre le problème de la recherche du bon niveau d'aide sans perdre de temps, Agent-G2 regroupe les tâches par leur longueur, puis utilise les résultats des sessions d'entraînement actuelles pour ajuster l'aide pour la session suivante. Si le groupe de tâches courtes réussit trop facilement, le système réduit automatiquement la quantité d'aide accordée. Si les tâches longues échouent, il augmente l'aide. Le système procède en calculant un point central et un écart pour chaque groupe de tâches, créant ainsi une carte dynamique de l'endroit où l'apprentissage doit avoir lieu. Il choisit ensuite de manière aléatoire une quantité spécifique d'aide à partir de cette carte pour chaque nouvelle tentative. Cette approche permet au système d'explorer simultanément une variété de points de départ utiles, garantissant que les tâches faciles et difficiles reçoivent toutes deux le type de poussée approprié sans nécessiter d'essais supplémentaires pour déterminer les réglages.

Les résultats ont été frappants. Sur l'environnement de tâches ménagères, la nouvelle méthode a atteint un taux de réussite de 95,3 % avec un petit modèle et de 98,4 % avec un plus grand. Cela a surpassé les méthodes existantes les plus performantes utilisant des indices, ainsi que celles qui tentaient d'apprendre sans aucun indice. Plus important encore, la nouvelle méthode a obtenu ces résultats en utilisant beaucoup moins de ressources informatiques que les meilleures méthodes précédentes qui tentaient de deviner le bon niveau d'aide pour chaque tâche individuellement. Ces anciennes méthodes nécessitaient de mener de nombreuses sessions d'entraînement supplémentaires pour trouver la réponse, ce qui est lent et coûteux. Le nouveau système a appris les bons réglages à la volée, en utilisant les mêmes données qu'il collectait déjà pour améliorer l'agent.

L'étude a également montré que le système fonctionne bien à travers différentes tailles de modèles informatiques, prouvant que la manière dont l'aide est délivrée est tout aussi importante que la taille du cerveau qui apprend. En fait, le petit modèle utilisant ce système de guidage intelligent a mieux performé que des modèles beaucoup plus grands utilisant des méthodes plus anciennes et moins sophistiquées. Les chercheurs ont noté que leur méthode repose sur la disponibilité d'un exemple de chemin parfait pour chaque tâche pour commencer. Si de tels chemins parfaits n'existent pas, le système ne peut pas être utilisé directement. Cependant, pour de nombreux problèmes du monde réel où des experts peuvent démontrer le chemin correct, cette approche offre un moyen puissant d'enseigner à l'intelligence artificielle comment apprendre de ses propres erreurs, plutôt que de simplement copier ce qu'elle voit. En traitant la bonne quantité de guidage comme une plage flexible plutôt que comme un nombre fixe, les chercheurs ont trouvé une façon plus efficace et robuste d'aider les machines à maîtriser des objectifs complexes à long terme.

Résumé Technique : Agent-G2 : Guidance Gaussienne pour l'Apprentissage par Renforcement Agentique

1. Énoncé du Problème

L'apprentissage par renforcement (RL) pour les agents basés sur les LLM (Large Language Models) fait face à un défi critique dans les tâches de prise de décision à long horizon : la rareté des récompenses (reward sparsity). Dans des environnements tels que la navigation web ou le contrôle incarné, les agents ne reçoivent souvent qu'un signal de succès binaire à l'état terminal après des dizaines de décisions séquentielles. Par conséquent, l'exploration on-policy à partir de l'état initial atteint rarement un état terminal de succès, entraînant un « effondrement de l'avantage » (advantage collapse) dans les algorithmes d'entraînement comme le Group Relative Policy Optimization (GRPO).

Le RL basé sur des indices (Hint-based RL) tente d'atténuer ce problème en conservant un préfixe d'une trajectoire experte avant chaque déroulement (rollout), permettant à la politique d'explorer à partir d'un état plus proche du succès. Cependant, l'efficacité de cette approche dépend de la profondeur de l'indice ( $d$ ) : la proportion de la trajectoire experte à conserver.

Trop peu d'indices : La politique démarre trop tôt, ce qui résulte en peu de déroulements réussis.
Trop d'indices : La récompense devient saturée, éliminant le contraste nécessaire à une estimation efficace de l'avantage.

Les méthodes existantes traitent cette profondeur comme un scalaire déterministe, ce qui conduit à deux paradigmes sous-optimaux :

Méthodes basées sur un calendrier (Schedule-based) : Partagent une valeur de profondeur unique pour tous les échantillons d'un lot (par exemple, en fonction des étapes d'entraînement). Cela ignore l'hétérogénéité par tâche, car les tâches au sein d'un même lot peuvent varier considérablement en difficulté (par exemple, une tâche de 2 étapes vs une tâche de 20 étapes).
Méthodes de sondage par échantillon (Per-sample probing) : Estiment une profondeur optimale pour chaque échantillon via une recherche binaire ou une énumération. Bien que plus précises, elles engendrent un coût computationnel élevé ( $O(\log n)$ ou $N \times$ déroulements supplémentaires par échantillon) et introduisent du bruit sous des budgets de déroulement limités.

Les auteurs identifient un décalage structurel fondamental dans ces approches : elles supposent qu'une profondeur optimale unique existe par tâche. L'analyse empirique révèle que les profondeurs d'indices utiles occupent une « bande » de profondeurs autour d'un point optimal, avec un profil d'informativité approximativement gaussien.

2. Méthodologie : Agent-G2

Les auteurs proposent Agent-G2, un cadre de guidance gaussienne qui modélise la profondeur de l'indice comme une distribution gaussienne par tâche ( $N(\mu_i, \sigma_i^2)$ ) plutôt que comme un scalaire. Cette distribution est estimée en ligne à partir des statistiques de déroulement collectées pendant l'optimisation de la politique, ne nécessant ni déroulements de sondage supplémentaires, ni réseaux de prédiction de profondeur appris.

Composants Clés

Clustering Hors-ligne :
Les tâches sont partitionnées en $K$ clusters basés sur la longueur de la trajectoire experte (un proxy de la difficulté). Cela permet au système de gérer l'hétérogénéité en maintenant des statistiques distinctes pour différents niveaux de difficulté.
Calendrier Gaussien Adaptatif :
Pour chaque tâche $i$ dans le cluster $k$ , les paramètres $\mu_i$ (centre) et $\sigma_i$ (dispersion) sont calculés dynamiquement :
- Base Globale ( $\mu_{global}$ ) : Suit la progression globale de la politique. Elle est ajustée en fonction du taux de succès du lot ( $acc_B$ ) par rapport à un taux de succès cible ( $p_{target} = 0.5$ ), le régime « juste apprenable ».
- Statistiques de Cluster : Pour chaque cluster $k$ , le système maintient des moyennes mobiles exponentielles (EMA) du taux de succès empirique ( $A_k$ ) et de la variance ( $V_k$ ).
- Calcul des Paramètres :
  - $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : Ajuste le centre en fonction de la difficulté du cluster par rapport à la base globale.
  - $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : Définit la dispersion basée sur la variance au sein du cluster, assurant une couverture plus large pour les tâches hétérogènes.
Échantillonnage et Déroulement :
Pour chaque tâche, un ratio d'indice $r_i$ est échantillonné à partir de $N(\mu_i, \sigma_i^2)$ et écrêté à $[0, 1]$ . Cela détermine la longueur du préfixe $n_i$ . L'agent exécute le préfixe expert pour atteindre un état $s_i$ , puis effectue $R$ déroulements indépendants à partir de $s_i$ .
Boucle d'Entraînement :
- Mise à jour de la Politique : La politique est mise à jour en combinant la perte GRPO (sur les $R$ déroulements) et une perte auxiliaire ( $L_{aux}$ ) sur les préfixes experts échantillonnés (apprentissage par imitation).
- Mise à jour du Calendrier : Les mêmes déroulements utilisés pour les mises à jour de la politique rafraîchissent la base globale et les statistiques de cluster ( $A_k, V_k$ ) pour le lot suivant. Cela crée un système en boucle fermée où la distribution de l'indice évolue avec les capacités de la politique.

3. Principales Contributions

Intuition Structurelle : L'article révèle que les profondeurs d'indices informatives forment une bande plutôt qu'un point unique. Le profil du signal d'entraînement au sein de cette bande est unimodal, symétrique et bien ajusté par une distribution gaussienne. Cela explique les modes de défaillance des planificateurs à profondeur partagée (décalage structurel) et du sondage par échantillon (compromis bruit/coût).
Cadre Agent-G2 : Un nouveau cadre qui estime les distributions de profondeur par tâche en ligne en utilisant une décomposition globale-locale. Il atteint une variation de profondeur par tâche sans déroulements de sondage supplémentaires ou réseaux auxiliaires.
Supériorité Empirique : Une évaluation approfondie sur ALFWorld et WebShop utilisant les modèles Qwen2.5-1.5B et 7B démontre qu'Agent-G2 surpasse les meilleures lignes de base (incluant les méthodes basées sur les indices, sans indices et l'RL auxiliaire) tout en opérant à moins d'un tiers du coût de déroulement des méthodes de sondage par échantillon.

4. Résultats Expérimentaux

ALFWorld : Agent-G2 a atteint 95,3 % de succès (modèle 1.5B) et 98,4 % (modèle 7B). Cela représente des améliorations de +2,3 et +3,9 points par rapport aux bases les plus fortes avec et sans indices, respectivement.
WebShop : Agent-G2 a obtenu un score de récompense de 92,3 et un succès d'achat de 84,4 % (modèle 7B), surpassant toutes les bases non-probing.
Efficacité : Bien qu'Agent-G2 ait un léger surcoût par étape par rapport aux méthodes simples de calendrier, il est nettement moins coûteux (3,24x–4,83x plus rapide) que les méthodes de sondage (Recherche Binaire, Énumération) car il évite les déroulements supplémentaires.
Études d'Ablation :
- Supprimer l'échantillonnage stochastique (en utilisant uniquement la moyenne $\mu_i$ ) a fait chuter la performance de 5,5 points, confirmant la nécessité de couvrir la bande informative.
- Supprimer l'adaptation spécifique au cluster ( $K=1$ ) a fait chuter la performance de 6,2 points, soulignant l'importance de gérer l'hétérogénéité des tâches.
- La perte auxiliaire ( $L_{aux}$ ) a apporté de la stabilité (+8,6 points) mais n'était pas le moteur principal de la performance ; le GRPO appris sur les états post-préfixe était crucial.

5. Signification et Revendications

L'article affirme qu'Agent-G2 représente un changement de paradigme : traiter la profondeur de l'indice non plus comme un hyperparamètre statique et déterministe, mais comme une variable dynamique et probabiliste. En modélisant le « voisinage » d'un indice utile plutôt qu'un point unique, la méthode équilibre efficacement l'exploration et l'exploitation dans les tâches à long horizon.

Les auteurs soulignent que la conception du calendrier peut substituer l'augmentation du backbone. Notamment, le modèle 1.5B avec Agent-G2 a surpassé la base BEACON de 7B, suggérant que des stratégies de guidance intelligentes peuvent compenser une capacité de modèle limitée.

Limites Reconnues :

La méthode nécessite un trajet expert par tâche ; elle ne peut pas être appliquée directement là où de telles données sont indisponibles.
La paramétrisation gaussienne est motivée empiriquement ; les tâches avec des profils de profondeur multimodaux ou fortement asymétriques pourraient nécessiter des distributions plus riches.
Le clustering de difficulté est actuellement basé sur la longueur de la trajectoire hors-ligne ; l'estimation de la difficulté en ligne est une direction future potentielle.

En résumé, Agent-G2 fournit une solution évolutive et rentable à la rareté des récompenses dans le RL agentique en exploitant la structure statistique de la profondeur de l'indice, éliminant le besoin de sondages coûteux tout en s'adaptant en temps réel à l'hétérogénéité des tâches.