Résumé Technique : TRIAGE – Attribution de Crédit par Type de Rôle pour l'Apprentissage par Renforcement Agentique

1. Énoncé du Problème

Dans l'apprentissage par renforcement (RL) agentique, les agents interagissent avec des environnements à travers des séquences d'actions (par exemple, recherches, clics, éditions, navigation) pour atteindre un objectif final. Le standard GRPO (Group Relative Policy Optimization) attribue le crédit en se basant uniquement sur le résultat du vérificateur final (succès ou échec). Ce signal de résultat est diffusé uniformément à tous les jetons d'action au sein d'une trajectoire.

Les auteurs identifient que cette approche « uniquement basée sur le résultat » est structurellement incomplète pour les tâches agentiques, créant deux angles morts systématiques :

1. Exploration Utile dans les Trajectoires Échouées : Les trajectoires qui échouent peuvent contenir des actions critiques de collecte d'informations (par exemple, lire un fichier, exécuter un test) qui ont amélioré l'état de croyance de l'agent mais n'ont pas immédiatement résolu la tâche. La punition uniforme supprime ces comportements d'exploration précieux.
2. Régression dans les Trajectoires Réussies : Les trajectoires qui réussissent peuvent contenir des actions redondantes, nuisibles ou régressives (par exemple, mauvaises éditions, clics répétés) dont l'agent s'est rétabli par la suite. Le renforcement uniforme crédite incorrectement ces étapes nuisibles simplement parce que le résultat final est positif.

Le problème central est que le signal de résultat final ne peut pas distinguer entre le rôle sémantique d'un segment local (par exemple, progrès décisif vs exploration vs régression) et le succès global de la trajectoire.

2. Méthodologie : TRIAGE

Les auteurs proposent TRIAGE, un cadre qui introduit un axe de rôle sémantique pour compléter l'axe du résultat. TRIAGE ne remplace pas le vérificateur mais augmente le processus d'attribution de crédit par une correction structurée et conditionnée par le rôle.

2.1 Taxonomie des Rôles

Le cadre classifie chaque segment faisant face à l'environnement en l'un des quatre rôles sémantiques suivants :

• Décisif (D) : Actions qui produisent un progrès vérifiable par le vérificateur ou complètent un sous-objectif nécessaire (par exemple, acheter un article, soumettre une réponse).
• Exploration (E) : Actions qui révèlent un état pertinent ou améliorent l'état d'information sans complétion immédiate de la tâche (par exemple, lire un test, inspecter un conteneur).
• Absence de Progrès (N) : Actions d'infrastructure inoffensives qui ne changent ni l'état de la tâche ni l'état de croyance (par exemple, traversées vides, clics redondants).
• Régression (R) : Actions qui corrompent l'état ou répètent l'information sans gain (par exemple, mauvaises éditions, mauvais achats).

2.2 L'Algorithme TRIAGE

TRIAGE opère en deux étapes durant la boucle d'entraînement GRPO :

1. Jugement de Rôle Structuré : Une fenêtre de contexte local bornée (par exemple, 5 paires action-observation passées et 5 futures) est transmise à un juge LLM structuré. Le juge assigne une étiquette de rôle discrète ($\rho \in \{D, E, N, R\}$) à chaque segment. Crucialement, le juge n'est pas utilisé comme un modèle de récompense non contraint ; il agit comme un classificateur pour diagnostiquer le rôle sémantique local.
2. Attribution de Crédit Conditionnée par le Rôle : L'avantage pour un segment $k$ dans une trajectoire $i$ est calculé comme suit :
   $$A^{TRIAGE}_{i,k} = A^{GRPO}_i + \lambda c_{\hat{\rho}_{i,k}}$$
   Où :
   • $A^{GRPO}_i$ est l'avantage de trajectoire standard normalisé par groupe (la direction d'optimisation).
   • $c_{\hat{\rho}}$ est une constante de récompense de processus fixe spécifique au rôle assigné (par exemple, $c_D=1, c_E=0.5, c_N=-0.1, c_R=-0.5$).
   • $\lambda$ est un hyperparamètre contrôlant la force de mélange du signal local.

Cette conception garantit que le résultat de la trajectoire reste la source primaire de la direction d'optimisation, tandis que les étiquettes de rôle fournissent des corrections segmentées et bornées pour traiter les angles morts.

2.3 Justification Théorique

L'article fournit une justification théorique montrant que le crédit conditionné par le rôle est la correction de segment optimale en erreur quadratique moyenne (MSE) exprimable à partir des étiquettes de rôle seules.

• Le « résidu de crédit » (la différence entre le véritable avantage par segment et l'avantage uniforme de la trajectoire) est projeté sur la variable de rôle.
• Si les étiquettes de rôle expliquent une partie de ce résidu (c'est-à-dire que $E[\delta | \rho] \neq 0$), la correction conditionnée par le rôle réduit l'erreur d'estimation de l'avantage par rapport à la diffusion uniforme.
• Cette réduction de l'erreur d'estimation est liée à des gradients de politique à plus faible variance, à condition que le juge soit fiable.

3. Contributions Clés

1. Identification des Angles Morts : Le papier définit formellement les deux échecs structurels du crédit basé uniquement sur le résultat : la suppression de l'exploration utile dans les trajectoires échouées et le renforcement de la régression dans les trajectoires réussies.
2. Cadre TRIAGE : Introduction d'un système d'attribution de crédit par type de rôle utilisant un juge LLM structuré pour le diagnostic sémantique et des règles fixes conditionnées par le rôle pour l'ajustement du crédit, maintenant le GRPO comme signal de base.
3. Fondement Théorique : Preuve que le crédit conditionné par le rôle est la projection optimale de l'avantage résiduel sur les étiquettes de rôle, liant le typage de rôle fiable à une réduction de la variance des gradients de politique.
4. Validation Empirique : Évaluation complète sur trois benchmarks agentiques (ALFWorld, Search-QA, WebShop) démontrant que les gains proviennent spécifiquement du typage par rôle plutôt que de l'ajout de simples récompenses denses.

4. Résultats Expérimentaux

Les auteurs ont évalué TRIAGE sur ALFWorld (planification incarnée), Search-QA (récupération) et WebShop (e-commerce) en utilisant deux modèles de politique (Qwen2.5-7B et Qwen3-1.7B).

• Gains de Performance : TRIAGE a systématiquement surpassé la ligne de base GRPO standard.
  • Sur Qwen2.5-7B, les taux de succès se sont améliorés jusqu'à 7,9 points de pourcentage (ex: ALFWorld : 79,6% $\to$ 87,5%).
  • Sur Qwen3-1.7B, les améliorations étaient encore plus significatives, atteignant jusqu'à 18,4 points de pourcentage.
• Efficacité : TRIAGE a réduit le nombre de tours faisant face à l'environnement dans les trajectoires complétées de 10,4 % (ALFWorld) et de 14,8 % (WebShop) par rapport à GRPO.
• Études d'Ablation :
  • Typage de Rôle vs Récompenses Denses : Une ligne de base de récompense de processus scalaire (utilisant le même juge mais sans typage de rôle) s'est améliorée par rapport à GRPO mais a été moins performante que TRIAGE. Cela confirme que le gain provient de la distinction sémantique des rôles, et non de l'ajout d'un simple signal de récompense dense.
  • Suppression de la Régression : La source dominante d'amélioration était la suppression du crédit de régression dans les trajectoires réussies (élimination de l'angle mort "R dans le succès").
  • Fiabilité du Juge : La capacité de « réflexion » (thinking) du juge LLM était critique. Un juge sans capacité de réflexion a échoué à détecter la régression dans les succès, causant une sous-performance de TRIAGE par rapport à GRPO. Cela souligne qu'un diagnostic de rôle précis est un prérequis au succès de la méthode.
• Lignes de Base : TRIAGE a surpassé une valeur de base apprise avec squelette partagé et une méthode de regroupement d'états (GiGPO), particulièrement dans WebShop où les actions régressives (clics répétés) sont indiscernables pour les têtes de valeur entraînées par le résultat, mais claires pour un classificateur de rôle sémantique.

5. Signification et Revendications

Le papier affirme que le RL agentique nécessite un axe de rôle sémantique en plus de l'axe du résultat. La principale signification réside dans la distinction que l'exploration n'est pas une "absence de progrès". En catégorisant explicitement les actions qui améliorent l'état de croyance de l'agent (exploration) par rapport à celles qui corrompent l'état (régression), TRIAGE permet l'entraînement dans des environnements à récompenses éparses sans comportement fragile.

Les auteurs soulignent que TRIAGE est une voie structurée pour les agents dont le succès dépend de la collecte d'informations et du rétablissement. La méthode ne suppose pas que le juge est parfait ; elle repose plutôt sur la capacité du juge à effectuer une correction d'erreur asymétrique (trouver les étapes utiles dans les échecs et les étapes nuisibles dans les succès). Les résultats théoriques et empiriques suggèrent que tant que le juge est suffisamment fiable pour identifier ces cellules de conflit spécifiques, la correction conditionnée par le rôle réduit l'erreur d'estimation de l'avantage et conduit à un apprentissage de politique plus efficace et robuste.