Résumé technique : Apprentissage de politiques guidé par des jalons pour des agents linguistiques à horizon long (BEACON)

Énoncé du problème

L'entraînement d'agents linguistiques à exécuter des tâches à horizon long, nécessitant des dizaines de décisions séquentielles, via l'apprentissage par renforcement (RL) se heurte à deux limitations fondamentales inhérentes aux méthodes d'optimisation au niveau des trajectoires comme GRPO :

1. Mauvaise attribution du crédit : Les méthodes actuelles attribuent le crédit uniquement sur la base des résultats terminaux. Par conséquent, des actions initiales correctes sont pénalisées si les actions subséquentes conduisent à un échec. Cela crée des signaux de gradient contradictoires pour des paires état-action identiques selon la stochasticité en aval, provoquant un conflit de gradient et un effondrement de l'apprentissage à mesure que les horizons des tâches s'allongent.
2. Inefficacité de l'échantillonnage : À mesure que les horizons des tâches s'allongent, les trajectoires réussies deviennent rares. Crucialement, les trajectoires qui atteignent des sous-objectifs significatifs mais échouent sur l'objectif final reçoivent la même récompense nulle que les échecs complets. Cela rejette des signaux d'apprentissage précieux issus de « succès partiels », conduisant à une proportion élevée d'échantillons ne fournissant aucun gradient utile.

Les tentatives existantes pour densifier l'attribution du crédit, telles que les modèles de récompense de processus (PRM) ou l'estimation de valeur par Monte Carlo, introduisent des coûts d'annotation prohibitifs, une surcharge computationnelle, ou reposent sur des motifs de récurrence d'état qui s'estompent dans les contextes à horizon long.

Méthodologie : Cadre BEACON

Les auteurs proposent BEACON (Benchmarking Environment for Action-Oriented Navigation), un cadre qui exploite la structure compositionnelle des tâches à horizon long pour découpler l'attribution du crédit à travers les phases. L'hypothèse centrale est la propriété de Markov des jalons : une fois un sous-objectif sémantique (jalon) atteint, la distribution des trajectoires futures dépend principalement des sous-objectifs restants plutôt que de l'historique complet d'exécution.

BEACON fonctionne via trois mécanismes intégrés :

1. Partitionnement des trajectoires aux limites des jalons

Au lieu de traiter une trajectoire comme une séquence plate, BEACON la partitionne en segments basés sur des transitions d'état observables indiquant la complétion d'un sous-objectif (par exemple, saisir un objet, atteindre une page web). Un détecteur de jalons $\Phi$ identifie ces transitions à partir des retours de l'environnement sans nécessiter de modèles appris ni d'annotations manuelles.

• Résultat : Les trajectoires sont divisées en segments $Seg_k$ délimités par des jalons $M_k$.

2. Façonnage temporel des récompenses

Pour remédier à l'inefficacité de l'échantillonnage, BEACON attribue des récompenses façonnées au sein des segments pour créditer les progrès partiels.

• Mécanisme : Pour les actions dans un segment qui atteint avec succès un jalon, une récompense positive est attribuée avec un déclin temporel ($\gamma^{t_k - t}$). Les actions dans les segments qui échouent à atteindre un jalon reçoivent une récompense nulle.
• Effet : Cela transforme les signaux terminaux épars en retours d'information denses, garantissant que les agents apprennent à partir de trajectoires qui complètent des sous-objectifs même si la tâche finale échoue.

3. Estimation d'avantage à double échelle

Pour résoudre la mauvaise attribution du crédit, BEACON estime les avantages à deux échelles :

• Avantage au niveau de la trajectoire ($A_{traj}$) : Calculé globalement sur la base des résultats terminaux (similaire à GRPO) pour maintenir l'alignement avec la réussite globale de la tâche.
• Avantage au niveau du segment ($A_{seg}$) : Calculé localement en comparant le retour d'un segment uniquement avec d'autres trajectoires ayant atteint le même jalon.
• Isolation de la variance : En restreignant les groupes de comparaison aux trajectoires partageant le même historique de jalons, $A_{seg}$ isole la qualité des actions locales de la variance introduite par les segments subséquents. Cela empêche les actions initiales correctes d'être pénalisées par des échecs ultérieurs.
• Combinaison : L'avantage final est une somme pondérée : $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

Contributions clés

1. Diagnostic des limitations : L'article identifie et quantifie empiriquement la mauvaise attribution du crédit (plus de 40 % des mises à jour de gradient contiennent des signaux contradictoires dans les tâches longues) et l'inefficacité de l'échantillonnage (succès partiels générant une récompense nulle) comme causes racines de l'effondrement des performances dans le RL à horizon long.
2. Cadre BEACON : Introduction d'un cadre d'apprentissage de politiques guidé par des jalons qui partitionne les trajectoires, applique un façonnage temporel des récompenses et utilise une estimation d'avantage à double échelle pour découpler la qualité des actions locales de la variance en aval.
3. Garantie théorique : Une preuve démontrant que sous la propriété de Markov des jalons, les avantages au niveau du segment isolent la qualité des actions locales de la variance en aval, répondant directement à la mauvaise attribution du crédit.
4. Validation empirique : Évaluation complète sur trois benchmarks diversifiés (ALFWorld, WebShop, ScienceWorld) démontrant que BEACON s'adapte efficacement à l'horizon de la tâche, contrairement aux bases de référence existantes.

Résultats expérimentaux

Les expériences ont été menées en utilisant les modèles Qwen2.5-1.5B et Qwen2.5-7B sur ALFWorld, WebShop et ScienceWorld.

• Performance sur les tâches à horizon long : Sur ALFWorld, BEACON atteint un taux de réussite de 92,9 % sur les tâches longues, presque le double des 53,5 % atteints par GRPO. En revanche, GRPO se dégrade fortement, passant de 76,7 % sur les tâches courtes à 53,5 % sur les tâches longues.
• Efficacité de l'échantillonnage : BEACON améliore l'utilisation effective des échantillons de 23,7 % (GRPO) à 82,0 %, extrayant avec succès des signaux d'apprentissage des succès partiels que d'autres méthodes rejettent.
• Qualité du gradient : Le ratio d'avantage nul (échantillons recevant un avantage proche de zéro) chute d'environ 55 % (GRPO) à environ 10 % (BEACON), et le ratio d'actions contradictoires est considérablement réduit.
• Comparaison avec le SFT : BEACON surpasse le fine-tuning supervisé (SFT) sur les trajectoires oracles (91,4 % contre 43 %), confirmant que les gains proviennent de l'optimisation de la politique découvrant des stratégies supérieures à l'oracle, plutôt que d'une simple imitation.
• Robustesse : BEACON maintient des performances robustes sur les horizons courts, moyens et longs, tandis que les bases de référence comme GRPO et GiGPO montrent une dégradation significative à mesure que la longueur de la tâche augmente.

Importance et affirmations

L'article affirme que l'attribution du crédit ancrée sur des jalons représente un paradigme efficace pour l'entraînement d'agents linguistiques à horizon long. En exploitant la structure compositionnelle inhérente aux tâches d'agents, BEACON surmonte l'effondrement systématique des performances associé à l'augmentation des séquences de décisions.

Les auteurs soulignent que leur méthode ne nécessite pas de modèles de récompense de processus coûteux ni de critiques appris supplémentaires. Au lieu de cela, elle utilise des transitions d'état observables pour fournir une attribution du crédit précise, permettant aux agents d'apprendre efficacement à partir de succès partiels et de résoudre les conflits de gradient. Les résultats suggèrent que les priors structurels (jalons) sont critiques pour mettre à l'échelle le RL dans les agents linguistiques, offrant une voie vers des systèmes autonomes plus capables pour des tâches complexes et multi-étapes telles que la navigation web, le contrôle incarné et l'expérimentation scientifique.