Résumé Technique : ECHO - Prune to Act, Trace to Learn with Selective Turn Memory in Agentic RL

1. Énoncé du Problème

Les agents de langage à long horizon opérant dans des environnements d'utilisation d'outils (ex: recherche, codage, recherche approfondie) sont confrontés à un goulot d'étranglement fondamental : la nécessité de conserver des observations historiques utiles au sein d'une fenêtre de contexte bornée tout en identifiant simultanément quels tours spécifiques ont contribué à un résultat final réussi pour l'apprentissage par renforcement (RL).

Les méthodes existantes de gestion de contexte (troncation, résumé, récupération) permettent des déploiements plus longs mais introduisent deux limitations couplées :

1. Perte de Preuves Granulaires : À mesure que le nombre de tours augmente, les observations lointaines sont soit supprimées, soit compressées en états condensés (ex: résumés progressifs). Cela rend de plus en plus difficile pour la politique la réutilisation de preuves spécifiques et fines nécessaires à un raisonnement complexe.
2. Perte de Traçabilité pour l'Assignation de Crédit : Une fois que les tours originaux ne sont plus adressables à la source (c'est-à-dire que les jetons bruts sont remplacés par un résumé), le RL basé sur le résultat perd un chemin explicite pour aligner les mises à jour de la politique avec l'évidence spécifique qui a soutenu une réponse réussie. L'assignation standard de l'avantage au niveau de la trajectoire dans des méthodes comme GRPO propage le crédit de manière dense sur tous les jetons générés, renforçant ainsi les recherches redondantes, le raisonnement incident ou les jetons de génération de résumé, parallèlement aux étapes de collecte d'informations réellement utiles.

Ce manque d'adressabilité au niveau de la source conduit à des modes d'échec empiriques où les déploiements plus longs entraînent une « prolifération de tours », des volumes de trajectoires plus importants et un entraînement plus lent sans gain proportionnel de précision.

2. Méthodologie : ECHO

Les auteurs proposent ECHO (Selective Turn-Memory Framework), un système conçu pour traiter conjointement l'effondrement de l'historique et l'apprentissage traçable via une reconstruction indexée à la source. ECHO repose sur le principe « Prune to Act, Trace to Learn » (Élaguer pour Agir, Tracer pour Apprendre).

2.1 Reconstruction de la Mémoire de Tour Sélective

Au lieu de condenser l'historique en un seul état de résumé, ECHO maintient un ensemble non dégradant de registres de mémoire.

• Mémoire de Tour Indexée à la Source : Après chaque tour d'utilisation d'outil terminé $u_i = (a_i, o_i)$, l'agent génère une découverte locale compacte $s_i$ et la parse en un enregistrement de mémoire $e_i = (i, \alpha_i, m_i)$. Ici, $i$ est l'indice du tour source, $\alpha_i$ est un rendu compact de l'action/appel d'outil, et $m_i$ est la découverte analysée. Cet ensemble $M_j$ reste lié aux tours environnementaux originaux même lorsque les observations brutes sortent du contexte actif.
• Sélection de Mémoire Autorégressive : Aux limites de compression, la politique est sollicitée pour sélectionner un sous-ensemble de mémoires historiques utiles pour poursuivre la tâche. Le contexte de sélection comprend l'état actuel borné et un rendu d'une liste de mémoires indexées à la source. La politique produit des indices sources ($bI^{sel}_j$) d'évidences réutilisables, de contraintes ou de tentatives échouées.
• Reconstruction de Contexte Borné : Le contexte de la politique pour le segment suivant est reconstruit en rendant les mémoires sources sélectionnées ($M_j[bI^{sel}_j]$) et en ajoutant les interactions locales récentes, garantissant que le contexte respecte le budget $B$.

2.2 Assignation de Crédit Guidée par la Provenance

ECHO utilise les mêmes indices sources sélectionnés pour la reconstruction du contexte afin d'acheminer le crédit de résultat, créant ainsi une « trace de provenance ».

• Masque de Crédit Dur au Niveau du Jeton : Contrairement aux méthodes standard qui assignent l'avantage au niveau de la trajectoire à tous les jetons, ECHO construit un masque $\mu^{(n)}_q$ qui marque les jetons spécifiques comme « jetons de crédit » :
  1. Les jetons du segment de réponse finale.
  2. Les jetons d'action des tours sources sélectionnés dans le contexte reconstruit final.
  3. Les jetons correspondant à la « découverte du dernier tour » de ces tours sources sélectionnés.
  4. Tous les jetons générés pendant les étendues d'action de la sélection de mémoire.
• Routage d'Avantage Positif : Pour les récompenses de vérificateur binaire, l'avantage est acheminé uniquement via ces jetons de crédit si la trajectoire présente un avantage relatif au groupe positif ($A^{(n)}_+ = \max(A^{(n)}, 0)$). Si le déploiement est incorrect ou inférieur à la ligne de base, aucun crédit traçable n'est assigné pour éviter une supervision bruitée provenant de tours sélectionnés potentiellement trompeurs.

3. Contributions Clés

Le papier formalise et implémente les contributions suivantes :

1. Interface de Reconstruction Unifiée : Une formalisation de la gestion de contexte pour le RL multi-tour qui sépare la gestion de l'état de l'historique, la reconstruction de contexte borné et la traçabilité au niveau de la source. Ce cadre souligne explicitement comment les méthodes d'historique condensé sacrifient la provenance nécessaire à l'assignation de crédit par résultat.
2. Cadre ECHO : Une méthode de mémoire de tour sélective qui stocke les tours terminés sous forme de mémoires indexées à la source et construit des contextes bornés via une sélection apprise plutôt qu'un effondrement global de l'historique.
3. Assignation de Crédit Guidée par la Provenance : Un mécanisme qui réutilise les indices sources sélectionnés pour router l'avantage de résultat positif spécifiquement vers les réponses finales, les tours d'évidences sources sélectionnés, leurs découvertes de mémoire, et les actions de sélection elles-mêmes.
4. Validation Empirique : Des démonstrations montrant qu'ECHO améliore la précision tout en réduisant la prolifération de tours et le volume de trajectoires par rapport aux lignes de base de résumé progressif, avec des gains constants sur les backbones denses et Mixture-of-Experts (MoE).

4. Résultats Expérimentaux

Les expériences ont été menées principalement sur BrowseComp-Plus, un benchmark de questions-réponses avec utilisation d'outils à long horizon, en utilisant les backbones Qwen3-32B-Instruct et Qwen3-30B-A3B-Instruct (MoE).

• Performance sur BrowseComp-Plus : ECHO a atteint 43,4 % de précision sur l'ensemble de test, surpassant significativement GRPO (28,9 %) et la ligne de base de résumé progressif SUPO (36,1 %).
• Efficacité : Bien que SUPO ait amélioré la précision par rapport à GRPO, il a souffert d'une prolifération rapide de tours (62,5 tours contre 45,3 pour ECHO) et d'un taux de division de trajectoire de 4,18x. ECHO a maintenu une précision plus élevée avec moins de tours (45,3) et un volume de trajectoire plus faible (3,13 trajectoires par déploiement).
• Généralisation Zero-Shot : ECHO a démontré une supériorité de généralisation à travers les benchmarks de QA multi-objectifs, de génération de code et de recherche d'information profonde. Sur le backbone dense, ECHO a atteint en moyenne 40,2 %, surpassant SUPO (34,8 %) et GRPO (33,6 %). Des tendances similaires ont été observées sur le backbone MoE.
• Études d'Ablation :
  • Remplacer la sélection apprise par une récupération sémantique statique top-k a considérablement réduit la précision, confirmant la nécessité d'une sélection pilotée par la politique.
  • Supprimer le masque de crédit traçable (revenant à une assignation dense) a réduit à la fois la précision et la stabilité, validant l'importance des mises à jour guidées par la provenance.

5. Signification et Revendications

Le papier affirme que préserver la provenance lors de la gestion du contexte est un mécanisme pratique pour rendre la recherche à long horizon plus utile, et non simplement plus longue.

• Alignement de l'Action et de l'Apprentissage : En utilisant la reconstruction indexée à la source, ECHO aligne l'évidence conservée pour les décisions futures avec l'évidence renforcée après les déploiements réussis. Cela résout la tension entre l'efficacité du contexte (agir) et l'assignation de crédit (apprendre).
• Au-delà du Résumé : Les résultats suggèrent que simplement étendre les déploiements via la summarisation (comme dans SUPO) est insuffisant et peut conduire à des comportements de recherche inefficaces. La reconstruction traçable permet à l'agent d'élaguer l'historique pour agir tout en conservant les « miettes de pain » spécifiques nécessaires pour des mises à jour de RL efficaces.
• Généralisabilité : Le cadre n'est pas limité à une architecture de backbone spécifique, montrant des performances robustes à travers les modèles denses et MoE, et se transfère efficacement à divers domaines zero-shot.

Les auteurs reconnaissent des limites, notant qu'ECHO utilise une « approximation de trace finale » pour l'assignation de crédit (ne suivant pas de manière récursive toute la chaîne de dépendance des tours sélectionnés) et se concentre principalement sur les agents d'utilisation d'outils textuels, laissant les réglages GUI et multi-agents aux travaux futurs.