Résumé Technique : Optimisation d'Agents Récursifs (RAO)

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés sur des tâches complexes du monde réel impliquant de longs horizons, une grande mémoire de travail effective et une exploration substantielle. Bien que de nombreuses telles tâches se prêtent naturellement à des stratégies de division et de conquête, les systèmes récursifs et multi-agents existants traitent généralement la récursivité comme un échafaudage statique, appliqué au moment de l'inférence, autour d'un modèle préentraîné. Dans ces systèmes, le modèle lui-même n'est pas entraîné à décider quand la délégation est bénéfique, comment formuler des sous-tâches efficaces, comment communiquer entre les niveaux d'exécution, ou comment combiner les sorties des sous-agents. Par conséquent, il existe un écart dans l'entraînement des modèles pour exploiter efficacement l'inférence récursive comme une primitive apprise plutôt que comme une contrainte architecturale fixe.

Méthodologie : Optimisation d'Agents Récursifs (RAO)

Les auteurs introduisent l'Optimisation d'Agents Récursifs (RAO), une approche d'apprentissage par renforcement (RL) conçue pour l'entraînement de bout en bout d'agents récursifs. Contrairement aux travaux antérieurs qui figent le schéma d'orchestration, le RAO entraîne une politique unique partagée ($\pi_\theta$) qui est instanciée à chaque nœud d'un arbre d'exécution généré dynamiquement.

1. Formulation de l'Agent et Inférence

L'agent opère dans un environnement où il alterne raisonnement en langage naturel et exécution de code dans un REPL Python. L'espace d'actions est étendu pour inclure une fonction asynchrone launch_subagent(goal, ...).

• Arbres d'Exécution Dynamiques : Lors de la résolution d'une tâche $X$, la politique peut engendrer zéro ou plusieurs agents enfants sur des sous-tâches déléguées $X_1, \dots, X_n$. Le nombre et le contenu de ces sous-tâches sont choisis par la politique elle-même.
• Concurrence : L'agent parent peut lancer les enfants séquentiellement ou simultanément (en utilisant asyncio.gather) selon les dépendances de la tâche.
• Bornitude : Des limites explicites sont imposées sur la profondeur de récursivité et le nombre d'étapes d'environnement par instance d'agent pour garantir un calcul borné.

2. Conception de la Récompense (Récompense de Nœud Local)

Le RAO emploie une structure de récompense locale pour améliorer l'attribution de crédit à travers l'arbre d'exécution. Pour un nœud correspondant à la tâche $X$ avec la trajectoire $\tau_X$ et les enfants immédiats $C(X)$, la récompense est définie comme suit :
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$ : Le signal de succès pour le nœud actuel, dérivé d'une vérification exacte, d'un juge LLM, ou d'un proxy (par exemple, le succès de la tâche racine) si la supervision locale est indisponible.
• Bonus de Délégation : Le second terme récompense l'agent en fonction du taux de succès de ses enfants immédiats. Le paramètre $\lambda$ contrôle l'intensité de ce bonus.
• Raison d'être : Cette conception encourage une délégation productive plutôt que de simplement engendrer plus d'enfants. Elle fournit des signaux de supervision denses, en particulier au début de l'entraînement lorsque le succès de la tâche racine est rare.

3. Optimisation de la Politique

L'objectif est d'optimiser la politique partagée à la fois sur les tâches racines et sur les descendants générés par la politique. La fonction objectif $J(\theta)$ somme les récompenses attendues sur toutes les profondeurs $d$ du déploiement récursif :
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• Effet de Curriculum : La structure récursive génère naturellement des tâches apparentées de difficulté variable, créant un curriculum implicite où les sous-tâches sont souvent plus simples ou plus structurées que la tâche racine.
• Estimation de l'Avantage : Pour gérer le nombre variable de trajectoires à différentes profondeurs, les auteurs utilisent une ligne de base leave-one-out calculée à partir des récompenses de déploiement racine.
• Pondération par Niveau de Profondeur : Pour éviter que l'optimisation ne soit dominée par les niveaux plus profonds (qui peuvent contenir exponentiellement plus de trajectoires), une pondération par fréquence inverse au niveau de la profondeur est appliquée. Les trajectoires provenant de profondeurs surreprésentées sont sous-pondérées pour préserver l'échelle globale de mise à jour.

Contributions Clés

1. Entraînement de Bout en Bout d'Agents Récursifs : Le RAO est la première méthode à entraîner conjointement une politique unique sur tous les nœuds d'un arbre récursif généré dynamiquement, enseignant au modèle à décider quand et comment déléguer.
2. Mécanisme de Récompense Novel : L'introduction d'une récompense de nœud local avec un bonus de délégation permet une attribution de crédit efficace dans des structures récursives profondes, alignant la politique sur la qualité de la délégation plutôt que simplement sur la quantité.
3. Primitive d'Inférence Évolutif : L'approche démontre que les agents récursifs peuvent évoluer vers des tâches dépassant la fenêtre de contexte du modèle et se généraliser à des problèmes nettement plus difficiles que ceux rencontrés pendant l'entraînement.
4. Gains d'Efficacité : La méthode montre une efficacité d'entraînement améliorée par rapport à l'entraînement d'agents uniques et peut réduire le temps réel pour les tâches parallélisables.

Résultats Expérimentaux

Les auteurs évaluent le RAO sur trois benchmarks : TEXTCRAFT-SYNTH (tâches d'artisanat synthétiques), OOLONG-REAL (agrégation de documents à long contexte) et DEEPDIVE (recherche approfondie avec recherche web multi-sauts).

• Expansion de la Fenêtre de Contexte : Sur TEXTCRAFT-SYNTH, les agents récursifs entraînés avec une fenêtre de contexte de 8K ont atteint 95 % de succès sur des tâches difficiles, égalant la performance des modèles entraînés avec des contextes de 40K. En revanche, les bases de référence d'agents uniques avec des contextes de 8K ont échoué complètement sur des tâches difficiles. De même, sur OOLONG-REAL, les agents récursifs ont traité des entrées allant jusqu'à 175K jetons malgré un entraînement avec une limite de 32K, alors que les agents uniques ne pouvaient pas lire l'entrée complète.
• Généralisation à des Tâches Plus Difficiles : Les agents entraînés uniquement sur des tâches TEXTCRAFT-SYNTH de difficulté moyenne se sont généralisés à des tâches difficiles avec un taux de succès de 88 %, contre 20 % pour les bases de référence d'agents uniques.
• Efficacité d'Entraînement : Les agents récursifs ont appris significativement plus vite que les bases de référence d'agents uniques sur tous les benchmarks, attribué aux récompenses de sous-agents structurées agissant comme des récompenses de processus denses et au curriculum auto-induit.
• Temps Réel : Pour les tâches parallélisables (TEXTCRAFT-SYNTH), les agents récursifs ont réduit le temps réel d'un facteur allant jusqu'à 2,5 par rapport aux agents uniques sur des tâches difficiles. Pour les tâches séquentielles (DEEPDIVE), bien que le temps réel ait augmenté en raison de la nature séquentielle des sous-tâches, le taux de succès est passé de 0,24 à 0,40.
• Délégation Adaptative : Les agents ont appris à adapter la profondeur de leur délégation à la difficulté de la tâche, s'étendant à des arbres plus profonds (jusqu'à 10 niveaux) pour des problèmes plus difficiles sans contraintes de profondeur explicites lors de l'inférence.

Signification et Revendications

L'article revendique que l'Optimisation d'Agents Récursifs représente un changement dans la façon dont les échafaudages au moment de l'inférence devraient être utilisés. Plutôt que de concevoir des échafaudages autour de modèles fixes, les modèles devraient être entraînés à les utiliser efficacement. Le RAO démontre que la récursivité est une primitive d'échelle d'inférence puissante qui fournit :

• Des fenêtres de contexte fraîches pour les sous-agents, étendant efficacement la mémoire de travail.
• Une structure de division et de conquête qui se généralise à des problèmes plus difficiles.
• Une allocation adaptative du calcul au moment du test.
• Des opportunités d'exécution parallèle.

Les auteurs positionnent le RAO comme une étape vers des « agents auto-organisés » capables de structurer dynamiquement leurs propres processus de résolution de problèmes. Ils notent que, bien que leurs expériences se concentrent sur des domaines spécifiques, l'approche suggère un principe plus large pour entraîner des agents à exploiter des structures complexes au moment de l'inférence. Un travail futur est identifié comme nécessaire pour aborder les procédures d'échantillonnage de substitution pour les déploiements coûteux et pour entraîner des agents récursifs généralistes capables de transférer des stratégies de délégation à travers des domaines qualitativement différents.