Résumé technique : Le Planificateur compte ! Un cadre de collaboration multi-agents efficace et déséquilibré pour la planification à long terme

Énoncé du problème

Les agents basés sur des modèles de langage (LM) ont démontré des capacités à automatiser des tâches complexes à partir d'instructions en langage naturel, mais continuent de lutter contre la planification et le raisonnement à long terme. Une difficulté centrale identifiée est qu'un agent monolithique unique échoue souvent à exceller simultanément dans la gestion des objectifs de haut niveau et l'exécution d'actions de bas niveau. Lorsqu'un agent se concentre excessivement sur les détails de bas niveau, il peut exécuter correctement des étapes locales mais manquer l'objectif global (par exemple, cliquer correctement mais échouer à comparer des options). Inversement, se concentrer trop sur les objectifs de haut niveau peut entraîner des échecs d'exécution dus à des erreurs mineures (par exemple, manquer des changements d'état). Les agents existants font également face à des défis dans les tâches nécessitant des intentions compositionnelles complexes, des comparaisons multi-sources et un filtrage contraint.

Méthodologie

1. Décomposition du cadre multi-agents

Les auteurs proposent un cadre multi-agents qui décompose l'automatisation en trois rôles spécialisés :

• Planificateur : Gère la décomposition des objectifs de haut niveau, génère des plans initiaux et les met à jour de manière incrémentielle en fonction des observations et de l'historique d'exécution.
• Acteur : Traduit les sous-objectifs du Planificateur en actions concrètes et exécutables (par exemple, Cliquer, Taper, Défiler, Appeler un outil) au sein de l'environnement numérique.
• Gestionnaire de mémoire : Récupère et met à jour le contexte pertinent, fournissant au Planificateur une mémoire hybride composée de :
  • Mémoire discrète ($M^d_t$) : Résumés structurés et basés sur le texte des étapes critiques des trajectoires réussies passées.
  • Mémoire continue ($M^c_t$) : Représentations latentes encodant des informations de trajectoire à long terme et multimodales dans des embeddings compacts.

Le système fonctionne dans une boucle itérative où le Planificateur communique des sous-objectifs ciblés à l'Acteur, et le Gestionnaire de mémoire prend en charge la récupération du contexte.

2. Analyse systématique de l'allocation de calcul

Une contribution centrale de ce travail est une analyse systématique de la manière dont la capacité des modèles devrait être allouée entre ces composants. Grâce à des expériences de mise à l'échelle contrôlée utilisant des modèles de tailles variées (par exemple, Qwen2.5-VL-3B/7B/32B), les auteurs ont constaté que :

• La planification est le goulot d'étranglement dominant : La mise à l'échelle du Planificateur produit les gains de performance marginaux les plus importants.
• Efficacité déséquilibrée : La mise à niveau du seul Planificateur permet d'atteindre des gains de performance comparables à la mise à l'échelle simultanée de tous les composants.
• Faible sensibilité des autres composants : L'Acteur et le Gestionnaire de mémoire nécessitent nettement moins de calcul et de capacité de modèle pour obtenir des résultats compétitifs. Le Gestionnaire de mémoire a montré la sensibilité la plus faible à la mise à l'échelle.

3. Apprentissage par renforcement centré sur le Planificateur (RL)

S'appuyant sur l'idée que la planification est le principal goulot d'étranglement, les auteurs introduisent une approche d'apprentissage par renforcement centrée sur le Planificateur :

• Composants figés : L'Acteur et le Gestionnaire de mémoire sont figés pendant l'entraînement.
• Objectif d'optimisation : Seul le Planificateur est optimisé.
• Signal de récompense : Le système utilise des récompenses au niveau de la trajectoire dérivées d'un juge VLM (Qwen2.5-VL-32B). Le juge évalue l'épisode complet (plans, captures d'écran, réponse finale) en fonction de l'exactitude de la tâche, de la cohérence du raisonnement et de l'efficacité de l'interaction, attribuant un score de 1, 3 ou 5.
• Algorithme : Les auteurs appliquent l'Optimisation de la politique relative de groupe (GRPO) avec des déroulements sur politique. La récompense au niveau de la trajectoire est diffusée à toutes les étapes d'un déroulement pour mettre à jour la politique du Planificateur.

Contributions clés

1. Identification du goulot d'étranglement de la planification : L'article fournit des preuves empiriques que, dans les tâches d'agents à long terme, la capacité de planification est le principal moteur du succès, tandis que l'exécution et la gestion de la mémoire sont moins exigeantes en calcul.
2. Architecture multi-agents déséquilibrée : Les auteurs proposent un cadre qui exploite cette idée en allouant la majorité de la capacité du modèle au Planificateur, permettant l'utilisation de modèles plus petits et plus efficaces pour l'Acteur et le Gestionnaire de mémoire.
3. Stratégie d'apprentissage par renforcement centrée sur le Planificateur : Une stratégie d'entraînement novatrice qui optimise exclusivement le Planificateur en utilisant des récompenses au niveau de la trajectoire, évitant la confusion des rôles et les objectifs concurrents souvent observés dans l'entraînement conjoint des modules de planification et d'exécution.
4. Évaluation complète : Expériences extensives sur la navigation web (WebVoyager, Mind2Web, MMInA), le contrôle du système d'exploitation (OSWorld) et l'utilisation d'outils (MCPBench).

Résultats

Le cadre proposé démontre des améliorations robustes sur divers points de référence et échelles de modèles :

• Gains de performance : Sur le point de référence WebVoyager, un modèle de base Qwen2.5-VL-7B avec la configuration multi-agents et l'apprentissage par renforcement centré sur le planificateur a atteint un taux de réussite global de 35,1 %, soit une amélioration relative de 180,8 % par rapport à sa ligne de base mono-modèle (12,5 %) et dépassant les lignes de base propriétaires comme GPT-4o (19,7 %) et Gemini-2.5-Pro (29,6 %).
• Efficacité : Le cadre atteint ces gains avec une configuration déséquilibrée (par exemple, Planificateur 7B + Acteur 3B + Mémoire 3B), démontrant que concentrer la capacité sur la planification est plus efficace que de mettre à l'échelle uniformément tous les composants.
• Généralisation : La méthode montre une forte généralisation à des tâches hors domaine (par exemple, OSWorld et MCPBench) et à différentes dispositions d'interface, indiquant que les capacités de planification apprises se transfèrent efficacement.
• Études d'ablation :
  • L'entraînement du seul Planificateur a surpassé l'entraînement de l'Acteur seul ou l'entraînement conjoint des deux, confirmant que l'optimisation ciblée du raisonnement de haut niveau est supérieure.
  • L'inclusion de la mémoire continue a apporté des améliorations constantes, bien que plus faibles, par rapport à la seule mémoire discrète.

Importance et affirmations

L'article affirme que démêler et prioriser la capacité de planification est une stratégie critique pour atteindre des performances de pointe dans les agents à long terme sous des budgets de calcul contraints. Les auteurs soutiennent que leurs résultats s'alignent sur les principes de la neurosciences cognitive concernant le contrôle exécutif de haut niveau en tant que goulot d'étranglement dans les tâches complexes.

Ce travail fournit des conseils pratiques pour l'allocation de calcul dans les systèmes multi-agents, suggérant que plutôt que de mettre à l'échelle tous les composants de manière égale, les développeurs devraient concentrer leurs ressources sur le module de planification. Les auteurs positionnent leur approche comme une alternative économe en calcul à la mise à l'échelle monolithique, permettant à des modèles open-source plus petits de rivaliser avec ou de surpasser des modèles propriétaires plus grands dans des tâches d'automatisation complexes. Le code est publié publiquement pour soutenir la reproductibilité.