Résumé Technique : EvoMAS

Énoncé du Problème

Les systèmes multi-agents (SMA) basés sur les grands modèles de langage (LLM) ont démontré leur potentiel dans des tâches complexes grâce à la spécialisation et au raisonnement collaboratif. Cependant, les méthodes actuelles de conception automatisée adhèrent largement à un paradigme en un seul coup : un flux de travail est optimisé ou sélectionné avant l'exécution et reste statique tout au long de la tâche. Cette approche est inadaptée aux tâches à horizon long où les sous-objectifs, les preuves intermédiaires et les besoins en information évoluent à travers plusieurs étapes d'exécution. S'en remettre à une seule stratégie de coordination fixe pour de tels environnements dynamiques est intrinsèquement sous-optimal.

L'article identifie deux défis fondamentaux pour remédier à cette limitation :

1. Construire un État de Tâche Explicite au Moment de l'Exécution : Les tâches à horizon long exigent qu'un système maintienne un état explicite résumant les progrès de l'exécution, les artefacts intermédiaires et la qualité de la solution afin de prendre des décisions de coordination fondées sur des principes. Sans cela, l'adaptation du flux de travail manque de base concrète.
2. Adapter les Flux de Travail aux États de Tâche Évoluant : Différentes étapes d'exécution imposent des exigences de coordination hétérogènes (par exemple, exploration contre raffinement). Un système doit construire dynamiquement des flux de travail spécifiques à l'étape, conditionnés par l'état actuel de la tâche, plutôt que de s'appuyer sur une conception statique.

Méthodologie : EvoMAS

Les auteurs proposent EvoMAS, un cadre pour la construction de flux de travail multi-agents au moment de l'exécution. EvoMAS reformule la sélection de flux de travail comme un problème de prise de décision séquentielle de niveau méta le long d'une seule trajectoire de tâche.

1. Formalisation (MDP de Niveau Méta)

EvoMAS modélise le processus comme un Processus de Décision Markovien de Niveau Méta (Meta-MDP) $M = (S^m, A^m, T^m, R^m)$ :

• État Méta ($s^m_t$) : Une représentation textuelle structurée des progrès actuels de la tâche, des artefacts intermédiaires et des retours d'information.
• Action Méta ($a^m_t$) : La sélection d'un flux de travail multi-agents concret $G_t = (V_t, E_t)$, où $V_t$ est un sous-ensemble d'agents provenant d'un pool fixe $\mathcal{P}$, et $E_t$ définit le flux d'information (structure DAG en couches).
• Transition : L'exécution de $G_t$ produit un résultat agrégé $\xi_t$ (messages, observations d'outils, retours d'évaluateurs), qui met à jour l'état méta via une fonction de transition.
• Objectif : Apprendre une politique $\pi_{wf}$ qui maximise la récompense méta-niveau cumulative attendue, en utilisant principalement le succès de tâche terminal épars et vérifiable.

2. Composants du Système

EvoMAS fonctionne à travers trois composants principaux :

• Construction de l'État de Tâche (Pipeline Planificateur–Évaluateur–Metteur à jour) :

  • Planificateur : Maintient le plan de sous-tâches, identifie les sous-tâches actives et gère les échecs en attachant du contexte pour le raffinement.
  • Évaluateur : Évalue le résultat de l'exécution précédente par rapport à la sous-tâche active, produisant des verdicts (succès/échec/raffiner), des scores de confiance et des retours d'information en langage naturel.
  • Metteur à jour : Intègre l'état précédent, le flux de travail exécuté et le registre d'exécution dans un nouvel état de tâche structuré $\tilde{s}_t$. Cet état sert de contexte aux agents et conditionne l'adaptateur de flux de travail.

• Construction de Flux de Travail au Moment de l'Exécution (Adaptateur de Flux de Travail) :

  • Étant donné l'état de tâche $\tilde{s}_t$, un Adaptateur de Flux de Travail instancie un flux de travail en couches spécifique à l'étape à partir d'un pool fixe d'agents candidats.
  • L'adaptateur encode l'état de tâche et les embeddings d'agents (dérivés du rôle, des capacités et des outils).
  • Il utilise une attention croisée pour noter les agents et emploie un mécanisme d'échantillonnage doux à masse cumulative pour sélectionner les agents pour chaque couche sans remplacement, garantissant que l'ensemble sélectionné atteint un seuil de masse de probabilité.
  • Cela permet au même agent d'apparaître dans plusieurs couches ou étapes méta, permettant un raffinement itératif.

• Optimisation de la Politique de Flux de Travail :

  • Les paramètres de l'adaptateur sont optimisés en utilisant l'Apprentissage par Renforcement (REINFORCE).
  • Le signal de supervision principal est le succès de tâche terminal épars (vérifiable via une évaluation de référence), évitant l'optimisation directe contre des jugements d'évaluateurs potentiellement biaisés.
  • Les récompenses de processus (basées sur l'évaluateur) sont analysées séparément comme une aide à l'attribution de crédit pour des régimes de récompenses extrêmement éparse.

Contributions Clés

1. Reformulation du Paradigme : Les auteurs font passer la construction automatisée de flux de travail multi-agents d'une conception en un seul coup, au moment de l'initialisation, à un problème de prise de décision séquentielle survenant pendant l'exécution de la tâche.
2. Cadre au Moment de l'Exécution : EvoMAS combine la construction explicite d'un état de tâche avec un adaptateur de flux de travail appris et conditionné par l'état, permettant une réorganisation dynamique des structures de coordination des agents à mesure que la tâche évolue.
3. Validation Empirique : Le cadre est validé sur des références complexes à plusieurs étapes (GAIA, HLE, DeepResearcher), démontrant que l'adaptation au moment de l'exécution surpasse à la fois les bases de référence d'agents uniques et les méthodes récentes de conception automatisée de SMA.

Résultats Expérimentaux

Des expériences ont été menées sur GAIA (Niveaux 1–3), HLE et DeepResearcher.

• Performance : EvoMAS-7 (utilisant un pool de 7 agents) a atteint un taux de succès moyen de 65,0, surpassant la base de référence SMA automatisée la plus forte (G-Designer/MaAS) de 30,2 points et la base de référence d'agent unique la plus forte (GPT-4o) de 35,2 points.
• Généralisation : EvoMAS a obtenu les meilleurs résultats sur les quatre références évaluées, indiquant une applicabilité large plutôt qu'un surapprentissage spécifique à une référence.
• Études d'Ablation :
  • État de Tâche : La construction explicite d'un état de tâche au moment de l'exécution a amélioré les taux de succès même lorsque la structure du flux de travail était fixe, soulignant la valeur de la comptabilité structurée pour les artefacts intermédiaires et les révisions de sous-objectifs.
  • Apprentissage à partir de Récompenses Éparses : L'Adaptateur de Flux de Travail a appris avec succès des politiques efficaces en utilisant uniquement des récompenses terminales éparse, avec une amélioration progressive des performances sur les Niveaux 1 et 2 de GAIA.
  • Récompense de Processus : Il a été constaté que les récompenses de processus basées sur l'évaluateur étaient inutiles pour les tâches standard mais cruciales pour les paramètres "très difficiles" (par exemple, Niveau 3 de GAIA, BrowserComp) où le succès terminal est trop épars pour fournir des signaux d'apprentissage.
  • Sensibilité au Socle : Des LLM sous-jacents plus puissants (par exemple, GPT-4o contre GPT-4o-mini) ont encore amélioré les performances, suggérant qu'EvoMAS est complémentaire aux améliorations du socle.

Importance et Revendications

L'article revendique qu'EvoMAS répond à la rigidité des systèmes multi-agents actuels en permettant une adaptation consciente de l'exécution. En traitant la sélection de flux de travail comme un problème de décision séquentielle conditionné par un état de tâche explicite, EvoMAS permet aux systèmes de passer de l'acquisition d'informations au raffinement, à l'agrégation et à la terminaison selon les besoins.

Les auteurs soulignent que leur approche fournit des bénéfices complémentaires issus à la fois de la construction explicite d'état et de l'adaptation apprise du flux de travail. Ils notent que bien que le cadre actuel suppose un pool de candidats fixe et une profondeur maximale, il établit une fondation pour les travaux futurs sur la création d'agents sans fin et l'adaptation dynamique de la profondeur. L'étude suggère que pour des tâches de difficulté modérée, des récompenses terminales éparse suffisent pour l'entraînement, tandis que les récompenses de processus servent d'outil spécialisé pour une extrême éparsité.