Résumé technique : Évaluation de la coordination multi-agents ouverte dans les agents de langage

Problématique

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents autonomes, ils doivent opérer dans des environnements multi-agents où le succès dépend de la coordination avec autrui sur de longs horizons. Cependant, les évaluations existantes testent rarement ces exigences simultanément. Les benchmarks actuels se concentrent généralement sur des tâches mono-agents, des interactions courtes ou des environnements multi-agents hautement structurés (par exemple, rôles fixes, objectifs pré-spécifiés). Il existe un manque d'évaluations combinant l'interaction à long terme, des structures de tâches ouvertes et des exigences de coordination explicitement générées de manière procédurale. Par conséquent, les mécanismes nécessaires à une coordination multi-agents soutenue — tels que la communication de l'intention, l'allocation de rôles, le maintien de plans partagés et l'alignement des actions au fil du temps — restent mal compris.

Méthodologie : Le benchmark ALEM

Pour combler ces lacunes, les auteurs introduisent ALEM (Alem signifie « monde » en amharique), un benchmark basé sur JAX pour la coordination multi-agents ouverte, construit sur la dynamique de type Craftax.

Conception de l'environnement

ALEM est un jeu stochastique partiellement observable (POSG) présentant des environnements générés de manière procédurale où les agents explorent, échangent, fabriquent, construisent et combattent. Le benchmark se distingue par quatre axes clés :

1. Génération de coordination procédurale : Contrairement aux travaux antérieurs où les exigences de coordination sont fixes, ALEM génère de manière procédurale la structure de coordination elle-même à chaque épisode. Les tâches (minage, construction, combat, fabrication) se voient assigner des types de coordination (synchrones ou de transfert/handover) et un nombre d'agents requis (de 2 à N).
2. Spectre de coordination : Le benchmark couvre un spectre complet de couplage de coordination basé sur la séparation temporelle ($\Delta t$) entre les actions couplées :
   • Longue portée : Un agent collecte des ressources utilisées par un autre plus tard (grand $\Delta t$).
   • Transfert (Handover) : Un agent initie une tâche, et un autre doit la terminer dans une fenêtre de temps courte (petit $\Delta t$).
   • Synchrone : Les agents agissent sur la même cible au même instant ( $\Delta t = 0$).
3. Spécialisation douce : Au lieu de barrières de rôles strictes, les agents possèdent une spécialisation « douce ». Les spécialistes réussissent de manière déterministe, tandis que les non-spécialistes réussissent avec une probabilité de $1-\alpha$. Cela récompense l'allocation efficace des rôles tout en permettant l'adaptation en ligne.
4. Difficulté contrôlable : Un paramètre scalaire unique $\alpha \in [0, 1]$ module la difficulté de la coordination sans modifier la configuration sous-jacente du monde. Un $\alpha$ plus élevé durcit les contraintes d'exécution (par exemple, fenêtres de transfert plus courtes, exigences de nombre d'agents N plus élevées, efficacité moindre des non-spécialistes).

Protocole d'évaluation

Les auteurs ont évalué 13 LLM modernes en équipes homogènes zero-shot dans des configurations Facile, Moyenne et Difficile.

• Modèles : Comprenait des modèles propriétaires (GPT-5.4-High, Gemini-3.1-Pro-High) et des modèles à poids ouverts (Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6).
• Baselines : Des agents d'apprentissage par renforcement multi-agents (MARL) entraînés (IPPO, MAPO, PQN-VDN, HyperMARL-IPPO) jusqu'à 1 milliard d'étapes ont servi de points de référence.
• Interfaces : Les agents interagissaient via une interface textuelle structurée recevant des observations, des messages de coéquipiers et un bloc-notes (scratchpad), et retournant des actions structurées.
• Métriques : La performance a été mesurée via le rendement d'épisode normalisé, décomposé en Base% (progrès de la tâche individuelle) et Coord.% (réussites spécifiques à la coordination).

Résultats clés

1. La coordination est un goulot d'étranglement distinct

Les agents LLM actuels sont encore loin de résoudre ALEM, n'atteignant en moyenne qu'environ 6 % de rendement normalisé à travers les niveaux de difficulté.

• Compétence Base vs Coordination : Une haute compétence dans les tâches de base n'implique pas une compétence de coordination. Par exemple, GPT-5.4-High a obtenu de solides récompenses de base mais des récompenses de coordination nettement inférieures à celles de modèles plus petits comme Gemma-4-26B-A4B-it.
• Comparaison MARL : Sur le réglage le plus difficile, Gemini-3.1-Pro-High (17,5 % Coord.%) s'est approché de la performance des agents MARL entraînés pendant un milliard d'étapes (17,6 % Coord.%), démontant que bien que les LLM peinent, les meilleurs modèles peuvent atteindre des niveaux de coordination proches du MARL dans des contextes spécifiques.

2. Études d'ablation sur les composants de l'agent

Les auteurs ont ablaté trois composants de l'harnais de l'agent pour déterminer leur impact sur la coordination :

• Communication : C'était le plus grand contributeur à la performance de coordination. La suppression de la communication a provoqué la baisse la plus significative du Coord.% (par exemple, Gemini-3.1-Pro-High est passé de 17,5 % à 5,3 %). Les agents utilisaient la communication principalement pour diffuser l'intention, assigner des actions et aligner le timing.
• Mémoire (Scratchpad) : L'utilité de la mémoire dépendait du modèle. Gemini-3.1-Pro-High utilisait les scratchpads comme planificateurs prospectifs (plans multi-lignes, au futur, indexés par tour) et la suppression de celui-ci a nui aux performances. Gemma-4-31B-it utilisait les scratchpads principalement pour des résumés d'état, et l'impact de la suppression était négligeable.
• Raisonnement : La réduction du raisonnement a abaissé à la fois le Base% et le Coord.% pour les deux modèles. L'analyse qualitative a montré que la réduction du raisonnement éliminait les comportements de type planificateur (ex: plans indexés par tour) et menait à une communication plus courte et moins directive.

3. Équipes hétérogènes

Dans les expériences initiales avec des équipes hétérogènes (mélangeant différents modèles), la performance était proche de la moyenne des baselines homogènes constituantes, plutôt que de correspondre au membre le plus fort. Cela suggère que l'ajout d'un modèle plus puissant ne lève pas automatiquement la performance de l'équipe, probablement en raison d'un désalignement dans les conventions de communication et les horizons de planification.

4. Modes de défaillance

• Structure des tâches : Les agents ont le plus de mal avec les tâches Synchrones-Difficiles exigeant une action simultanée, n'atteignant qu'environ 18 % de couverture même pour le meilleur LLM. Les tâches de Transfert (Handover) étaient comparativement plus accessibles.
• Échelle : La performance ne suit pas une progression linéaire avec le nombre de paramètres. Au sein des familles de modèles (ex: Gemma-4, Qwen), la performance de coordination variait de manière non monotone entre les variantes denses et les variantes Mixture-of-Experts.

Signification et contributions

Le papier apporte trois contributions principales :

1. Benchmark ALEM : Un benchmark basé sur JAX, généré de manière procédurale, pour la coordination multi-agents à long horizon et ouverte, avec une difficulté contrôlable et une spécialisation douce.
2. Interfaces : Fourniture d'interfaces pixel, symboliques et textuelles pour évaluer à la fois les agents MARL et les agents LLM zero-shot sous des demandes de coordination équivalentes.
3. Évaluation systématique : Une évaluation complète de 13 LLM et 4 baselines MARL, identifiant la coordination comme un goulot d'étranglement distinct de la compétence de base de la tâche.

Les auteurs concluent que la coordination est un goulot d'étranglement distinct pour les agents LLM de pointe. Bien que les modèles actuels puissent survivre et accomplir des tâches individuelles, ils échouent à communiquer efficacement, à allouer des rôles et à exécuter des plans partagés dans des contextes ouverts et à long horizon. ALEM fournit un banc d'essai mesurable et contrôlé pour développer des agents capables de ces comportements coopératifs complexes. Le code est disponible sur https://github.com/alem-world/alem-env.