💬 NLP

MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems

MASPO est un cadre novateur qui optimise automatiquement les invites pour les systèmes multi-agents basés sur les LLM en utilisant un mécanisme d'évaluation conjointe et une recherche par faisceau évolutionnaire pour aligner les objectifs locaux des agents avec les objectifs globaux du système, surpassant ainsi les méthodes existantes dans diverses tâches collaboratives.

Auteurs originaux : Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de robots experts travaillant ensemble pour résoudre un puzzle très difficile. Chaque robot a un travail spécifique : l'un lit les indices, un autre fait les calculs, un troisième vérifie les erreurs, et un quatrième écrit la réponse finale.

Par le passé, si l'équipe échouait, il était difficile de savoir qui blâmer. Le robot des calculs était-il mauvais en mathématiques ? Ou le robot de la lecture lui avait-il fourni de mauvais indices ? C'est le problème que résout l'article MASPO.

Voici comment MASPO fonctionne, expliqué par des analogies simples :

1. Le Problème : Le « Jeu du Blâme » dans une Équipe

Habituellement, lorsque nous entraînons ces équipes de robots, nous ne regardons que la réponse finale. Si la réponse est incorrecte, nous ne savons pas quel robot a fait une erreur.

L'Analogie : Imaginez une course de relais. Si l'équipe perd, vous ne pouvez pas simplement crier sur le dernier coureur. Peut-être que le premier coureur a fait tomber le témoin, ou que le deuxième coureur a pris le mauvais chemin. Si vous entraînez uniquement le dernier coureur à courir plus vite, l'équipe perdra toujours car le passage du témoin est défaillant.
L'Insight de l'Article : Les auteurs ont réalisé que dans un système multi-agents, un robot peut accomplir parfaitement son propre travail (succès local) mais fournir au robot suivant des informations qui mènent à un échec total (échec global). Cela s'appelle le « Désalignement Local-Global ».

2. La Solution : MASPO (L'Entraîneur de l'Équipe)

MASPO est un nouveau cadre qui agit comme un entraîneur intelligent qui ne regarde pas seulement la ligne d'arrivée, mais observe chaque passage de témoin dans la course de relais. Il réécrit automatiquement les « manuels d'instructions » (prompts) de chaque robot pour améliorer la collaboration de l'ensemble de l'équipe.

Il procède ainsi en utilisant trois astuces principales :

A. La « Fiche de Notes » Prévisionnelle (Évaluation Conjointe)

Au lieu de simplement demander : « Ce robot a-t-il fait son travail ? », MASPO demande : « Le travail de ce robot a-t-il aidé le prochain robot à réussir ? »

L'Analogie : Imaginez un chef préparant un repas. Un juge standard pourrait simplement goûter la soupe et dire : « C'est salé. » Mais MASPO est comme un juge qui demande aussi : « Cette soupe est-elle assez salée pour bien accompagner le pain que le prochain chef va cuire ? »
Fonctionnement : MASPO attribue à chaque robot une note basée sur trois critères :
1. Ont-ils respecté leurs propres règles ? (Validité Locale)
2. Leur sortie a-t-elle facilité le travail du prochain robot ? (Potentiel de Prévision)
3. A-t-elle aidé l'équipe à gagner le match final ? (Alignement Global)

B. Apprendre des « Presque » Catastrophes (Extraction de Désalignement)

La plupart des systèmes n'apprennent que des erreurs où la réponse finale était incorrecte. MASPO recherche un type d'erreur spécifique et sournois : lorsque un robot a accompli son travail parfaitement, mais que l'équipe a tout de même échoué.

L'Analogie : Imaginez un conducteur qui respecte parfaitement toutes les lois de la circulation (succès local) mais qui conduit accidentellement dans une impasse parce que la carte était confuse (échec global). Un entraîneur normal dirait : « Bon travail, conducteur ! » MASPO dit : « Attendez, vous avez respecté les règles, mais nous nous sommes quand même perdus. Corigeons vos instructions pour que vous n'entriez plus dans des impasses la prochaine fois. »
Fonctionnement : Le système sauvegarde ces cas de « Succès Local, Échec Global » et force les robots à les étudier, garantissant qu'ils ne répètent pas les mêmes erreurs de coordination.

C. L'Exercice de « Réalignement » (Actualisation du Faisceau)

À mesure que les robots apprennent et modifient leur comportement, les instructions pour le prochain robot peuvent soudainement devenir obsolètes.

L'Analogie : Imaginez une équipe de danse. Si le premier danseur accélère, le timing du deuxième danseur devient alors incorrect. Si vous continuez à répéter l'ancienne chorégraphie, ils continueront à se marcher sur les pieds.
Fonctionnement : MASPO vérifie constamment l'équipe. Si le premier robot a changé de style, MASPO met immédiatement à jour la « note » des instructions du deuxième robot afin qu'ils s'entraînent contre la réalité actuelle, et non contre une ancienne version de l'équipe.

3. Les Résultats : Une Meilleure Équipe

Les auteurs ont testé cette méthode sur 6 types de tâches difficiles, notamment des mathématiques complexes, des énigmes logiques et l'écriture de code informatique.

Le Résultat : Les équipes entraînées par MASPO ont systématiquement surpassé les autres méthodes. Elles ont amélioré leur précision d'une moyenne de 2,9 % par rapport aux meilleures méthodes existantes.
Pourquoi c'est important : Cela prouve qu'en apprenant aux robots à se soucier de l'impact de leur travail sur leurs coéquipiers (et pas seulement de leur propre tâche), l'ensemble du système devient beaucoup plus intelligent.

Résumé

Pensez à MASPO comme à un entraîneur d'équipe qui réécrit le playbook en temps réel. Au lieu de simplement dire aux joueurs de « faire de leur mieux », il analyse comment la passe du Joueur A affecte la réception du Joueur B, et il réécrit les instructions pour les deux afin de garantir que toute l'équipe gagne, et pas seulement les joueurs individuels. Il résout le problème du « J'ai fait mon travail, mais nous avons quand même perdu » en s'assurant que le travail de chacun est conçu pour aider l'équipe à gagner.

Résumé Technique : MASPO – Optimisation conjointe des prompts pour les systèmes multi-agents basés sur les LLM

Énoncé du problème

Les systèmes multi-agents (MAS) basés sur les grands modèles de langage (LLM) ont démontré un potentiel significatif pour résoudre des tâches collaboratives complexes en orchestrant des agents hétérogènes via des prompts spécifiques à chaque rôle. Cependant, l'optimisation conjointe de ces prompts reste un goulot d'étranglement critique. Contrairement aux scénarios à agent unique, l'optimisation des MAS implique un espace de recherche combinatoire où l'optimalité du prompt d'un agent dépend intrinsèquement des comportements des autres.

Les méthodes existantes d'optimisation de prompts font face à deux défis principaux dans le contexte des MAS :

Désalignement local-global (Attribution de crédit) : Dans les contextes collaboratifs, les agents intermédiaires effectuent souvent des tâches telles que le raisonnement ou la synthèse plutôt que de générer la sortie finale. Les méthodes d'évaluation standard, qui reposent sur des étiquettes de vérité terrain, échouent à attribuer efficacement le crédit à ces étapes intermédiaires. Un agent peut satisfaire parfaitement ses instructions locales (Validité locale) tout en générant des sorties qui induisent en erreur ses pairs en aval, provoquant un échec à l'échelle du système.
Non-stationnarité et complexité de la recherche : Le couplage fonctionnel entre les agents crée un paysage d'optimisation non stationnaire. La modification du prompt d'un agent en amont altère le contexte d'entrée des agents en aval, induisant des décalages de covariables qui rendent les scores de performance historiques peu fiables. De plus, les méthodes existantes, telles que les estimateurs de Parzen à structure arborescente (TPE), sont souvent limitées à la sélection parmi des pools de candidats fixes et discrets, ce qui restreint l'optimisation ouverte et fine.

Méthodologie : Le cadre MASPO

Pour répondre à ces défis, les auteurs proposent MASPO, un cadre conçu pour affiner automatiquement et itérativement les prompts à travers l'ensemble du système multi-agent. Le cadre fonctionne via une boucle systématique impliquant un ordonnancement topologique, une génération guidée par les traces, une évaluation conjointe et une recherche par faisceau adaptative.

1. Contexte topologique et proposition guidée par les traces

MASPO adopte une stratégie de type ascension coordonnée qui respecte les dépendances causales du graphe de communication des agents. Au lieu de converger complètement un agent avant de passer au suivant, il emploie un protocole d'évolution entrelacée. Les agents sont optimisés dans l'ordre topologique pour un nombre limité de générations ( $T$ ) avant d'être gelés, permettant au système de stabiliser la co-adaptation et d'empêcher le surajustement en amont à des comportements sous-optimaux en aval.

Pour la génération de prompts, MASPO utilise une approche pilotée par les données ancrée dans les traces d'exécution réelles plutôt que dans une mutation aveugle. Un modèle optimiseur ( $M_{opt}$ ) analyse la correspondance entre le contexte d'entrée et la sortie pour proposer des variations. Crucialement, le cadre emploie un échantillonnage de désalignement, injectant des traces « négatives difficiles » dans le processus de génération. Il s'agit de cas historiques où un agent a satisfait les objectifs locaux mais a échoué à soutenir le système global, guidant explicitement l'optimiseur à combler le fossé entre les instructions locales et les objectifs globaux.

2. Évaluation conjointe multi-granulaire

Pour résoudre le dilemme de l'attribution de crédit, MASPO introduit une fonction de score composite ( $R$ ) qui évalue les prompts candidats selon trois dimensions :

Validité locale : Mesure si la sortie de l'agent satisfait mieux les contraintes spécifiques au rôle que la ligne de base.
Potentiel de vision en avant (Lookahead) : Une métrique consciente de la topologie quantifiant l'« effet de ripple ». Elle évalue si les agents en aval produisent de meilleures sorties lorsqu'ils sont alimentés par le nouveau contexte généré par l'agent actuel.
Alignement global : Mesure l'impact sur la réponse finale du système, capturant les dépendances à longue portée.

Ce modèle de récompense conjoint ( $R = \alpha \cdot \text{Local} + \beta \cdot \text{Lookahead} + \theta \cdot \text{Global}$ ) permet au système d'évaluer l'utilité d'un agent à travers sa contribution à l'ensemble de la chaîne causale plutôt que par des sorties isolées.

3. Recherche par faisceau évolutionnaire avec dynamiques adaptatives

Pour naviguer dans l'espace de prompts de haute dimension, MASPO emploie une recherche par faisceau guidée par les traces. Elle maintient un faisceau des $K$ meilleurs candidats, accumulant les scores de récompense conjointe le long du chemin pour sélectionner les prompts les plus robustes.

Une innovation clé est le mécanisme de rafraîchissement du faisceau. À mesure que les agents pairs évoluent lors de la traversée topologique, la distribution d'entrée pour un agent spécifique se déplace, rendant les scores historiques obsolètes. Lorsqu'un agent est revisité dans une nouvelle époque, MASPO rejette les scores cumulés obsolètes et réancre le faisceau en évaluant les candidats par rapport au meilleur prompt global actuel. Cela garantit que la recherche reprend à partir d'une variété de performance valide et à jour, atténuant efficacement la non-stationnarité.

Contributions clés

L'article expose trois contributions principales :

Évaluation conjointe multi-granulaire : Une métrique composite qui résout le dilemme de l'attribution de crédit en synergienant la validité locale, le potentiel de vision en avant et l'alignement global, capturant l'impact causal complet d'un agent au sein de la chaîne collaborative.
Recherche générative pilotée par le désalignement : Une stratégie de recherche par faisceau explicitement guidée par des « cas de désalignement » — des scénarios où les agents remplissent des rôles locaux mais induisent un échec à l'échelle du système. Cela permet à l'optimiseur de diagnostiquer et de rectifier des ruptures d'interaction spécifiques.
Dynamiques d'optimisation adaptatives : Un protocole d'ordonnancement basé sur l'ascension coordonnée, augmenté d'un mécanisme de rafraîchissement du faisceau. Ces techniques atténuent la non-stationnarité inhérente aux interactions multi-agents, garantissant que les agents s'adaptent aux comportements évolutifs de leurs pairs.

Résultats expérimentaux

Les auteurs ont évalué MASPO sur six tâches diverses couvrant la compétence mathématique (MATH-500, AGIEval-MATH, AQuA), le raisonnement complexe (GPQA) et la génération de code (MBPP, HumanEval-ET). Le cadre a été testé sur des architectures MAS séquentielles et hiérarchiques en utilisant Qwen3-8B comme colonne vertébrale, avec Gemini-2.5-pro servant d'optimiseur et d'évaluateur.

Gains de performance : MASPO a constamment surpassé les lignes de base de l'état de l'art, incluant des stratégies à agent unique (Vanilla, CoT, Self-Refine) et des méthodes d'optimisation multi-agents existantes (TPE, SPO). Il a atteint une amélioration moyenne de la précision de 2,9 % par rapport aux meilleures lignes de base d'optimisation.
Robustesse : Le cadre a démontré des performances agnostiques à la topologie, améliorant les MAS séquentiels de 5,06 % et les MAS hiérarchiques de 2,73 % par rapport à leurs lignes de base respectives.
Études d'ablation : Les expériences ont confirmé la nécessité de tous les composants principaux. La suppression du mécanisme de rafraîchissement du faisceau ou de l'évaluation conjointe a entraîné des baisses de performance significatives. L'analyse de sensibilité a révélé que l'équilibre entre la validité locale et le potentiel de vision en avant (poids 0,4/0,4) offrait une adaptabilité supérieure par rapport à une forte dépendance à l'alignement global.
Transférabilité : Les prompts optimisés sur Qwen3-8B se sont transférés avec succès à des architectures inédites (DeepSeek-V3, GLM-4.6, Claude-Sonnet-4, Gemini-2.5-Pro), indiquant que MASPO capture une logique d'interaction généralisée plutôt qu'un surajustement aux idiosyncrasies spécifiques d'un modèle.

Importance et affirmations

L'article affirme que MASPO offre une solution robuste au défi sous-exploré de l'optimisation conjointe des prompts dans les environnements multi-agents dynamiques. En allant au-delà du réglage isolé des agents, MASPO comble efficacement le fossé entre les interactions locales et les résultats globaux sans dépendre d'étiquettes de vérité terrain pour les étapes intermédiaires.

Les auteurs soulignent que leur approche est particulièrement significative pour :

Résoudre le problème de l'attribution de crédit : Fournir un mécanisme pour évaluer les agents intermédiaires en fonction de leur utilité en aval plutôt que de la simple justesse finale.
Gérer la non-stationnarité : Introduire un mécanisme de rafraîchissement dynamique qui maintient la stabilité du processus d'optimisation malgré les décalages de distributions d'entrée causés par les agents pairs.
Applicabilité pratique : Démontrer que des performances élevées peuvent être atteintes avec un petit pool d'échantillons non étiquetés (50 instances), rendant le cadre efficace en calcul et adapté aux déploiements contraints par les ressources ou sensibles à la vie privée.

Ce travail suggère que les recherches futures dans les systèmes d'IA collaboratifs devraient se concentrer sur la spécialisation dynamique des rôles et l'optimisation architecturale, MASPO servant d'étape fondamentale vers des systèmes multi-agents automatisés et auto-améliorants.