🤖 AI

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

UnityMAS-O est un cadre d'apprentissage par renforcement général qui optimise les systèmes multi-agents basés sur les LLM en traitant les flux de travail complets comme unité d'entraînement, en découplant les rôles logiques des paramètres du modèle grâce à une abstraction flexible à quatre objectifs, et en démontrant des gains de performance significatifs sur des tâches variées telles que la réponse aux questions et la génération de code.

Auteurs originaux : Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe d'assistants IA travaillant ensemble pour résoudre un puzzle complexe, comme écrire un programme informatique ou trouver la réponse à une question piège. Actuellement, la plupart de ces équipes ressemblent à un groupe de personnes à qui l'on a remis un script strict. Elles savent quoi dire et quand le dire parce qu'un humain a écrit les règles, mais elles n'ont pas réellement appris à mieux travailler ensemble par elles-mêmes. Si une personne fait une erreur, toute l'équipe peut échouer, et le système ne sait pas comment le corriger.

UnityMAS-O est une nouvelle « salle d'entraînement » conçue pour enseigner à ces équipes d'IA comment apprendre de leurs propres expériences, tout comme une équipe sportive s'entraîne pour gagner un match.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'équipe « Scriptée » vs L'équipe « Apprenante »

Actuellement, si vous voulez qu'une équipe d'IA résolve un problème, vous devez écrire manuellement chaque étape : « D'abord, le Chercheur recherche des informations. Ensuite, le Rédacteur rédige un brouillon. Puis, le Critique le vérifie. »

Le Problème : Si le Chercheur trouve de mauvaises informations, le Rédacteur ne peut pas les corriger car il n'a pas été entraîné à gérer de mauvaises informations. Toute l'équipe est bloquée avec les mêmes erreurs.
La Solution UnityMAS-O : Au lieu de simplement leur donner un script, UnityMAS-O traite l'ensemble de l'équipe comme une unité unique qui peut être entraînée. Il permet à l'équipe de jouer le jeu, de voir ce qui se passe, puis d'ajuster leurs « cerveaux » pour qu'ils fonctionnent mieux la prochaine fois.

2. Les Quatre Bâtisseurs (Le « Manuel de Jeu »)

Pour entraîner l'équipe, UnityMAS-O utilise quatre outils principaux, que l'article appelle des « objets de première classe » :

Rôles Logiques (Les Descriptions de Poste) : Vous définissez qui fait quoi. Il y a un « Planificateur », un « Chercheur », un « Codeur » et un « Réfléchisseur ». Pensez-y comme aux titres de poste sur une carte de visite.
Le Graphique de Workflow (Le Organigramme) : Vous dessinez une carte montrant comment l'équipe se déplace. Le Planificateur parle-t-il au Chercheur en premier ? Travaillent-ils en parallèle ? C'est le manuel de jeu de l'équipe.
La Cartographie du Cerveau (Qui Pense ?) : C'est une fonctionnalité astucieuse. Vous pouvez décider si chaque rôle a son propre cerveau unique (un modèle d'IA séparé), ou s'ils partagent tous un seul cerveau géant, ou si certains rôles partagent un cerveau tandis que d'autres ont le leur. C'est comme décider si les membres de votre équipe sont tous la même personne portant différents chapeaux, ou s'ils sont tous des personnes différentes.
Le Tableau de Score (Récompenses) : C'est la partie la plus importante. Dans le passé, vous ne donniez un score qu'à la toute fin (par exemple, « Le code fonctionne-t-il ? »). UnityMAS-O donne des scores à chaque étape.
- Exemple : Si le Chercheur trouve un indice vraiment bon, il reçoit immédiatement un petit point « bien joué ». Si le Codeur fait une erreur que le Réfléchisseur corrige, le Réfléchisseur reçoit des points pour la correction. Cela aide l'équipe à apprendre exactement qui a fait quoi de bien ou de mal.

3. Comment se déroule l'Entraînement (Le « Coach et les Joueurs »)

Le système est construit comme une organisation sportive professionnelle :

Le Contrôleur Central (Le Coach) : C'est le gestionnaire principal. Il dirige le jeu, dit aux joueurs quand agir et garde une trace du score. Il ne fait pas le gros du travail de réflexion ; il gère simplement le flux.
Les Groupes de Travailleurs (Les Joueurs) : Ce sont les modèles d'IA réels qui effectuent le travail. Ils génèrent des réponses, stockent leur « mémoire musculaire » (données) et mettent à jour leurs compétences en fonction des retours du Coach.
La Boucle : Le Coach envoie une tâche -> Les Joueurs font leur travail -> Le Coach vérifie les résultats et attribue des points -> Les Joueurs mettent à jour leurs cerveaux pour mieux faire la prochaine fois.

4. Qu'est-il arrivé quand ils l'ont essayé ?

Les chercheurs ont testé cela sur deux types principaux de tâches :

Réponse aux Questions (Le Travail de Détective) : Ils ont demandé aux équipes d'IA de trouver des réponses à des questions difficiles.
- Résultat : Avant l'entraînement, les petites équipes d'IA échouaient souvent complètement. Après l'entraînement avec UnityMAS-O, elles sont devenues beaucoup meilleures. Même les petites équipes ont appris à trouver les bons indices et à rédiger de meilleures réponses.
Génération de Code (Les Constructeurs de Logiciels) : Ils ont demandé aux équipes d'IA d'écrire du code informatique qui passe tous les tests.
- Résultat : Les équipes entraînées ont écrit du code qui fonctionnait beaucoup plus souvent. Fait intéressant, elles sont aussi devenues plus efficaces. Elles avaient besoin de moins d'« essais » (cycles de vérification) pour obtenir le bon code, ce qui signifie qu'elles gaspillaient moins de temps et d'énergie.

5. Pourquoi cela compte

L'article affirme que UnityMAS-O est un « cadre général ». Cela signifie que vous n'avez pas besoin de construire un nouveau système d'entraînement chaque fois que vous voulez une nouvelle équipe d'IA. Vous définissez simplement les rôles, dessinez l'organigramme et établissez les règles de notation, et UnityMAS-O gère le reste.

Il transforme un script rigide et écrit manuellement en une équipe flexible et entraînable capable d'apprendre à coordonner, se spécialiser et améliorer ses propres performances au fil du temps. L'article montre que cela fonctionne pour les tâches de recherche, l'écriture de code et potentiellement d'autres emplois complexes, prouvant que les équipes d'IA peuvent être enseignées à travailler ensemble efficacement, et non pas seulement à suivre des ordres.

Résumé Technique : UnityMAS-O

Énoncé du Problème

Les systèmes multi-agents actuels basés sur les grands modèles de langage (LLM) décomposent généralement les tâches complexes en rôles interactifs (par exemple, planificateurs, récupérateurs, codeurs), mais reposent sur des flux de travail orchestrés manuellement définis par des invites, des outils et des règles de contrôle. Bien que ces systèmes soient efficaces pour l'inférence, les agents eux-mêmes sont rarement optimisés via une interface d'apprentissage par renforcement (RL) unifiée. Les cadres existants de post-entraînement par RL (par exemple, TRL, OpenRLHF, verl) ciblent principalement l'optimisation d'une seule politique. Ils manquent des abstractions nécessaires pour optimiser des systèmes multi-agents définis par l'utilisateur et arbitraires, qui nécessitent une interaction structurée, une attribution de crédit spécifique au rôle et un partage de paramètres configurable. Par conséquent, l'entraînement de pipelines multi-agents aboutit souvent à des implémentations spécifiques à une tâche qui ne peuvent pas comparer facilement différents régimes de partage de paramètres ni réutiliser l'infrastructure entre les flux de travail.

Méthodologie : UnityMAS-O

UnityMAS-O est un cadre général d'optimisation par RL conçu pour traiter un flux de travail multi-agent complet comme unité d'optimisation, plutôt qu'une seule réponse ou trajectoire de politique. Construit en étendant le cadre verl avec un runtime en topologie étoile basé sur Ray, il introduit quatre abstractions de premier ordre pour découpler la conception logique des agents des paramètres physiques du modèle :

Rôles d'Agents Logiques : Les utilisateurs définissent des rôles (par exemple, planificateur, vérificateur) avec des invites spécifiques, des schémas d'E/S et un accès aux outils. Ce sont des objets au niveau du flux de travail, non liés à des ensembles de paramètres uniques.
Mappages Agent–Modèle ( $\phi$ ) : Un mappage configurable des rôles logiques vers les instances physiques de LLM. Cela prend en charge trois régimes :
- Partage Complet : Tous les rôles sont mappés à un seul modèle.
- Séparation Complète : Chaque rôle est mappé à un modèle indépendant.
- Partage Partiel : Des groupes de rôles apparentés partagent des paramètres tandis que d'autres utilisent des modèles distincts.
Graphes de Flux de Travail ( $G$ ) : Graphes de calcul dirigés représentant le flux d'exécution (séquentiel, parallèle, itératif ou hybride). L'exécution produit des trajectoires structurées contenant des états, des actions et des dépendances de contrôle.
Fonctions de Récompense Spécifiques aux Rôles : Les récompenses sont définies aux niveaux nœud, tour et trajectoire. Le cadre prend en charge les récompenses différées et les signaux d'amélioration marginale (par exemple, $\Delta$ F1 ou $\Delta$ score), attribuant le crédit aux agents spécifiques responsables des états intermédiaires ou des résultats finaux.

Architecture Système :
Le système emploie un contrôleur central et des groupes de travailleurs locaux au modèle.

Contrôleur Central : Exécute le flux de travail défini par l'utilisateur, achemine les invocations d'agents logiques vers le groupe de travailleurs approprié en fonction de $\phi$ , enregistre des trajectoires structurées et assemble les récompenses.
Groupes de Travailleurs : Associés à des instances physiques de LLM spécifiques, ces groupes gèrent l'inférence asynchrone, tamponnent les tenseurs de déploiement (log-probabilités, valeurs), calculent les avantages et effectuent des mises à jour de politique de type PPO distribuées.
Séparation des Données : Les métadonnées de contrôle du flux de travail restent "fines" et centrales, tandis que les lourds tenseurs d'entraînement restent "épais" et locaux aux groupes de travailleurs, minimisant ainsi les frais de communication.

Contributions Clés

L'article présente les contributions suivantes :

Abstraction Unifiée : Un cadre qui représente conjointement les graphes de flux de travail définis par l'utilisateur, les rôles d'agents logiques, les mappages agent-vers-modèle et les trajectoires multi-agents structurées.
Partage de Paramètres Configurable : Prise en charge native du partage complet, de la séparation complète et du partage partiel, permettant l'étude contrôlée de la spécialisation, du coût des ressources et du comportement d'optimisation sans réécrire le pipeline d'entraînement.
Runtime Distribué : Une architecture basée sur Ray et verl présentant un contrôle central du flux de travail, un déploiement asynchrone, un tamponnage local au modèle et des mises à jour de politique par modèle.
Interface d'Optimisation Générale : Une interface permettant aux utilisateurs de définir des flux de travail, des agents, des mappages de modèles et des récompenses pour divers systèmes sans modifier l'infrastructure d'optimisation sous-jacente.
Implémentation Open Source : Publication du cadre à l'adresse https://github.com/chenyiqun/UnityMAS-O.

Résultats Expérimentaux

Les auteurs instancient UnityMAS-O sur deux familles de tâches vérifiables : la réponse à des questions (QA) augmentée par la récupération et la génération de code réflexive.

QA et Recherche Agentique :
Des expériences ont été menées sur Natural Questions (NQ) et HotpotQA en utilisant des flux de travail allant de la récupération parallèle aux boucles de recherche itératives (M-ASK).

Gains de Performance : L'entraînement par RL multi-agents (MARL) a amélioré les performances sur tous les flux de travail évalués et toutes les échelles de modèles (de 0,5B à 14B).
Impact sur les Petits Modèles : Les gains ont été particulièrement prononcés pour les petits modèles (par exemple, les agents de 0,5B sont passés d'environ 0,02 à environ 0,44 F1 sur NQ), suggérant que le MARL aide les agents spécialisés par rôle à respecter les protocoles de flux de travail et à coordonner efficacement.
Partage de Paramètres : Les expériences comparant les modèles partagés aux modèles indépendants (par exemple, 3B partagés contre 4x3B indépendants) ont montré que les modèles partagés convergent légèrement plus lentement mais atteignent des niveaux de performance finale similaires, démontrant la faisabilité de l'entraînement de flux de travail multi-agents logiques avec des paramètres physiques partagés.

Génération de Code Réflexive :
Un flux de travail planifier–coder–vérifier–réfléchir en trois tours a été testé sur des tâches de code retenues.

Métriques Strictes : Sous la métrique stricte "tout réussi", le flux de travail 3xQwen3-4B est passé de 0,255 à 0,686, et le 3xQwen3-8B de 0,290 à 0,738.
Efficacité : L'entraînement par MARL a réduit le nombre moyen de tours de vérification nécessaires pour résoudre un problème (d'environ 2,5 à environ 1,7), indiquant une amélioration du comportement d'arrêt interne et de l'efficacité d'exécution.

Importance et Revendications

L'article affirme que le principal goulot d'étranglement dans de nombreux systèmes multi-agents basés sur les LLM n'est pas la conception du flux de travail lui-même, mais l'absence d'une interface d'optimisation principielle pour le flux de travail après sa conception. UnityMAS-O répond à ce problème en convertissant les systèmes multi-agents spécifiés manuellement en politiques multi-agents entraînables.

Les auteurs positionnent UnityMAS-O comme un substrat d'optimisation réutilisable qui permet :

Optimisation Systématique : La conversion de flux de travail divers en systèmes RL entraînables avec une attribution de crédit explicite.
Flexibilité : L'étude des compromis entre spécialisation et efficacité des ressources grâce au partage de paramètres configurable.
Efficacité : L'amélioration non seulement de la justesse finale, mais aussi de la coordination et de l'efficacité d'exécution des interactions multi-agents.

Ce travail est présenté comme un substrat système pratique pour l'entraînement de systèmes multi-agents complexes et comme une plateforme pour étudier la coordination, la spécialisation et l'évolutivité dans de tels systèmes, plutôt que comme un outil de référence pour des tâches spécifiques. Les auteurs notent que des expériences en cours sur des agents incarnés et l'ingénierie logicielle sont en cours pour valider davantage la généralité du cadre.