🤖 AI

SRPO: Setwise Relative Policy Optimization for Multi-Agent LLMs

Le document présente SRPO (Setwise Relative Policy Optimization), un nouveau cadre d'apprentissage par renforcement pour les LLM multi-agents qui unifie la division du travail et la coévolution conjointe en traitant l'ensemble minimal de sorties consommées lors d'une seule transition d'état comme une action unifiée, permettant ainsi un entraînement stable et efficace à travers divers flux de travail et échelles de modèles.

Auteurs originaux : Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Publié 2026-09-09✓ Author reviewed ⓘ

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, les grands modèles de langage ont appris à agir comme des agents, capables de raisonner, de chercher des informations et d'utiliser des outils pour résoudre des problèmes complexes. Lorsque ces modèles travaillent seuls, ils suivent un chemin de pensée unique. Cependant, pour s'attaquer à des défis plus difficiles, les chercheurs déploient souvent plusieurs agents qui collaborent, un peu comme une équipe de spécialistes. Parfois, ces équipes divisent une tâche de sorte que chaque membre assume un rôle spécifique, tandis que d'autres fois, elles génèrent simultanément plusieurs idées différentes pour affiner ensemble une solution. La difficulté centrale de l'entraînement de telles équipes a été de déterminer comment les récompenser. Les méthodes traditionnelles traitent souvent la production de chaque agent comme un événement distinct, même lorsque plusieurs agents travaillent ensemble pour produire un seul résultat. Cela crée un décalage : le système apprend à partir de pièces individuelles du puzzle plutôt qu'à partir de l'image complète qu'elles forment ensemble, ce qui rend difficile l'entraînement d'équipes capables de passer du travail solitaire au travail conjoint.

Une équipe de chercheurs a abordé ce décalage en proposant une nouvelle méthode d'entraînement appelée Optimisation de la Politique Relative par Ensemble, ou SRPO (Setwise Relative Policy Optimization). Au lieu de regarder les réponses individuelles, cette approche traite l'ensemble des productions qui provoquent un changement dans l'environnement comme une unité d'action unique. Imaginez une équipe d'explorateurs arrivant à une fourche sur le chemin ; que l'un des membres choisisse un sentier, ou que tout le groupe débatte puis choisisse une route ensemble, la décision qui les fait avancer est le résultat collectif. Les chercheurs ont découvert qu'en regroupant ces productions dans ce qu'ils appellent un « ensemble actif », ils pouvaient entraîner le système à comprendre que l'effort conjoint de l'équipe est la véritable action. Cette méthode permet d'appliquer les mêmes règles d'entraînement, que l'équipe travaille selon une division stricte du travail, où une personne fait une chose, ou dans un mode de coévolution conjointe, où plusieurs personnes contribuent simultanément à une idée commune.

Les chercheurs ont testé cette idée sur deux types de tâches très différents : la résolution de problèmes mathématiques difficiles et la conduite de recherches à plusieurs tours pour trouver des faits spécifiques. Dans les expériences mathématiques, le système devait générer des solutions candidates puis les vérifier, un processus qui nécessitait parfois qu'un agent résolve et qu'un autre vérifie, et d'autres fois qu'un groupe de plusieurs agents propose différentes dérivations à la fois. Dans les expériences de recherche, le système devait décider quand demander plus d'informations, avec plusieurs agents pouvant émettre des requêtes de recherche simultanément avant qu'un agrégateur ne combine les résultats. À travers quatre tailles différentes de modèles de langage, la nouvelle méthode a systématiquement surpassé les approches existantes. Sur les tests de référence mathématiques, le système a atteint une précision moyenne où environ 61 à 62 pour cent de ses solutions générées étaient correctes, et il a trouvé au moins une réponse correcte pour environ 78 pour cent des problèmes. Dans les tâches de recherche, l'amélioration était encore plus prononcée, la nouvelle méthode trouvant des réponses correctes pour plus de 60 pour cent des requêtes en moyenne, un bond significatif par rapport aux méthodes précédentes.

Un élément clé de la découverte a été de comprendre comment équilibrer les contributions de plusieurs agents. Si le système se contentait d'additionner les changements effectués par chaque agent, une équipe plus nombreuse semblerait avoir un impact beaucoup plus important qu'une équipe plus petite, simplement parce qu'il y avait plus de voix. Les chercheurs ont résolu cela en normalisant la contribution du groupe, garantissant qu'une équipe de cinq agents ne soit pas injustement pondérée par rapport à un agent unique simplement en raison de sa taille. Ils ont également démontré que le système pouvait apprendre à basculer entre ces modes de manière dynamique. Dans certains cas, le système a appris qu'un agent spécialisé unique était le meilleur choix, tandis que dans d'autres, il activait un petit groupe d'agents pour travailler ensemble. Cette flexibilité signifiait que le processus d'entraînement n'avait pas besoin d'être réécrit pour différents types de structures d'équipe ; la même logique sous-jacente gérait les deux scénarios de manière fluide.

L'étude a également examiné de près le coût de ces améliorations. Les chercheurs ont veillé à ce que les meilleurs résultats ne soient pas simplement dus au fait que la nouvelle méthode génère plus de texte ou utilise plus de puissance de calcul. Ils ont mesuré le nombre de jetons (tokens) générés et le nombre d'appels d'outils, constatant que les améliorations provenaient d'une meilleure coordination plutôt que d'une force brute. En fait, le processus d'entraînement a souvent conduit à des réponses plus courtes et plus efficaces au fil du temps. Les chercheurs ont noté que, bien que les résultats soient solides, ils étaient basés sur des tests de référence spécifiques et des comparaisons avec d'autres méthodes publiées, et que les travaux futurs devront explorer comment ces gains se maintiennent dans des déploiements réels à long terme. Néanmoins, la conclusion fondamentale demeure : en définissant la production collective de l'équipe comme l'unité d'action fondamentale, il est possible d'entraîner des systèmes multi-agents qui sont plus stables, efficaces et performants pour résoudre des problèmes complexes, qu'ils travaillent seuls ou ensemble.

Résumé Technique : SRPO pour les LLM Multi-Agents

Énoncé du Problème
Les systèmes multi-agents (MAS) utilisant des modèles de langage de grande taille (LLM) résolvent des tâches complexes par la collaboration, généralement via une division du travail (rôles spécialisés) ou une coévolution conjointe (génération simultanée de propositions). Bien que l'apprentissage par renforcement (RL) offre une voie vers l'optimisation de bout en bout de ces systèmes, les méthodes existantes souffrent d'un décalage fondamental entre l'unité de mise à jour et l'action du système.

Les approches actuelles de MAS-RL définissent l'unité d'optimisation en fonction de flux de travail de collaboration spécifiques (par exemple, par agent, par tour ou par groupe). Par conséquent, l'optimiseur traite l'action comme une réponse unique ou une trajectoire fixe, même lorsque plusieurs sorties causent conjointement une transition d'état unique dans l'environnement. Cela entraîne des incohérences : une même décision environnementale peut recevoir des mises à jour différentes selon le nombre ou l'ordre des agents contributeurs. Il existe un manque de formulation unifiée, indépendante du flux de travail, capable de gérer des flux de travail multi-agents fixes, mixtes et à routage dynamique sous une règle d'optimisation unique.

Méthodologie : Optimisation de Politique Relative par Ensemble (SRPO)
Les auteurs proposent la SRPO, un cadre d'optimisation de politique qui redéfinit l'action multi-agent comme l'ensemble actif.

Définition de l'Ensemble Actif :
L'ensemble actif ( $S_e$ ) est défini comme le plus petit ensemble de nouvelles sorties échantillonnées consommées par l'environnement pour produire une transition d'état unique.
- Si $|S_e| = 1$ , cela représente une division du travail (une action de type singleton).
- Si $|S_e| > 1$ , cela représente une coévolution conjointe (une action à plusieurs membres).
- Cette définition est indépendante de l'identité de l'agent, de l'ordre d'exécution ou de la configuration de l'orchestration.
Formulation de l'Objectif par Ensemble :
La SRPO modifie l'optimisation de politique relative standard (par exemple, PPO/GRPO) pour opérer au niveau de l'ensemble plutôt qu'au niveau du jeton ou de la réponse unique :
- Rapport de Log-Ratio Normalisé par la Cardinalité : Au lieu de tronquer les ratios individuels des membres, la SRPO agrège les log-ratios de tous les membres de l'ensemble actif. Elle calcule un log-ratio d'ensemble normalisé ( $L^{set}_e$ ) en sommant les log-ratios des membres et en les mettant à l'échelle par $1/\sqrt{K_e}$ (où $K_e$ est la cardinalité de l'ensemble). Cela empêche l'échelle de mise à jour de croître proportionnellement au nombre d'agents.
- Assignation d'Avantage Unique : Un avantage relatif unique ( $\hat{A}_e$ ) est assigné à l'événement entier basé sur le rendement de l'équipe, partagé par tous les membres de l'ensemble actif.
- Troncation par Ensemble (Setwise Clipping) : L'optimisation applique une contrainte de troncature unique à l'ensemble du ratio de l'ensemble ( $\rho^{SRPO}_e$ ) basée sur l'avantage de l'événement, plutôt que de tronquer chaque membre indépendamment.
Implémentation :
Le cadre traite l'ensemble actif comme l'unité proximale pour l'optimisation. La génération de rollouts, la conception de récompenses et l'estimation de l'avantage restent interchangeables avec les systèmes existants. Le système nécessite un « batching atomique par événement », garantissant que toutes les lignes appartenant à un événement de décision unique restent dans le même mini-batch pour maintenir l'intégrité du ratio de l'ensemble.

Principales Contributions

Action MAS Indépendante du Flux de Travail : L'article introduit l'« ensemble actif » comme une représentation d'action unifiée qui englobe la division du travail, la coévolution conjointe et leurs mélanges au sein d'un processus de décision unique.
Objectif par Ensemble Simple : La SRPO fournit une mise à jour relative normalisée par la cardinalité qui traite l'ensemble actif comme l'action de la politique. Elle récupère l'optimisation classique au niveau de la réponse lorsque la taille de l'ensemble est de un.
Interface d'Entraînement Générale : Les auteurs démontrent une interface pratique qui supporte des flux de travail fixes, mixtes et à routage dynamique à travers quatre échelles de modèles. Ils fournissent des diagnostics pour l'échelle du gradient, la longueur de la réponse, la cardinalité de l'ensemble et la complétude de l'événement.

Résultats Expérimentaux
Les auteurs ont évalué la SRPO sur le Raisonnement Mathématique (en utilisant Qwen3-4B/8B) et la Recherche Multi-Tours (en utilisant Qwen2.5-3B/7B).

Raisonnement Mathématique : La SRPO a obtenu les meilleurs résultats en moyenne macro (Avg@16 et Pass@16) sur six benchmarks (incluant AIME, AMC, MATH500) par rapport à l'agent unique GRPO et aux bases MAS existantes (Dr. MAS). Pour Qwen3-4B, la SRPO a atteint un Avg@16 macro de 61,3 % et un Pass@16 de 77,9 %, surpassant la base la plus forte de 0,2 point.
Recherche Multi-Tours : La SRPO a montré des améliorations significatives, particulièrement sur le modèle 3B où elle a amélioré l'Avg@16 macro de 3,2 points et le Pass@16 de 3,1 points par rapport à la meilleure base.
Études d'Ablation :
- Cardinalité : Les actions de recherche conjointe (taille d'ensemble 5) avec la SRPO ont surpassé les actions singleton (taille d'ensemble 1) sous la normalisation par racine carrée.
- Normalisation : La mise à l'échelle $1/\sqrt{K}$ proposée (SRPO) a surpassé les sommes non normalisées et la simple moyenne ( $1/K$ ), confirmant la nécessité de la normalisation par cardinalité pour une optimisation stable.
Dynamique d'Entraînement : Les diagnostics ont montré que la SRPO maintient des normes de gradient stables et gère efficacement les tailles d'ensembles actifs variables, y compris dans les scénarios de routeur adaptatif où la taille moyenne de l'ensemble était un nombre non entier (1,638).

Signification et Revendications
L'article affirme que la SRPO comble une lacune critique dans le RL multi-agent en fournissant une unité d'optimisation commune pour diverses de paradigmes de collaboration. En définissant l'action comme l'ensemble des sorties consommées par une transition, la SRPO unifie la division du travail et la coévolution conjointe, permettant à une interface d'entraînement unique de gérer des flux de travail fixes, mixtes et dynamiques.

Les auteurs soulignent que le principe central est que « les sorties qui changent l'environnement ensemble doivent être optimisées ensemble ». Bien que les résultats montrent une amélioration des moyennes macro et de la stabilité, l'article reste modeste concernant l'efficacité des coûts, notant que l'analyse actuelle des coûts repose sur des indicateurs de sortie (comptage de jetons) plutôt que sur le temps GPU de bout en bout ou la latence des outils. Ce travail établit un cadre fondamental pour faire évoluer les systèmes de LLM multi-agents sans nécessiter de règles d'optimisation distinctes pour différentes stratégies d'orchestration.

Résumé Technique : SRPO pour les LLM Multi-Agents

Articles similaires