🤖 AI

MASPRM: Multi-Agent System Process Reward Model

Le papier introduit MASPRM, un modèle de récompense de processus multi-agents entraîné sur des résultats terminaux pour noter les messages intermédiaires des agents, ce qui améliore considérablement les performances de recherche au moment de l'inférence sur les benchmarks de raisonnement par rapport aux modèles existants en permettant un beam search et une recherche arborescente de Monte Carlo plus efficaces au niveau des étapes.

Auteurs originaux : Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un casse-tête vraiment difficile, comme un problème de mathématiques complexe ou une énigme logique. Dans le monde de l'intelligence artificielle, nous avons des « Grands Modèles de Langage » (LLM) qui sont comme des étudiants très intelligents, mais parfois éparpillés. Si vous leur posez une question difficile, ils peuvent essayer d'y répondre en une seule fois, mais ils se bloquent souvent ou commettent une erreur au début et continuent sur la mauvaise voie. Pour corriger cela, les scientifiques ont commencé à utiliser des « Systèmes Multi-Agents ». Voyez cela non pas comme un étudiant travaillant seul, mais comme un groupe d'étude. Vous avez un « Lecteur » qui lit la question, un « Planificateur » qui établit une stratégie, un « Résolveur » qui fait les calculs, et un « Vérificateur » qui contrôle le travail. Ils s'échangent des notes dans un ordre spécifique.

Cependant, il y a un piège. Si vous laissez ce groupe d'étude faire ce qu'il veut, ils risquent de gaspiller beaucoup de temps et d'énergie (puissance de calcul) à argumenter sur des idées qui sont déjà fausses. C'est comme un groupe d'amis essayant de résoudre un mystère, mais où personne ne s'arrête pour dire : « Attendez, cet indice n'a pas de sens. » Pour arrêter ce gaspillage, les chercheurs utilisent des « algorithmes de recherche » comme la recherche arborescente Monte Carlo (MCTS). C'est comme un entraîneur qui dit : « Essayons cinq chemins différents pour la prochaine étape, voyons lequel semble le plus prometteur, puis concentrons-nous sur celui-là. » Mais voici le gros problème : comment l'entraîneur sait-il quel chemin est prometteur ? Généralement, l'entraîneur ne sait si la réponse finale est bonne ou mauvaise qu'à la fin. Il ne sait pas si les étapes intermédiaires étaient bonnes. Ce document présente un nouvel outil pour aider l'entraîneur à prendre de meilleures décisions en plein milieu du jeu.

Le Papier : MASPRM

Les chercheurs derrière ce papier, de l'Université de la Colombie-Britannique et de Huawei, s'attaquent précisément à ce problème. Ils ont créé quelque chose appelé MASPRM (Multi-Agent System Process Reward Model). Vous pouvez considérer MASPRM comme un « Super Entraîneur » ou un « Juge de Processus » qui ne se contente pas d'attendre la réponse finale pour voir si le groupe a réussi. Au lieu de cela, il observe la conversation du groupe d'étude pendant qu'elle se déroule et évalue chaque note qu'ils s'échangent.

Par le passé, si une équipe d'IA faisait une erreur à l'étape 3, le système ne le savait qu'à la toute fin, lorsque la réponse finale était fausse. À ce moment-là, l'IA avait déjà gaspillé une quantité énorme d'énergie à explorer cette mauvaise voie. MASPRM change la donne. Il examine le « transcript routé » — qui est juste un mot savant pour désigner la liste ordonnée des messages que les agents se sont envoyés. Il évalue ces messages pour dire : « Hé, ce message spécifique du Planificateur était une excellente idée, continuons ainsi », ou « Ce message du Résolveur ne mène nulle part, coupons cette branche immédiatement. »

Comment ils ont enseigné à l'entraîneur

L'une des parties les plus cool de ce papier est la façon dont ils ont entraîné ce Super Entraîneur. Habituellement, pour apprendre à un ordinateur à juger des étapes, il faut qu'un humain soit assis là pour étiqueter chaque étape comme « bonne » ou « mauvaise ». C'est incroyablement coûteux et lent. Les auteurs ont trouvé un raccourci ingénieux. Ils ont laissé les agents d'IA effectuer des milliers de simulations en utilisant une méthode de recherche appelée MCTS. Dans ces simulations, les agents exploraient de nombreux chemins différents. À la fin de chaque chemin, ils savaient si la réponse était correcte (+1) ou incorrecte (-1).

Ensuite, ils ont utilisé un tour mathématique appelé « rétropropagation ». Imaginez un arbre où les feuilles sont les résultats finaux. Si une feuille est une « victoire », la valeur de cette victoire remonte le long des branches, faisant paraître les étapes précédentes précieuses. Si une feuille est une « défaite », la valeur remonte comme une valeur négative. MASPRM a appris à prédire ces valeurs simplement en regardant l'historique de la conversation, sans qu'un seul humain n'ait jamais dit : « Cette étape était bonne ». Il a appris à distinguer une conversation prometteuse d'un argument sans issue simplement en voyant lesquels menaient finalement à la bonne réponse.

Ce qu'ils ont trouvé

L'équipe a testé ce nouvel entraîneur sur quatre benchmarks célèbres : GSM8K et MATH (pour les problèmes mathématiques), et MMLU et LOGIQA (pour la culture générale et la logique). Ils ont comparé MASPRM à deux autres méthodes :

Vraisemblance de la politique (Policy Likelihood) : C'est comme si l'IA se contentait de deviner : « Je pense que ce mot suivant est probable », sans réelle compréhension de l'objectif.
ORM (Modèle de Récompense de Résultat) : C'est l'ancien entraîneur qui ne vérifie que la réponse finale, ignorant les étapes intermédiaires.

Les résultats ont été très clairs. Lorsque les chercheurs ont utilisé MASPRM pour guider la recherche (plus précisément en utilisant MCTS et une méthode appelée Step-Level Beam Search), l'IA est devenue nettement meilleure pour résoudre les problèmes.

Sur le modèle de 1,5 milliard de paramètres (une IA plus petite et plus rapide), MASPRM a amélioré le taux de réussite de 2,0 à 3,0 points par rapport à l'ancien Modèle de Récompense de Résultat.
Sur le modèle de 7 milliards de paramètres (une IA plus grande et plus intelligente), l'amélioration a été massive, bondissant de 4,1 à 14,5 points.
Dans le test le plus difficile (GSM8K), la combinaison du modèle 7B et de MASPRM a atteint un Hit@1 de 82,9 %, ce qui signifie qu'elle obtenait la bonne réponse dès le premier essai près de 83 % du temps.

Le papier suggère que MASPRм est particulièrement efficace pour la « recherche par étapes » (stepwise search). C'est le cas lorsqu'une IA doit prendre une série de décisions, comme choisir quel agent parle ensuite ou quelle sera la phrase suivante. Parce que MAS-PRM peut juger ces étapes intermédiaires, il empêche l'IA de perdre du temps sur de mauvaises idées. Cela a également rendu les choix de l'IA plus fiables ; l'écart entre la « meilleure » supposition et la « cinquième meilleure » s'est réduit, ce qui signifie que l'IA était plus confiante dans ses meilleurs choix.

Les limites et le futur

Les auteurs précisent que ce n'est pas une baguette magique qui règle tout. Leur système fonctionne mieux lorsque les agents ont un calendrier fixe (comme un ordre strict de qui parle quand) et lorsque la réponse finale peut être clairement vérifiée (comme un problème mathématique avec un nombre spécifique). Ils admettent que pour les tâches ouvertes où il n'y a pas de réponse unique « correcte », ou pour les systèmes où les agents changent de rôles de manière dynamique, cette méthode est encore en cours d'élaboration. Ils ont également constaté que si l'entraîneur ne voit que ce qu'un seul agent voit (au lieu de toute la conversation du groupe), cela ne fonctionne pas aussi bien, suggérant qu'avoir une « vue globale » de la discussion de l'équipe est crucial pour la meilleure performance.

En résumé, MASPRM est une avancée majeure pour apprendre aux équipes d'IA à s'auto-corriger en temps réel. Au lieu d'attendre la fin pour réaliser qu'elles se sont trompées, elles disposent désormais d'un entraîneur capable de repérer une mauvaise piste tôt et de réorienter l'équipe sur la bonne voie, économisant ainsi du temps et obtenant de meilleurs résultats. Cela suggère que pour les tâches de raisonnement complexes, le secret n'est pas seulement d'avoir un cerveau plus gros, mais d'avoir une meilleure façon de guider le processus de pensée au fur et à mesure qu'il se déroule.

Résumé Technique : MASPRM (Multi-Agent System Process Reward Model)

Énoncé du Problème

La recherche au moment de l'inférence sur les systèmes multi-agents (MAS) gaspille souvent des ressources computationnelles car les méthodes existantes peinent à identifier quel message intermédiaire d'un agent spécifique a fait progresser la résolution vers une solution. Alors que les méthodes basées sur la réponse (ex: vote majoritaire, reclassement par vérificateur) peuvent sélectionner parmi des solutions complétées, elles ne parviennent pas à fournir une guidance au niveau de l'étape. Par conséquent, les procédures de recherche telles que le Monte Carlo Tree Search (MCTS) ou le Beam Search peuvent continuer à étendre des préfixes qui sont probablement sous la politique mais mal alignés avec la correction finale, menant à une exploration improductive.

L'extension des modèles de récompense de processus (PRM) pour agent unique aux MAS est non triviale en raison de quatre défis spécifiques :

Granularité du Score : Une « étape » dans un MAS est une action d'agent (planification, routage, utilisation d'outils) plutôt qu'un jeton (token), nécessitant la notation de préfixes de transcriptions routées.
Calendrier et Graphe : La valeur d'une transcription dépend de l'ordre spécifique des actions des agents et du routage des messages.
Hétérogénéité : Les agents ont des rôles, des accès aux outils et des prompts distincts, ce qui signifie que les préfixes intermédiaires proviennent de distributions différentes.
Observabilité Partielle : Chaque agent n'observe que sa vue locale de la transcription globale, pourtant un scoreur global est nécessaire pour une guidance cohérente.

Méthodologie

Les auteurs proposent MASPRM, un modèle de récompense de processus conçu pour noter les préfixes de transcriptions routées et les actions proposées par les agents, agissant comme un contrôleur au moment de l'inférence pour le Beam Search par étape (SBS) et le MCTS.

Architecture Centrale

Représentation de l'État : Un état $s_t$ est défini comme $(x, H_{t-1}, i_t)$ , où $x$ est l'entrée, $H_{t-1}$ est le préfixe complet de la transcription routée, et $i_t$ est l'agent en action.
Observabilité : Bien que les agents en action génèrent des actions basées sur leurs vues locales ( $H^{(i)}_{t-1}$ ), le scoreur MASPRM se conditionne sur le préfixe complet de la transcription routée ( $H_{t-1}$ ) et l'identité de l'agent en action. Cela permet au scoreur de gérer implicitement l'hétérogénéité et le calendrier au sein de la représentation d'entrée.
Génération de Données d'Entraînement (MAS-MCTS) : Le modèle est entraîné sans annotations humaines au niveau de l'étape. Au lieu de cela, les auteurs utilisent des déroulements (rollouts) MAS-MCTS étiquetés uniquement avec des récompenses de résultat terminal ( $R(s_T) \in \{+1, -1\}$ $R (s_{T}) \in {+ 1, - 1}$ ).
- Les récompenses terminales sont remontées vers les arêtes pour estimer les valeurs d'action $\hat{Q}(s, a)$ .
- Les paires de préférences sont construites en comparant des états successeurs frères (enfants du même parent) où l'un possède une valeur remontée plus élevée que l'autre.
Objectif d'Entraînement : MASPRM est entraîné à l'aide d'une perte de classement de Bradley-Terry sur ces paires de préférences. Ce choix est fait car le rôle principal du scoreur lors de l'inférence est de classer les états successeurs candidats pendant la recherche, plutôt que d'effectuer une régression ponctuelle.
Guidance d'Inférence :
- MCTS : MASPRM note les nouvelles arêtes étendues pour initialiser les visites virtuelles et guide la sélection UCT (Upper Confidence Bound).
- SBS : MASPRM note tous les successeurs échantillonnés à chaque profondeur de faisceau (beam depth), permettant à l'algorithme d'élaguer les branches peu prometteuses et de conserver les meilleurs candidats.

Contributions Clés

Formulation de MASPRM : Un modèle de récompense de processus spécifiquement conçu pour noter les actions des agents et les préfixes de transcriptions routées dans des contextes collaboratifs multi-agents, permettant une attribution de crédit sensible à l'agent.
Supervision MAS-MCTS : Un paradigme d'entraînement qui remonte les récompenses terminales vers les valeurs d'action des agents pour entraîner le modèle de processus sans nécessiter d'annotations humaines par étape.
Algorithmes de Recherche Guidée : L'introduction de SBS et MCTS guidés par MASPRM sur des déroulements d'agents, ce qui améliore la qualité de décision et élague efficacement les branches improductives dans des configurations MAS prédéfinies.

Résultats Expérimentaux

Les auteurs ont évalué MASPRM sur quatre benchmarks : GSM8K et MATH (raisonnement mathématique), et MMLU et LOGIQA (connaissance/compréhension de lecture). Les expériences ont utilisé Qwen2.5-1.5B et Qwen2.5-7B comme modèles de base pour les agents et les scoreurs.

Performance vs Modèles de Récompense de Résultat (ORM) : Sous des tailles de scoreur et des budgets MCTS équivalents, MASPRM a systématiquement surpassé les ORM de taille équivalente.
- À une taille de scoreur de 1.5B : MASPRM a dépassé l'ORM de +2.0 à +3.0 points sur tous les benchmarks.
- À une taille de scoreur de 7B : MASPRM a dépassé l'ORM de +4.1 à +14.5 points.
Performance vs Vraisemblance de la Politique (Policy Likelihood) : MASPRM a considérablement amélioré le Hit@1 par rapport à la guidance par vraisemblance de la politique, particulièrement dans les méthodes de recherche par étapes.
- Avec un scoreur 7B et des agents 1.5B sous MCTS, MASPRM a obtenu un gain moyen de +13.4 points par rapport à la vraisemblance de la politique.
- Sur GSM8K, la configuration 7B MASPRM + MCTS a atteint 82.9% de Hit@1, une amélioration substantielle par rapport à la ligne de base à passage unique (47.2%) et l'ORM 1.5B (66.8%).
Qualité de Classement : MASPRM a amélioré la qualité des solutions classées, réduisant l'écart entre Hit@1 et Hit@5 jusqu'à 10.3 points, indiquant une meilleure identification des trajectoires correctes tôt dans la recherche.
Généralisation :
- Transversalité des Datasets : Un MASPRM entraîné sur un dataset (ex: GSM8K) s'est transféré zero-shot sur des datasets liés (ex: MATH) avec des gains de +5.4 à +11.1 points par rapport à la vraisemblance de la politique, bien que l'entraînement in-domain reste supérieur.
- Transversalité des Agents : Un MASPRM entraîné sur des déroulements Qwen2.5-1.5B a réussi à guider des agents Llama3.2 3B sans réentraînement, améliorant le Hit@1 de +8.7 à +13.0 points par rapport à la vraisemblance de la politique.

Signification et Revendications

L'article affirme que la recherche multi-agent au moment de l'inférence devient substantiellement plus fiable lorsqu'elle est guidée par un modèle de valeur de processus appris uniquement à partir de récompenses terminales.

Les principales revendications concernant la signification de ce travail incluent :

Efficacité des Petits Agents : L'approche démontre que de petits LLM (ex: 1.5B) peuvent atteindre des performances élevées sur des tâches de raisonnement complexes lorsqu'ils sont couplés à un modèle de récompense de processus appris et une recherche structurée, offrant une alternative rentable à l'augmentation des paramètres des modèles.
Guidance au Niveau de l'Étape : Les résultats suggèrent que la guidance de processus est la plus bénéfique pour les algorithmes qui prennent des décisions intermédiaires répétées (comme MCTS), plutôt que pour la simple sélection de la réponse finale.
Scalabilité : La méthode passe à l'échelle efficacement avec la taille du scoreur ; passer d'un scoreur 1.5B à 7B a généré des gains supplémentaires significatifs, particulièrement dans les contextes MCTS.
Limites : Les auteurs notent modestement que, bien que MASPRM complète l'augmentation de l'échelle des grands modèles, il ne substitue pas encore cela pour les tâches de raisonnement les plus difficiles (ex: LOGIQA, où il restait inférieur à GPT-4o-mini et Mistral 24B). Le champ actuel est limité aux configurations MAS à pipelines de rôles prédéfinis sur des tâches de réponses terminales vérifiables.

Le travail conclut que les signaux de valeur appris au niveau du processus, dérivés sans annotations humaines par étape, sont un composant utile et efficace pour guider la recherche multi-agent.