🤖 AI

MASPRM: Multi-Agent System Process Reward Model

Het artikel introduceert MASPRM, een multi-agent systeem procesbeloningsmodel getraind op terminale uitkomsten om tussenliggende agentberichten te scoren, wat de zoekprestaties tijdens de inferentie op redeneerbenchmarks aanzienlijk verbetert vergeleken met bestaande modellen door effectievere stapniveau beam search en Monte Carlo Tree Search mogelijk te maken.

Oorspronkelijke auteurs: Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een echt lastige puzzel probeert op te lossen, zoals een complex wiskundig probleem of een logische raadsel. In de wereld van kunstmatige intelligentie hebben we "Large Language Models" (LLM's) die lijken op superintelligente, maar soms wat chaotische studenten. Als je hen een moeilijke vraag stelt, proberen ze het vaak in één keer te beantwoorden, maar ze raken vaak gestrand of maken een fout in een vroeg stadium en gaan dan de verkeerde weg verder in. Om dit te oplossen, zijn wetenschappers "Multi-Agent Systems" gaan gebruiken. Denk hierbij niet aan één student die alleen werkt, maar aan een studiegroep. Je hebt een "Lezer" die de vraag leest, een "Planner" die een strategie maakt, een "Oplosser" die de wiskunde doet, en een "Verifieerder" die het werk controleert. Ze geven briefjes aan elkaar in een specifieke volgorde.

Echter, er is een addertje onder het gras. Als je deze studiegroep ongecontroleerd laat rondgaan, verspillen ze veel tijd en energie (rekenkracht) door te discussiëren over ideeën die al fout zijn. Het is als een groep vrienden die een mysterie probeert op te lossen, maar ze blijven achter een dwaalspoor aanrennen omdat niemand even stop zegt: "Wacht, dit aanwijzing klopt niet." Om deze verspilling te stoppen, gebruiken onderzoekers "zoekalgoritmen" zoals Monte Carlo Tree Search (MCTS). Dit is als een coach die zegt: "Laten we vijf verschillende paden voor de volgende stap proberen, kijken welke het meest veelbelovend lijkt, en ons daar vervolgens op concentragen." Maar hier is het grote probleem: hoe weet de coach welk pad veelbelovend is? Meestal weet de coach pas of het is als het eindantwoord goed of fout is. De coach weet niet of de tussenstappen goed waren. Dit artikel introduceert een nieuw hulpmiddel om de coach te helpen betere beslissingen te nemen, midden in het spel.

Het Papier: MASPRM

De onderzoekers achter dit papier, van de University of British Columbia en Huawei, pakken precies dat probleem aan. Ze hebben iets gecreëerd dat MASPRM (Multi-Agent System Process Reward Model) wordt genoemd. Je kunt MASPRM zien als een "Supercoach" of een "Procesrechter" die niet alleen wacht op het eindantwoord om te zien of de groep geslaagd is. In plaats daarvan kijkt het de conversatie van de studiegroep tijdens het proces na en scoort het elke enkele boodschap die ze naar elkaar sturen.

In het verleden, als een AI-team een fout maakte in stap 3, wist het systeem dat pas aan het einde wanneer het eindantwoord fout was. Tegen die tijd had de AI al een enorme hoeveelheid energie verspild aan het verkennen van dat slechte pad. MASPRM verandert het spel. Het kijkt naar het "gerouteerde transcript" – wat een chique woord is voor de geordende lijst met berichten die de agenten naar elkaar hebben gestuurd. Het scoort deze berichten om te zeggen: "Hé, dit specifieke bericht van de Planner was een geweldig idee, laten we doorgaan," of "Dit bericht van de Oplosser leidt ons nergens heen, laten we die tak onmiddellijk afsnijden."

Hoe ze de Coach hebben geleerd

Een van de coolste onderdelen van dit papier is hoe ze deze Supercoach hebben getraind. Normaal gesproken, om een computer te leren stappen te beoordelen, heb je een mens nodig die daar zit en elke stap als "goed" of "bad" labelt. Dat is ongelooflijk duur en traag. De auteurs vonden een slimme afkorting. Ze lieten de AI-agenten duizenden simulaties draaien met een zoekmethode genaamd MCTS. In deze simulaties verkenden de agenten vele paden. Aan het einde van elk pad wisten ze of het antwoord juist (+1) of onjuist (-1) was.

Vervolgens gebruikten ze een wiskundige truc genaamd "backpropagation". Stel je een boom voor waarbij de bladeren de eindresultaten zijn. Als een blad een "winst" is, vloeit de waarde van die winst terug omhoog langs de takken, waardoor de eerdere stappen waardevol lijken. Als een blad een "verlies" is, vloeit de waarde terug omhoog als een negatief. MASPRM leerde deze waarden te voorspellen door simpelweg naar de geschiedenis van de conversatie te kijken, zonder dat er ooit een mens aan te pas kwam om te zeggen: "Deze stap was goed." Het leerde het verschil te herkennen tussen een veelbelovende conversatie en een doodlopende discussie, puur door te zien welke uiteindelijk tot het juiste antwoord leidden.

Wat ze vonden

Het team heeft deze nieuwe coach getest op vier beroemde benchmarks: GSM8K en MATH (voor wiskundevragen), en MMLU en LOGIQA (voor algemene kennis en logica). Ze vergeleken MASPRM met twee andere methoden:

Policy Likelihood: Dit is alsover de AI gewoon gokt: "Ik denk dat het volgende woord waarschijnlijk is," zonder echt begrip van het doel.
ORM (Outcome Reward Model): Dit is de ouderwetse coach die alleen het eindantwoord controleert en de stappen daartussen negeert.

De resultaten waren heel duidelijk. Wanneer de onderzoekers MASPRM gebruikten om de zoektocht te sturen (specifiek met MCTS en een methode genaamd Step-Level Beam Search), werd de AI aanzienlijk beter in het oplossen van problemen.

Op het 1,5 miljard parameter model (een kleiner, sneller AI), verbeterde MASPRM het succespercentage met 2,0 tot 3,0 punten vergeleken met het oude Outcome Reward Model.
Op het 7 miljard parameter model (een grotere, slimmere AI), was de verbetering enorm, met een sprong van 4,1 tot 14,5 punten.
In de moeilijkste test (GSM8K), bereikte de combinatie van het 7B model en MASPRM een Hit@1 van 82,9%, wat betekent dat het bijna 83% van de tijd het juiste antwoord bij de eerste poging vond.

Het artikel suggereert dat MASPRM vooral goed is in "stapgewijze zoektocht" (stepwise search). Dit is wanneer de AI een reeks beslissingen moet nemen, zoals kiezen welke agent als volgende spreekt of wat de volgende zin moet zijn. Omdat MASPRM deze tussenliggende stappen kan beoordelen, voorkomt het dat de AI tijd verspilt aan slechte ideeën. Het maakte de keuzes van de AI ook betrouwbaarder; de kloof tussen de "beste" gok en de "vijfde beste" gok kromp, wat betekende dat de AI meer vertrouwen had in zijn topkeuzes.

De Limieten en de Toekomst

De auteurs merken er voorzichtig bij op dat dit geen toverstaf is die alles oplost. Hun systeem werkt het best wanneer de agenten een vast schema hebben (zoals een strikte volgorde van wie wanneer spreekt) en wanneer het eindantwoord duidelijk gecontroleerd kan worden (zoals een wiskundeprobleem met een specifiek getal). Ze geven toe dat voor open eind taken waar geen enkel "correct" antwoord is, of voor systemen waarbij de agenten hun rollen dynamisch ter plekke veranderen, deze methode nog in ontwikkeling is. Ze ontdekten ook dat als de coach alleen ziet wat één agent ziet (in plaats van de hele conversatie van de groep), het minder goed werkt, wat suggereert dat het hebben van een "globaal overzicht" van de chat van het team cruciaal is voor de beste prestaties.

Kortom, MASPRM is een doorbraak in het leren aan AI-teams hoe ze zichzelf in realtime kunnen corrigeren. In plaats van te wachten tot het einde om te beseffen dat ze fout zaten, hebben ze nu een coach die een slecht pad vroegtijdig kan herkennen en het team weer op het juiste spoor kan zetten, wat tijd bespaart en betere resultaten oplevert. Het suggereert dat voor complexe redeneertaken het geheim niet alleen een groter brein is, maar een betere manier om het denkproces terwijl het gebeurt te begeleiden.

Technische Samenvatting: MASPRM (Multi-Agent System Process Reward Model)

Probleemstelling

Zoektocht tijdens de inferentie (inference-time search) over Multi-Agent Systemen (MAS) verspilt vaak computationele middelen omdat bestaande methoden moeite hebben om te identificeren welke specifieke tussenliggende boodschap van een agent de voortgang naar een oplossing heeft bevorderd. Terwijl antwoord-niveau methoden (bijv. majority voting, verifier reranking) kunnen selecteren tussen voltooide oplossingen, bieden ze geen stapsgewijze begeleiding. Bijgevolg kunnen zoekprocedures zoals Monte Carlo Tree Search (MCTS) of Beam Search doorgaan met het uitbreiden van prefixes die waarschijnlijk zijn onder het beleid (policy), maar niet overeenkomen met uiteindelijke correctheid, wat leidt tot onproductieve exploratie.

Het uitbreiden van Single-Agent Process Reward Models (PRM's) naar MAS is niet triviaal vanwege vier specifieke uitdagingen:

Granulariteit van scores: Een "stap" in MAS is een agent-actie (planning, routing, toolgebruik) in plaats van een token, wat het scoren van gerouteerde transcriptie-prefixes vereist.
Schema en Graaf: De waarde van een transcriptie hangt af van de specifieke volgorde van agent-acties en bericht-routing.
Heterogeniteit: Agents hebben verschillende rollen, toegang tot tools en prompts, wat betekent dat tussenliggende prefixes afkomstig zijn van verschillende distributies.
Partiële Observabiliteit: Elke agent observeert alleen zijn lokale view van de globale transcriptie, terwijl een globale scorer nodig is voor consistente begeleiding.

Methodologie

De auteurs stellen MASPRM voor, een process reward model ontworpen om geroteerde transcriptie-prefixes en voorgestelde acties van agents te scoren, dienend als een controller tijdens de inferentie voor stapsgewijze Beam Search (SBS) en MCTS.

Kernarchitectuur

Toerusting van de Toestand (State Representation): Een toestand $s_t$ wordt gedefinieerd als $(x, H_{t-1}, i_t)$ , waarbij $x$ de input is, $H_{t-1}$ de volledige geroteerde transcriptie-prefix is, en $i_t$ de actieve agent is.
Observabiliteit: Hoewel actieve agents acties genereren op basis van hun lokale views ( $H^{(i)}_{t-1}$ ), conditioneert de MASPRM-scorer op de volledige geroteerde transcriptie-prefix ( $H_{t-1}$ ) en de identiteit van de actieve agent. Dit stelt de scorer in staat om heterogeniteit en scheduling impliciet binnen de inputrepresentatie af te handelen.
Generatie van Trainingsdata (MAS-MCTS): Het model wordt getraind zonder menselijke stapsgewijze annotaties. In plaats daarvan gebruiken de auteurs MAS-MCTS rollouts die alleen gelabeld zijn met terminale uitkomstbeloningen ( $R(s_T) \in \{+1, -1\}$ $R (s_{T}) \in {+ 1, - 1}$ ).
- Terminale beloningen worden teruggekoppeld naar randen (edges) om actiewaarden $\hat{Q}(s, a)$ te schatten.
- Voorkeursparen worden geconstrueerd door sibling successor states (kinderen van dezelfde ouder) te vergelijken waarbij de ene een hogere teruggekoppelde waarde heeft dan de andere.
Trainingsdoel: MASPRM wordt getraind met een Bradley-Terry ranking loss op deze voorkeursparen. Dit is gekozen omdat de primaire rol van de scorer tijdens de inferentie het ranken van kandidaat-successor states is tijdens de zoektocht, in plaats van het uitvoeren van pointwise regressie.
Inferentiebegeleiding:
- MCTS: MASPRM scoort nieuw uitgebreide randen om virtuele bezoeken te initialiseren en begeleidt de Upper Confidence Bound (UCT) selectie.
- SBS: MASPRM scoort alle gesamplede successors bij elke beam-diepte, waardoor het algoritme veelbelovende takken kan weg te snijden en de top-kandidaten kan behouden.

Belangrijkste Bijdragen

Formulering van MASPRM: Een process reward model specifiek ontworpen om agent-acties en geroteerde transcriptie-prefixes te scoren in collaboratieve multi-agent omgevingen, wat agent-bewuste credit assignment mogelijk maakt.
MAS-MCTS Supervisie: Een trainingsparadigma dat terminale beloningen terugkoppelt naar agent-actiewaarden om het process model te trainen zonder dat menselijke stapsgewijze annotaties vereist zijn.
Begeleide Zoekalgoritmen: De introductie van MASPRM-gestuurde SBS en MCTS over agent rollouts, wat de beslissingskwaliteit verbetert en onproductieve takken effectief weg snijdt in vooraf gedefinieerde MAS-configuraties.

Experimentele Resultaten

De auteurs hebben MASPRM geëvalueerd op vier benchmarks: GSM8K en MATH (wiskundige redenering), en MMLU en LOGIQA (kennis/leesvaardigheid). De experimenten maakten gebruik van Qwen2.5-1.5B en Qwen2.5-7B als basismodellen voor agents en scorers.

Prestaties vs. Outcome Reward Models (ORM): Onder gelijke scorer-groottes en vergelijkbare MCTS-budgetten presteerde MASPRM consistent beter dan qua grootte gematchte ORM's.
- Bij een 1.5B scorer grootte: MASPRM overtrof ORM met +2.0 tot +3.0 punten over alle benchmarks.
- Bij een 7B scorer grootte: MASPRM overtrof ORM met +4.1 tot +14.5 punten.
Prestaties vs. Policy Likelihood: MASPRM verbeterde de Hit@1 aanzienlijk ten opzichte van policy likelihood begeleiding, met name bij stepwise zoekmethoden.
- Met een 7B scorer en 1.5B agents onder MCTS, bereikte MASPRM een gemiddelde winst van +13.4 punten over policy likelihood.
- Op GSM8K bereikte de 7B MASPRM + MCTS configuratie een 82.9% Hit@1, een substantiële verbetering ten opzichte van de single-pass baseline (47.2%) en de 1.5B ORM (66.8%).
Ranking Kwaliteit: MASPRM verbeterde de kwaliteit van de gerankte oplossingen, waarbij de kloof tussen Hit@1 en Hit@5 met wel 10.3 punten werd verkleind, wat wijst op een betere identificatie van correcte trajecten vroeg in de zoektocht.
Generalisatie:
- Cross-Dataset: MASPRM getraind op één dataset (bijv. GSM8K) vertaalde zero-shot naar gerelateerde datasets (bijv. MATH) met winsten van +5.4 tot +11.1 punten over policy likelihood, hoewel in-domain training superieur bleef.
- Cross-Agent: Een MASPRM getraind op Qwen2.5-1.5B rollouts slaagde erin om Llama3.2 3B agents succesvol te begeleiden zonder hertraining, wat de Hit@1 verbeterde met +8.7 tot +13.0 punten over policy likelihood.

Betekenis en Claims

Het artikel beweert dat inference-time multi-agent zoektocht aanzienlijk betrouwbaarder wordt wanneer deze wordt begeleid door een geleerd process value model dat uitsluitend is getraind vanaf terminale beloningen.

Belangrijke claims met betrekking tot de betekenis van het werk zijn:

Efficiëntie van Kleine Agents: De aanpak toont aan dat kleinere LLM's (bijv. 1.5B) een hoge prestatie kunnen leveren op complexe redeneertaken wanneer ze worden gecombineerd met een geleerd process reward model en gestructureerde zoektocht, wat een kosteneffectief alternatief biedt voor het opschalen van modelparameters.
Stapsgewijze Begeleiding: De resultaten suggereren dat process-begeleiding het meest voordelig is voor algoritmen die herhaalde tussenliggende zoekbeslissingen nemen (zoals MCTS), in plaats van enkel de uiteindelijke antwoordselectie.
Schaalbaarheid: De methode schaalt effectief met de grootte van de scorer; de overstap van een 1.5B naar een 7B scorer leverde aanzienlijke extra winsten op, vooral in MCTS-omgevingen.
Beperkingen: De auteurs merken bescheiden op dat hoewel MASPRM de schaling van grote modellen complementeert, het de hardste redeneertaken (bijv. LOGIQA, waar het onder GPT-4o-mini en Mistral 24B bleef) nog niet kan vervangen. De huidige reikwijdte is beperkt tot vooraf gedefinieerde, role-pipelined MAS-configuraties op verifieerbare terminal-answer taken.

Het werk concludeert dat geleerde process-level waarde-signalen, afgeleid zonder menselijke stapsgewijze annotaties, een nuttig en effectief onderdeel zijn voor het begeleiden van multi-agent zoektochten.