🤖 AI

SRPO: Setwise Relative Policy Optimization for Multi-Agent LLMs

Het artikel introduceert SRPO (Setwise Relative Policy Optimization), een nieuw reinforcement learning-framework voor multi-agent LLM's dat arbeidsverdeling en gezamenlijke co-evolutie verenigt door de minimale verzameling outputs die in een enkele toestandsverandering worden geconsumeerd als één enkele actie te behandelen, waardoor stabiele en effectieve training mogelijk wordt over diverse workflows en modelschalen.

Oorspronkelijke auteurs: Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Gepubliceerd 2026-09-09✓ Author reviewed ⓘ

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie hebben grote taalmodellen geleerd om als agenten te fungeren, in staat om te redeneren, naar informatie te zoeken en hulpmiddelen te gebruiken om complexe problemen op te lossen. Wanneer deze modellen alleen werken, volgen ze een enkel pad van gedachten. Echter, om moeilijkere uitdagingen aan te pakken, zetten onderzoekers vaak meerdere agenten in die samenwerken, vergelijkbaar met een team van specialisten. Soms verdelen deze teams een taak zodat elk lid een specifieke rol vervult, terwijl ze op andere momenten gelijktijdig verschillende ideeën genereren om samen een oplossing te verfijnen. De centrale moeilijkheid bij het trainen van dergelijke teams is geweest om uit te vogelen hoe ze een beloning moeten krijgen. Traditionele methoden behandelen de output van elke agent vaak als een afzonderlijke gebeurtenis, zelfs wanneer meerdere agenten samenwerken om één enkel resultaat te produceren. Dit creëert een mismatch: het systeem leert van individuele puzzelstukjes in plaats van van het volledige plaatje dat ze samen vormen, wat het moeilijk maakt om teams te trainen die schakelen tussen alleen werken en gezamenlijk werken.

Een team van onderzoekers heeft deze mismatch aangepakt door een nieuwe trainingsmethode voor te stellen genaamd Setwise Relative Policy Optimization, of SRPO. In plaats van naar individuele reacties te kijken, behandelt deze benadering de gehele groep outputs die een verandering in de omgeving veroorzaken als een enkele eenheid van actie. Stel je een team ontdekkingsreizigers voor die een splitsing in de weg bereiken; of één persoon een pad kiest, of de hele groep debatteert en dan gezamenlijk een route kixt, de beslissing die hen vooruit helpt is het collectieve resultaat. De onderzoekers ontdekten dat door deze outputs te groeperen in wat zij een "actieve set" noemen, ze het systeem konden trainen om te begrijpen dat de gezamenlijke inspanning van het team de werkelijke actie is. Deze methode stelt de regels van het trainen in staat om van toepassing te zijn, of het team nu werkt in een strikte taakverdeling, waarbij één persoon één ding doet, of in een modus van gezamenlijke co-evolutie, waarbij meerdere mensen tegelijkertijd bijdragen aan een gedeeld idee.

De onderzoekers testten dit idee op twee zeer verschillende soorten taken: het oplossen van moeilijke wiskundige problemen en het uitvoeren van meerzaal-zoekopdrachten om specifieke feiten te vinden. In de wiskunde-experimenten moest het systeem kandidaat-oplossingen genereren en deze vervolgens verifiëren, een proces dat soms vereiste dat één agent oploste en een andere controleerde, en op andere tijden vereiste dat meerdere agenten tegelijkert ofwel verschillende afleidingen voorstelden. In de zoekexperimenten moest het systeem beslissen wanneer er om meer informatie gevraagd moest worden, waarbij meerdere agenten mogelijk gelijktijdig zoekopdrachten uitstuurden voordat een aggregator de resultaten combineerde. Over vier verschillende formaten van taalmodellen heen presteerde de nieuwe methode consequent beter dan bestaande benaderingen. Op de wiskundige benchmarks bereikte het systeem een gemiddelde nauwkeurigheid waarbij ongeveer 61 tot 62 procent van de gegenereerde oplossingen correct was, en het vond minstens één correct antwoord voor ongeveer 78 procent van de problemen. In de zoektaken was de verbetering nog prominenter, waarbij de nieuwe methode voor meer dan 60 procent van de queries gemiddeld correcte antwoorden vond, een aanzienlijke sprong ten opzichte van eerdere methoden.

Een essentieel onderdeel van de ontdekking was het begrijpen van hoe de bijdragen van meerdere agenten in balans te brengen. Als het systeem simpelweg de veranderingen die door elke agent zijn aangebracht bij elkaar optelt, zou een groter team een veel grotere impact lijken te hebben dan een kleiner team, simpelweg omdat er meer stemmen zijn. De onderzoekers losten dit op door de bijdrage van de groep te normaliseren, waardoor werd gewaarborgd dat een team van vijf agenten niet onrechtvaardig zwaarder werd gewogen dan een enkele agent, enkel vanwege de grootte ervan. Ze toonden ook aan dat het systeem kon leren om dynamisch tussen deze modi te schakelen. In sommige gevallen leerde het systeem dat een enkele gespecialiseerde agent de beste keuze was, terwijl het in andere gevallen een kleine groep agenten activeerde om samen te werken. Deze flexibiliteit betekende dat het trainingsproces niet opnieuw geschreven hoefde te worden voor verschillende teamstructuren; dezelfde onderliggende logica handelde beide scenario's naadloos af.

De studie bekeek ook nauwgezet de kosten van deze verbeteringen. De onderzoekers waren voorzichtig om ervoor te zorgen dat de betere resultaten niet simpelweg voortkwamen uit het feit dat de nieuwe methode meer tekst genereerde of meer rekenkracht gebruikte. Ze maten het aantal gegenereerde tokens en het aantal tool-aanroepen, en vonden dat de verbeteringen voortkwamen uit betere coördinatie in plaats uit brute kracht. Sterker nog, het trainingsproces leidde vaak tot kortere, efficiëntere reacties in de loop van de tijd. De onderzoekers merkten op dat hoewel de resultaten sterk waren, deze gebaseerd waren op specifieke benchmarks en vergelijkingen met andere gepubliceerde methoden, en dat toekomstig werk zou moeten onderzoeken hoe deze winsten standhouden in real-world, langdurige implementaties. Desalniettemin staat de kernbevinding vast: door de collectieve output van het team te definiëren als de fundamentele eenheid van actie, is het mogelijk om multi-agent systemen te trainen die stabieler, efficiënter en effectiever zijn in het oplossen van complexe problemen, ongeacht of ze alleen of samenwerken.

Technische Samenvatting: SRPO voor Multi-Agent LLM's

Probleemstelling
Multi-agent systemen (MAS) die gebruikmaken van Large Language Models (LLM's) lossen complexe taken op door middel van samenwerking, typisch via arbeidsverdeling (gespecialiseerde rollen) of gezamenlijke co-evolutie (gelijktijdige voorstelgeneratie). Hoewel Reinforcement Learning (RL) een pad biedt naar end-to-end optimalisatie van deze systemen, lijden bestaande methoden aan een fundamentele mismatch tussen de update-eenheid en de systeemactie.

Huidige MAS-RL-benaderingen definiëren de optimalisatie-eenheid op basis van specifieke samenwerkingsworkflows (bijv. per agent, per beurt, of per groep). Gevolgelijk behandelt de optimizer de actie als een enkele respons of een vaste trajectorie, zelfs wanneer meerdere outputs gezamenlijk één enkele toestandsovergang in de omgeving veroorzaken. Dit leidt tot inconsistenties: dezelfde omgevingsbeslissing kan verschillende updates ontvangen, afhankelijk van het aantal of de volgorde van de bijdragende agenten. Er is een gebrek aan een uniforme, workflow-onafhankelijke formulering die vaste, gemengde en dynamisch gerouteerde multi-agent workflows onder één enkele optimalisatieregel kan afhandelen.

Methodologie: Setwise Relative Policy Optimization (SRPO)
De auteurs stellen SRPO voor, een policy-optimalisatieframework dat de multi-agent actie herdefinieert als de actieve verzameling (active set).

Definitie van de Actieve Verzameling:
De actieve verzameling ( $S_e$ ) wordt gedefinieerd als de minimale verzameling nieuw gesamplede outputs die door de omgeving worden geconsumeerd om een enkele toestandsovergang te produceren.
- Als $|S_e| = 1$ , vertegenwoordigt dit arbeidsverdeling (een singleton actie).
- Als $|S_e| > 1$ , vertegenwoordigt dit gezamenlijke co-evolutie (een multi-member actie).
- Deze definitie is onafhankelijk van de identiteit van de agent, de uitvoeringsvolgorde of de orchestratie-indeling.
Setwise Objectieve Formulering:
SRPO modificeert de standaard Relative Policy Optimization (bijv. PPO/GRPO) om te opereren op het niveau van de verzameling in plaats van op het niveau van de token of de enkele respons:
- Cardinaliteit-genormaliseerde Log-ratio: In plaats van individuele lid-ratio's te clippen, aggregeert SRPO de log-ratio's van alle leden in de actieve verzameling. Het berekent een genormaliseerde set log-ratio ( $L^{set}_e$ ) door de log-ratio's van de leden op te tellen en te schalen met $1/\sqrt{K_e}$ (waarbij $K_e$ de cardinaliteit van de verzameling is). Dit voorkomt dat de schaal van de update proportioneel groeit met het aantal agenten.
- Enkele Advantage Toewijzing: Een enkele relatieve advantage ( $\hat{A}_e$ ) wordt toegewezen aan de gehele gebeurtenis op basis van de team-return, die gedeeld wordt door alle leden van de actieve verzameling.
- Setwise Clipping: De optimalisatie past een enkele clipping-constraint toe op de gehele set-ratio ( $\rho^{SRPO}_e$ ) op basis van de event advantage, in plaats van elk lid onafhankelijk te clippen.
Implementatie:
Het framework behandelt de actieve verzameling als de proximale eenheid voor optimalisatie. Rollout-generatie, reward-ontwerp en advantage-schatting blijven uitwisselbaar met bestaande systemen. Het systeem vereist "event-atomaire batching", wat garandeert dat alle rijen die bij één beslissingsevenement horen, in dezelfde mini-batch blijven om de integriteit van de set-ratio te waarborgen.

Belangrijkste Bijdragen

Workflow-onafhankelijke MAS Actie: Het artikel introduceert de "actieve verzameling" als een verenigde actie-representatie die arbeidsverdeling, gezamenlijke co-evolutie en hun mengvormen binnen een enkel besluitvormingsproces omvat.
Eenvoudige Setwise Objectief: SRPO biedt een cardinaliteit-genormaliseerde relatieve update die de actieve verzameling als de policy-actie behandelt. Het herstelt gewone respons-niveau optimalisatie wanneer de setgrootte één is.
Algemene Trainingsinterface: De auteurs demonstreren een praktische interface die vaste, gemengde en dynamisch gerouteerde workflows ondersteunt over vier model-schalen. Ze bieden diagnostiek voor gradiëntschaal, responslengte, set-cardinaliteit en event-volledigheid.

Experimentele Resultaten
De auteurs evalueerden SRPO op Wiskundige Redenering (met behulp van Qwen3-4B/8B) en Multi-Turn Zoekopdrachten (met behulp van Qwen2.5-3B/7T).

Wiskundige Redenering: SRPO behaalde de beste macro-gemiddelde resultaten (Avg@16 en Pass@16) over zes benchmarks (inclusief AIME, AMC, MATH500) vergeleken met single-agent GRPO en bestaande MAS-baselines (Dr. MAS). Voor Qwen3-4B behaalde SRPO een macro Avg@16 van 61,3% en een Pass@16 van 77,9%, waarmee de sterkste baseline met 0,2 punten versloeg.
Multi-Turn Zoekopdrachten: SRPO liet significante verbeteringen zien, met name op het 3B-model, waarbij het de macro Avg@16 met 3,2 punten en de Pass@16 met 3,1 punten verbeterde ten opzichte van de beste baseline.
Ablatie-studies:
- Cardinaliteit: Gezamenlijke zoekacties (setgrootte 5) met SRPO presteerden beter dan singleton acties (setgrootte 1) onder vierkantswortel-normalisatie.
- Normalisatie: De voorgestelde $1/\sqrt{K}$ schaling (SRPO) presteerde beter dan zowel ongenormaliseerde sommen als eenvoudige gemiddelde-averaging ( $1/K$ ), wat de noodzaak van cardinaliteit-normalisatie voor stabiele optimalisatie bevestigt.
Trainingsdynamiek: Diagnostiek toonde aan dat SRPO stabiele gradiëntnormen handhaaft en variabele actieve-verzameling-groottes effectief afhandelt, inclusief in scenario's met een adaptieve router waarbij de gemiddelde setgrootte geen geheel getal was (1,638).

Betekenis en Claims
Het artikel claimt dat SRPO een kritieke kloof in multi-agent RL opvult door een gemeenschappelijke optimalisatie-eenheid te bieden voor diverse samenwerkingsparadigma's. Door de actie te definiëren als de verzameling outputs die een transitie consumeren, verenigt SRPO arbeidsverdeling en gezamenlijke co-evolutie, waardoor een enkele trainingsinterface verschillende vaste, gemengde en dynamische workflows kan afhandelen.

De auteurs benadrukken dat het kernprincipe is dat "outputs die samen de omgeving veranderen, ook samen geoptimaliseerd moeten worden." Hoewel de resultaten verbeterde macro-gemiddelden en stabiliteit laten zien, blijft het artikel bescheiden over de kosten-efficiëntie, waarbij wordt opgemerkt dat de huidige kostenanalyse steunt op output-zijde proxies (token-aantallen) in plaats van end-to-end GPU-tijd of tool-latentie. Het werk vestigt een fundamenteel framework voor het schalen van multi-agent LLM-systemen zonder dat hiervoor afzonderlijke optimalisatieregels voor verschillende orchestratiestrategieën nodig zijn.

Technische Samenvatting: SRPO voor Multi-Agent LLM's

Meer zoals dit