🤖 AI

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

UnityMAS-O is een algemeen versterkingsleerframework dat LLM-gebaseerde multi-agent systemen optimaliseert door volledige workflows als trainingsunit te behandelen, logische rollen te ontkoppelen van modelparameters via een flexibel vier-objecten-abstraktie, en aanzienlijke prestatiewinsten te demonstreren over diverse taken zoals vraag-antwoord en codegeneratie.

Oorspronkelijke auteurs: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van AI-assistenten hebt die samenwerken om een complex raadsel op te lossen, zoals het schrijven van een computerprogramma of het vinden van het antwoord op een lastige vraag. Op dit moment zijn de meeste van deze teams als een groep mensen die een strikt script hebben gekregen. Ze weten wat ze moeten zeggen en wanneer ze het moeten zeggen, omdat een mens de regels heeft geschreven, maar ze hebben niet echt geleerd om op eigen kracht beter samen te werken. Als één persoon een fout maakt, kan het hele team falen, en het systeem weet niet hoe het dit moet oplossen.

UnityMAS-O is een nieuwe "trainingsgym" die is ontworpen om deze AI-teams te leren van hun eigen ervaringen, net zoals een sportteam traint om een wedstrijd te winnen.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Gescrriptte" Team versus het "Lerende" Team

Op dit moment moet je, als je wilt dat een AI-team een probleem oplost, handmatig elke stap opschrijven: "Eerst zoekt de Zoeker naar informatie. Dan schrijft de Schrijver een concept. Dan controleert de Criticus het."

Het Probleem: Als de Zoeker slechte informatie vindt, kan de Schrijver dit niet oplossen omdat de Schrijver niet is getraind om met slechte informatie om te gaan. Het hele team zit vast aan dezelfde fouten.
De UnityMAS-O Oplossing: In plaats van hen alleen een script te geven, behandelt UnityMAS-O het hele team als één eenheid die getraind kan worden. Het laat het team het spel spelen, zien wat er gebeurt, en past vervolgens hun "hersenen" aan zodat ze de volgende keer beter samenwerken.

2. De Vier Bouwstenen (Het "Spelplan")

Om het team te trainen, gebruikt UnityMAS-O vier hoofdtools, die in het artikel "eersteklas objecten" worden genoemd:

Logische Rollen (De Functiebeschrijvingen): Je definieert wie wat doet. Er is een "Planner", een "Zoeker", een "Coder" en een "Reflector". Denk hierbij aan de functietitels op een visitekaartje.
De Workflow-grafiek (Het Stroomschema): Je tekent een kaart die laat zien hoe het team beweegt. Praat de Planner eerst met de Zoeker? Werken ze parallel? Dit is het spelplan van het team.
De Hersenmapping (Wie denkt er?): Dit is een slimme functie. Je kunt beslissen of elke rol zijn eigen unieke hersenen heeft (een apart AI-model), of dat ze allemaal één gigantisch brein delen, of dat sommige rollen een brein delen terwijl anderen hun eigen hebben. Het is als beslissen of je teamleden allemaal dezelfde persoon zijn die verschillende hoeden draagt, of dat ze allemaal verschillende mensen zijn.
Het Scorebord (Beloningen): Dit is het belangrijkste deel. In het verleden gaf je alleen een score aan het einde (bijvoorbeeld: "Werkte de code?"). UnityMAS-O geeft scores bij elke stap.
- Voorbeeld: Als de Zoeker een echt goede aanwijzing vindt, krijgt hij direct een kleine "goed gedaan"-punt. Als de Coder een fout maakt die de Reflector oplost, krijgt de Reflector punten voor de oplossing. Dit helpt het team om precies te leren wie wat goed of fout deed.

3. Hoe de Training Plaatsvindt (De "Coach en Spelers")

Het systeem is opgebouwd als een professionele sportorganisatie:

De Centrale Controller (De Coach): Dit is de hoofdmanager. Het leidt het spel, vertelt de spelers wanneer ze moeten handelen en houdt de score bij. Het doet niet het zware denkwerk; het beheert alleen de stroom.
De Werkgroepen (De Spelers): Dit zijn de daadwerkelijke AI-modellen die het werk doen. Ze genereren antwoorden, slaan hun "spiergeheugen" (data) op en updaten hun vaardigheden op basis van de feedback van de Coach.
De Lus: De Coach stuurt een taak -> De Spelers doen hun werk -> De Coach controleert de resultaten en wijst punten toe -> De Spelers updaten hun hersenen om de volgende keer beter te presteren.

4. Wat Gebeurde Er Toen Ze Het Probeerden?

De onderzoekers testten dit op twee hoofdtypen taken:

Vraagbeantwoording (Het Detectivewerk): Ze vroegen de AI-teams om antwoorden te vinden op moeilijke vragen.
- Resultaat: Voor het trainen faalden kleine AI-teams vaak volledig. Na training met UnityMAS-O werden ze veel beter. Zelfs de kleine teams leerden de juiste aanwijzingen te vinden en betere antwoorden te schrijven.
Codegeneratie (De Softwarebouwers): Ze vroegen de AI-teams om computercode te schrijven die alle tests doorstaat.
- Resultaat: De getrainde teams schreven code die veel vaker werkte. Interessant genoeg werden ze ook efficiënter. Ze hadden minder "pogingen" (verificatierondes) nodig om de code goed te krijgen, wat betekent dat ze minder tijd en energie verspilden.

5. Waarom Dit Belangrijk Is

Het artikel beweert dat UnityMAS-O een "algemeen raamwerk" is. Dit betekent dat je niet elke keer een nieuw trainsysteem hoeft te bouwen wanneer je een nieuw AI-team wilt. Je definieert gewoon de rollen, tekent het stroomschema en stelt de scoringsregels in, en UnityMAS-O regelt de rest.

Het verandert een stijf, handmatig geschreven script in een flexibel, trainbaar team dat kan leren coördineren, specialiseren en zijn eigen prestaties in de loop van de tijd verbeteren. Het artikel toont aan dat dit werkt voor zoekopdrachten, het schrijven van code en potentieel andere complexe taken, en bewijst dat AI-teams kunnen worden geleerd om effectief samen te werken, niet alleen om orders op te volgen.

Technische Samenvatting: UnityMAS-O

Probleemstelling

Huidige multi-agent systemen op basis van Large Language Models (LLM) ontleden doorgaans complexe taken in interacterende rollen (bijvoorbeeld planners, retrievers, coders), maar vertrouwen op handmatig georkestreerde workflows die worden gedefinieerd door prompts, tools en controle-regels. Hoewel deze systemen effectief zijn bij inferentie, worden de agenten zelf zelden geoptimaliseerd via een verenigde versterkende leerinterface (Reinforcement Learning, RL). Bestaande RL-posttrainingsframeworks (bijvoorbeeld TRL, OpenRLHF, verl) richten zich voornamelijk op optimalisatie van een enkel beleid. Ze missen de abstracties die nodig zijn om willekeurige door de gebruiker gedefinieerde multi-agent systemen te optimaliseren die gestructureerde interactie, rollenspecifieke krediettoewijzing en configureerbare parameterdeling vereisen. Bijgevolg leidt het trainen van multi-agent pipelines vaak tot taakspecifieke implementaties die niet eenvoudig verschillende regimes voor parameterdeling kunnen vergelijken of infrastructuur over workflows kunnen hergebruiken.

Methodologie: UnityMAS-O

UnityMAS-O is een algemeen RL-optimalisatieframework dat is ontworpen om een volledige multi-agent workflow als optimalisatie-eenheid te behandelen, in plaats van een enkel antwoord of een beleidstraject. Het is gebouwd door het verl-framework uit te breiden met een op Ray gebaseerde runtime met ster-topologie, en introduceert vier eersteklas abstracties om het logische agentontwerp te ontkoppelen van fysieke modelparameters:

Logische Agentrollen: Gebruikers definiëren rollen (bijvoorbeeld planner, verificateur) met specifieke prompts, I/O-schema's en tooltoegang. Dit zijn objecten op workflow-niveau, niet gekoppeld aan unieke parametersets.
Agent–Model-toewijzingen ( $\phi$ ): Een configureerbare toewijzing van logische rollen naar fysieke LLM-instanties. Dit ondersteunt drie regimes:
- Volledige Deling: Alle rollen worden toegewezen aan één enkel model.
- Volledige Scheiding: Elke rol wordt toegewezen aan een onafhankelijk model.
- Gedeeltelijke Deling: Groepen van gerelateerde rollen delen parameters, terwijl anderen afzonderlijke modellen gebruiken.
Workflowgrafieken ( $G$ ): Gerichte computatiegrafieken die de uitvoeringsstroom vertegenwoordigen (sequentieel, parallel, iteratief of hybride). Uitvoering produceert gestructureerde trajecten die toestanden, acties en controle-afhankelijkheden bevatten.
Rol-specifieke Beloningsfuncties: Beloningen worden gedefinieerd op het niveau van knooppunt, beurt en traject. Het framework ondersteunt vertraagde beloningen en signalen voor marginale verbetering (bijvoorbeeld $\Delta$ F1 of $\Delta$ score), en wijst krediet toe aan de specifieke agenten die verantwoordelijk zijn voor tussenliggende toestanden of uiteindelijke uitkomsten.

Systeemarchitectuur:
Het systeem maakt gebruik van een centrale controller en lokale werkergroepen voor modellen.

Centrale Controller: Voert de door de gebruiker gedefinieerde workflow uit, routeert logische agentoproepen naar de juiste werkergroep op basis van $\phi$ , registreert gestructureerde trajecten en assembleert beloningen.
Werkergroepen: Geassocieerd met specifieke fysieke LLM-instanties, verwerken deze groepen asynchrone inferentie, bufferen rollout-tensors (log-kansen, waarden), berekenen voordelen en voeren gedistribueerde PPO-stijl beleidsupdates uit.
Dataseparatie: Workflowcontrole-metadata blijft "dun" en centraal, terwijl zware trainingstensors "dik" blijven en lokaal zijn bij de werkergroepen, waardoor communicatie- overhead wordt geminimaliseerd.

Belangrijkste Bijdragen

Het artikel presenteert de volgende bijdragen:

Verenigde Abstractie: Een framework dat gezamenlijk door de gebruiker gedefinieerde workflowgrafieken, logische agentrollen, agent-naar-model-toewijzingen en gestructureerde multi-agent trajecten representeert.
Configureerbare Parameterdeling: Native ondersteuning voor volledige deling, volledige scheiding en gedeeltelijke deling, waardoor een gecontroleerde studie van specialisatie, resourcekosten en optimalisatiegedrag mogelijk is zonder de trainingspipeline te herschrijven.
Gedistribueerde Runtime: Een op Ray + verl gebaseerde architectuur met centrale workflowcontrole, asynchrone rollouts, lokale buffering bij modellen en beleidsupdates per model.
Algemeen Optimalisatie-interface: Een interface die gebruikers toestaat workflows, agenten, modeltoewijzingen en beloningen te definiëren voor diverse systemen zonder de onderliggende optimalisatie-infrastructuur te wijzigen.
Open-source Implementatie: Release van het framework op https://github.com/chenyiqun/UnityMAS-O.

Experimentele Resultaten

De auteurs instantiëren UnityMAS-O op twee families van verifieerbare taken: retrieval-versterkt Vragen en Antwoorden (QA) en reflectieve codegeneratie.

QA en Agente Zoekopdrachten:
Experimenten werden uitgevoerd op Natural Questions (NQ) en HotpotQA met workflows variërend van parallelle retrieval tot iteratieve zoeklussen (M-ASK).

Prestatiewinst: Multi-agent RL (MARL)-training verbeterde de prestaties over alle geëvalueerde workflows en modelschalen (0,5B tot 14B).
Impact op Kleine Modellen: Winsten waren bijzonder uitgesproken voor kleinere modellen (bijvoorbeeld 0,5B-agenten verbeterden van ~0,02 naar ~0,44 F1 op NQ), wat suggereert dat MARL helpt rollenspecialistische agenten workflowprotocollen te voldoen en effectief te coördineren.
Parameterdeling: Experimenten die gedeelde versus onafhankelijke modellen vergeleken (bijvoorbeeld 3B gedeeld versus 4x3B onafhankelijk) toonden aan dat gedeelde modellen iets langzamer convergeren maar vergelijkbare uiteindelijke prestatieniveaus bereiken, wat de haalbaarheid aantoont van het trainen van logische multi-agent workflows met gedeelde fysieke parameters.

Reflectieve Codegeneratie:
Een workflow van drie rondes: plan–code–verifieer–reflecteer, werd getest op vastgehouden codetaken.

Strikte Metrieken: Onder de strikte "alle-geslaagd"-metriek verbeterde de 3xQwen3-4B-workflow van 0,255 naar 0,686, en de 3xQwen3-8B van 0,290 naar 0,738.
Efficiëntie: MARL-training verminderde het gemiddelde aantal verificatierondes dat nodig was om een probleem op te lossen (van ~2,5 naar ~1,7), wat wijst op verbeterd intern stopgedrag en uitvoeringsefficiëntie.

Betekenis en Claims

Het artikel beweert dat de primaire bottleneck in veel op LLM gebaseerde multi-agent systemen niet het ontwerp van de workflow zelf is, maar het ontbreken van een principieel optimalisatie-interface voor de workflow na het ontwerp. UnityMAS-O adresseert dit door handmatig gespecificeerde multi-agent systemen om te zetten in trainbare multi-agent beleidsregels.

De auteurs positioneren UnityMAS-O als een herbruikbaar optimalisatiesubstraat dat mogelijk maakt:

Systematische Optimalisatie: Het omzetten van diverse workflows in trainbare RL-systemen met expliciete krediettoewijzing.
Flexibiliteit: Het bestuderen van afwegingen tussen specialisatie en resource-efficiëntie via configureerbare parameterdeling.
Efficiëntie: Het verbeteren van niet alleen de uiteindelijke correctheid, maar ook de coördinatie en uitvoeringsefficiëntie van multi-agent interacties.

Het werk wordt gepresenteerd als een praktisch systeemsubstraat voor het trainen van complexe multi-agent systemen en als platform voor het bestuderen van coördinatie, specialisatie en schaalbaarheid in dergelijke systemen, in plaats van een benchmarktool voor specifieke taken. De auteurs merken op dat lopende experimenten in embodied agents en software-engineering gaande zijn om de generaliteit van het framework verder te valideren.