💬 NLP

MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems

MASPO is een nieuw raamwerk dat prompts voor op LLM gebaseerde multi-agent systemen automatisch optimaliseert door een gezamenlijk evaluatiemechanisme en evolutionaire beam search toe te passen om lokale agentdoelen af te stemmen op globale systeemdoelen, waardoor het bestaande methoden overtreft op diverse samenwerkende taken.

Oorspronkelijke auteurs: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van expertrobots hebt die samenwerken om een zeer moeilijk raadsel op te lossen. Elke robot heeft een specifieke taak: één leest de aanwijzingen, een ander doet de wiskunde, een derde controleert op fouten, en een vierde schrijft het uiteindelijke antwoord.

In het verleden was het, als het team faalde, moeilijk te weten wie de schuldige was. Was de wiskundige robot slecht in rekenen? Of gaf de robot die de aanwijzingen las de verkeerde aanwijzingen? Dit is het probleem dat het paper MASPO oplost.

Hier is hoe MASPO werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: Het "Schuldspel" in een Team

Meestal kijken we, wanneer we deze robotteams trainen, alleen naar het uiteindelijke antwoord. Als het antwoord verkeerd is, weten we niet welke robot het heeft verprutst.

De Analogie: Stel je een estafettewedstrijd voor. Als het team verliest, kun je niet gewoon de laatste loper uitmaken. Misschien liet de eerste loper de stok vallen, of liep de tweede loper het verkeerde pad. Als je alleen de laatste loper traint om sneller te rennen, zal het team nog steeds verliezen omdat de stokoverdracht gebroken is.
Het Inzicht van het Paper: De auteurs realiseerden zich dat in een multi-agent-systeem een robot zijn eigen taak perfect kan uitvoeren (lokale succes), maar toch informatie aan de volgende robot kan geven die leidt tot een totale mislukking (globale mislukking). Dit heet "Lokaal-Globale Misalignering".

2. De Oplossing: MASPO (De Teamcoach)

MASPO is een nieuw raamwerk dat fungeert als een slimme coach die niet alleen naar de finishlijn kijkt, maar naar elke enkele stokoverdracht in de estafettewedstrijd. Het herschrijft automatisch de "handleidingen" (prompts) voor elke robot om het hele team beter samen te laten werken.

Het doet dit met drie hoofdtactieken:

A. De "Toekomstbestendige" Scorekaart (Gecombineerde Evaluatie)

In plaats van alleen te vragen: "Heeft deze robot zijn taak gedaan?", vraagt MASPO: "Heeft het werk van deze robot de volgende robot geholpen om te slagen?"

De Analogie: Stel je een chef-kok voor die een maaltijd bereidt. Een standaard jurylid proeft misschien alleen de soep en zegt: "Het is zout." Maar MASPO is als een jurylid dat ook vraagt: "Is deze soep zout genoeg om goed te passen bij het brood dat de volgende chef bakt?"
Hoe het werkt: MASPO geeft elke robot een score op basis van drie dingen:
1. Hebben ze hun eigen regels gevolgd? (Lokale Validiteit)
2. Heeft hun output het werk van de volgende robot makkelijker gemaakt? (Vooruitkijkend Potentieel)
3. Heeft het het team geholpen om het eindspel te winnen? (Globale Alignering)

B. Leren van "Bijna"-Rampen (Misalignering Mining)

De meeste systemen leren alleen van fouten waarbij het eindantwoord verkeerd was. MASPO zoekt naar een specifiek, sluipend type fout: wanneer een robot zijn taak perfect heeft uitgevoerd, maar het team toch faalde.

De Analogie: Stel je een bestuurder voor die elke verkeerswet perfect volgt (lokale succes), maar per ongeluk een doodlopende straat inrijdt omdat de kaart verwarrend was (globale mislukking). Een normale coach zou zeggen: "Goed gedaan, bestuurder!" MASPO zegt: "Wacht, je hebt de regels gevolgd, maar we zijn toch verdwaald. Laten we je instructies aanpassen zodat je de volgende keer niet in doodlopende straten rijdt."
Hoe het werkt: Het systeem slaat deze gevallen van "Lokaal Succes, Globale Mislukking" op en dwingt de robots om ze te bestuderen, zodat ze dezelfde coördinatiefouten niet herhalen.

C. De "Hersynchronisatie"-Oefening (Beam Refresh)

Naarmate de robots leren en hun gedrag veranderen, kunnen de instructies voor de volgende robot plotseling verouderd raken.

De Analogie: Stel je een dansteam voor. Als de eerste danser versnelt, is de timing van de tweede danser nu verkeerd. Als je de oude routine blijft oefenen, zullen ze elkaar blijven op de tenen trappen.
Hoe het werkt: MASPO controleert het team voortdurend. Als de eerste robot zijn stijl heeft veranderd, update MASPO direct de "score" voor de instructies van de tweede robot, zodat ze oefenen tegen de huidige realiteit, en niet tegen een oude versie van het team.

3. De Resultaten: Een Beter Team

De auteurs hebben dit getest op 6 verschillende soorten moeilijke taken, waaronder complexe wiskunde, logische raadsels en het schrijven van computercode.

Het Resultaat: De door MASPO getrainde teams presteerden consequent beter dan andere methoden. Ze verbeterden hun nauwkeurigheid met gemiddeld 2,9% ten opzichte van de beste bestaande methoden.
Waarom dit belangrijk is: Dit bewijst dat door robots te leren om te geven om hoe hun werk hun teamgenoten beïnvloedt (niet alleen hun eigen taak), het hele systeem veel slimmer wordt.

Samenvatting

Denk aan MASPO als een teamcoach die het playbook in real-time herschrijft. In plaats van de spelers alleen te vertellen om "hun best te doen", analyseert het hoe de pass van Speler A de vangst van Speler B beïnvloedt, en herschrijft het de instructies voor beiden om ervoor te zorgen dat het hele team wint, niet alleen de individuele spelers. Het lost het probleem op van "Ik heb mijn taak gedaan, maar we hebben toch verloren" door ervoor te zorgen dat ieders taak is ontworpen om het team te helpen winnen.

Technische Samenvatting: MASPO – Gecombineerde Prompt-Optimalisatie voor LLM-gebaseerde Multi-Agent Systemen

Probleemstelling

Multi-Agent Systemen (MAS) op basis van Large Language Models (LLM) hebben aanzienlijk potentieel getoond in het oplossen van complexe samenwerkende taken door heterogene agenten te orchestreren via rollenspecifieke prompts. De gecombineerde optimalisatie van deze prompts blijft echter een kritieke bottleneck. In tegenstelling tot scenario's met één agent, omvat MAS-optimalisatie een combinatorische zoekruimte waarbij de optimaliteit van de prompt van één agent intrinsiek afhankelijk is van het gedrag van anderen.

Bestaande methoden voor prompt-optimalisatie staan in de MAS-context voor twee primaire uitdagingen:

Lokaal-Globaal Misalignement (Krediettoewijzing): In samenwerkende omgevingen voeren tussenvooragenten vaak taken uit zoals redeneren of samenvatten, in plaats van de uiteindelijke output te genereren. Standaard evaluatiemethoden die vertrouwen op ground-truth labels, falen in het effectief toewijzen van krediet aan deze tussenstappen. Een agent kan zijn lokale instructies perfect vervullen (Lokale Validiteit), maar toch output genereren die downstream-persvrienden misleidt, wat leidt tot een systeemwijze storing.
Niet-stationariteit en Zoekcomplexiteit: De functionele koppeling tussen agenten creëert een niet-stationair optimalisatielandschap. Het wijzigen van de prompt van een upstream-agent verandert de inputcontext voor downstream-agenten, wat covariatenverschuivingen induceert die historische prestatiescores onbetrouwbaar maken. Bovendien zijn bestaande methoden zoals Tree-structured Parzen Estimators (TPE) vaak beperkt tot het selecteren uit vaste, discrete kandidaatpools, wat open-ended, fijnmazige optimalisatie beperkt.

Methodologie: Het MASPO-kader

Om deze uitdagingen aan te pakken, stellen de auteurs MASPO voor, een kader dat is ontworpen om prompts over het volledige multi-agent systeem automatisch en iteratief te verfijnen. Het kader werkt via een systematische lus die topologische planning, trace-gestuurde generatie, gecombineerde evaluatie en adaptieve beam search omvat.

1. Topologische Context en Trace-Gestuurde Voorstel

MASPO adopteert een strategie in de stijl van coördinaatascensie die de causale afhankelijkheden van het agentcommunicatiegraph respecteert. In plaats van één agent volledig te laten convergeren voordat naar de volgende wordt overgegaan, hanteert het een verweven evolutieprotocol. Agenten worden in topologische volgorde geoptimaliseerd voor een beperkt aantal generaties ( $T$ ) voordat ze worden bevroren, waardoor het systeem co-adaptatie kan stabiliseren en upstream-overaanpassing aan suboptimale downstream-gedragingen wordt voorkomen.

Voor promptgeneratie maakt MASPO gebruik van een datagedreven aanpak die is gebaseerd op daadwerkelijke uitvoeringstraces in plaats van blinde mutatie. Een Optimizer Model ( $M_{opt}$ ) analyseert de mapping van inputcontext naar output om variaties voor te stellen. Cruciaal maakt het kader gebruik van Misalignment Sampling, waarbij "hard negative" traces in het generatieproces worden ingebracht. Dit zijn historische gevallen waarin een agent lokale doelen vervulde maar het globale systeem niet ondersteunde, waardoor de optimizer expliciet wordt geleid om de kloof tussen lokale instructies en globale doelen te overbruggen.

2. Multi-Graan Gecombineerde Evaluatie

Om het dilemma van krediettoewijzing op te lossen, introduceert MASPO een samengestelde scorefunctie ( $R$ ) die kandidaat-prompts evalueert langs drie dimensies:

Lokale Validiteit: Meet of de output van de agent rollenspecifieke beperkingen beter voldoet dan de baseline.
Lookahead Potentieel: Een topologie-bewuste metric die het "golf-effect" kwantificeert. Het evalueert of downstream-agenten betere output produceren wanneer ze worden gevoed met de nieuwe context gegenereerd door de huidige agent.
Globale Alignement: Meet de impact op de uiteindelijke systeemrespons, waarbij lange-afstandsafhankelijkheden worden vastgelegd.

Deze gecombineerde reward-model ( $R = \alpha \cdot \text{Lokaal} + \beta \cdot \text{Lookahead} + \theta \cdot \text{Globaal}$ ) stelt het systeem in staat de bruikbaarheid van een agent te beoordelen via zijn bijdrage aan de volledige causale keten in plaats van geïsoleerde output.

3. Evolutionaire Beam Search met Adaptieve Dynamiek

Om de hoogdimensionale promptruimte te navigeren, hanteert MASPO een Trace-Gestuurde Beam Search. Het onderhoudt een beam van top- $K$ kandidaten, waarbij gecombineerde reward-scores langs het pad worden geaccumuleerd om de meest robuuste prompts te selecteren.

Een belangrijke innovatie is het Beam Refresh Mechanisme. Omdat peer-agenten evolueren tijdens topologische traversie, verschuift de inputdistributie voor een specifieke agent, waardoor historische scores verouderd raken. Wanneer een agent in een nieuwe epoch opnieuw wordt bezocht, verwijdert MASPO verouderde cumulatieve scores en verankert de beam opnieuw door kandidaten te evalueren tegen de huidige globale beste prompt. Dit zorgt ervoor dat de zoektocht hervat wordt vanuit een geldig, up-to-date prestatie-manifold, wat effectief niet-stationariteit mitigeert.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Multi-Graan Gecombineerde Evaluatie: Een samengestelde metric die het dilemma van krediettoewijzing oplost door Lokale Validiteit, Lookahead Potentieel en Globale Alignement te synergeren, waardoor de volledige causale impact van een agent binnen de samenwerkende keten wordt vastgelegd.
Misalignment-Gedreven Generatieve Zoektocht: Een beam-searchstrategie die expliciet wordt geleid door "Misalignment Cases" – scenario's waarin agenten lokale rollen vervullen maar systeemwijze storingen veroorzaken. Dit stelt de optimizer in staat specifieke interactiebreuken te diagnosticeren en te verhelpen.
Adaptieve Optimalisatiedynamiek: Een op coördinaatascensie gebaseerd planningsprotocol aangevuld met een Beam Refresh-mechanisme. Deze technieken mitigeren de niet-stationariteit die inherent is aan multi-agent-interacties, waardoor agenten zich kunnen aanpassen aan de evoluerende gedragingen van hun peers.

Experimentele Resultaten

De auteurs hebben MASPO geëvalueerd over zes diverse taken die variëren van wiskundige bekwaamheid (MATH-500, AGIEval-MATH, AQuA), complexe redenering (GPQA), tot codegeneratie (MBPP, HumanEval-ET). Het kader werd getest op zowel Sequential als Hierarchical MAS-architecturen met Qwen3-8B als ruggengraat, waarbij Gemini-2.5-pro diende als optimizer en evaluator.

Prestatiewinst: MASPO presteerde consequent beter dan state-of-the-art baselines, waaronder single-agent strategieën (Vanilla, CoT, Self-Refine) en bestaande multi-agent optimalisatiemethoden (TPE, SPO). Het behaalde een gemiddelde nauwkeurigheidsverbetering van 2,9% ten opzichte van de best presterende optimalisatie-baselines.
Robuustheid: Het kader toonde topologie-agnostische prestaties, met een verbetering van 5,06% voor Sequential MAS en 2,73% voor Hierarchical MAS ten opzichte van hun respectievelijke baselines.
Ablatiestudies: Experimenten bevestigden de noodzaak van alle kerncomponenten. Het verwijderen van het Beam Refresh-mechanisme of Gecombineerde Evaluatie leidde tot significante prestatiedalingen. Sensitiviteitsanalyse toonde aan dat het balanceren van Lokale Validiteit en Lookahead Potentieel (gewichten 0,4/0,4) superieure aanpasbaarheid opleverde in vergelijking met zware afhankelijkheid van Globale Alignement.
Transferbaarheid: Prompts geoptimaliseerd op Qwen3-8B werden succesvol overgedragen naar onbekende architecturen (DeepSeek-V3, GLM-4.6, Claude-Sonnet-4, Gemini-2.5-Pro), wat aangeeft dat MASPO gegeneraliseerde interactielogica vastlegt in plaats van overaanpast aan specifieke modelidiosyncrasieën.

Betekenis en Claims

Het artikel claimt dat MASPO een robuuste oplossing biedt voor de onderontdekte uitdaging van gecombineerde prompt-optimalisatie in dynamische multi-agent omgevingen. Door voorbij te gaan aan geïsoleerde agent-tuning, overbrugt MASPO effectief de kloof tussen lokale interacties en globale uitkomsten zonder te vertrouwen op ground-truth labels voor tussenstappen.

De auteurs benadrukken dat hun aanpak bijzonder significant is voor:

Oplossen van het Krediettoewijzingsprobleem: Het bieden van een mechanisme om tussenvooragenten te evalueren op basis van hun downstream-utility in plaats van alleen op uiteindelijke correctheid.
Omgaan met Niet-stationariteit: Het introduceren van een dynamisch verversingsmechanisme dat het optimalisatieproces stabiel houdt ondanks de verschuivende inputdistributies veroorzaakt door peer-agenten.
Praktische Toepasbaarheid: Het aantonen dat hoge prestaties kunnen worden bereikt met een kleine, ongelabelde steekproefpool (50 instanties), waardoor het kader computatie-efficiënt is en geschikt voor implementaties met beperkte middelen of privacygevoelige omgevingen.

Het werk suggereert dat toekomstig onderzoek in collaboratieve AI-systemen zich moet richten op dynamische rollenspecialisatie en architecturale optimalisatie, waarbij MASPO dient als een fundamentele stap naar geautomatiseerde, zelfverbeterende multi-agent systemen.