Technische Samenvatting: EvoMAS – Evolutionaire Generatie van Multi-Agent Systemen

1. Probleemstelling

Multi-Agent Systemen (MAS) gebaseerd op Large Language Models (LLM) tonen aanzienlijk potentieel voor complexe redenering, planning en taken met hulpmiddelen. Het ontwerpen van effectieve MAS-architecturen blijft echter arbeidsintensief, breekbaar en moeilijk te generaliseren. Bestaande methoden voor automatische generatie staan voor een fundamentele afweging tussen uitdrukkingskracht en betrouwbaarheid:

• Benaderingen voor codegeneratie: Methoden zoals ADAS en MAS-GPT behandelen MAS-ontwerp als open-ended codesearch of directe codesynthese. Hoewel uitdrukkingskrachtig, lijden deze vaak aan uitvoeringsfouten, runtime-exceptionen en breekbaar gedrag door syntaxisfouten en de complexiteit van het genereren van geldige multi-agentprogramma's in één doorloop.
• Stijve sjabloonbenaderingen: Methoden zoals AutoAgents en EvoAgent beperken agentstructuren om de betrouwbaarheid te verbeteren, maar beperken hiermee de aanpasbaarheid en uitdrukkingskracht. Bovendien evolueren benaderingen zoals EvoAgent doorgaans individuele agenten in plaats van het multi-agent-systeem als een geoptimaliseerd geheel te behandelen, en missen ze mechanismen voor overdracht van ervaring tussen queries.

De kernuitdaging is om efficiënt de grote, combinatorische ruimte van MAS-configuraties te verkennen, terwijl gebruik wordt gemaakt van uitvoeringsfeedback om gestructureerde updates te sturen, waarbij een balans wordt gevonden tussen het verkennen van nieuwe ontwerpen en het hergebruiken van succesvolle patronen.

2. Methodologie: EvoMAS

De auteurs stellen EvoMAS (Evolutionary Generation of Multi-Agent Systems) voor, een raamwerk dat MAS-generatie formuleert als gestructureerde configuratiegeneratie in plaats van codesynthese. EvoMAS opereert binnen een begrenste, interpreteerbare configuratieruimte en evolueert collaboratieve MAS-configuraties via selectie, mutatie en kruising.

2.1. Configuratierepresentatie

Een MAS-configuratie $C$ wordt gedefinieerd als een tuple $(G, \{A_i\}, V_{in}, V_{out})$:

• Grafiek ($G$): Een acyclische communicatiegrafiek die de topologie definieert (wie communiceert met wie).
• Agenten ($A_i$): Elke agent wordt gedefinieerd door een backbone-model ($b_i$), een systeemprompt-sjabloon ($p_i$) en een hulpmiddelenset ($\Gamma_i$).
• Uitvoering: Een lichtgewicht runtime-interpretator ontkoppelt systeemstructuur van uitvoeringslogica, instantiateert agenten en beheert communicatie op basis van de declaratieve configuratie.

2.2. Evolutionair Proces

EvoMAS maakt gebruik van een door een LLM aangedreven evolutionaire zoektocht over een kandidatenpool, waarbij uitvoeringsfeedback wordt gebruikt als leersignalen. Het proces voor een gegeven taak $q$ omvat:

1. Selectie: Initiële configuraties worden opgehaald uit een pool die is gezaaid met door mensen ontworpen MAS-systemen (bijv. Peer Review, Meerderheidsstemming, MetaGPT) op basis van taakrelevantie en metadata.
2. Evolutionaire Operatoren: Het systeem verfijnt kandidaten iteratief met behulp van twee operatoren die zijn voorwaardelijk op uitvoeringssporen en een ervaringsgeheugen:
   • Mutatie: Wijzigt precies één componenttype (prompts, modeltoewijzingen, lijsten met hulpmiddelen of topologie) van één ouder om specifieke prestatieflessenhalzen aan te pakken die zijn geïdentificeerd in het uitvoeringsspoor.
   • Kruising: Combineert twee ouders door de communicatietopologie van de ene ouder te erven en agentniveau-kenmerken (prompts, modellen, hulpmiddelen) van beide ouders te recombineren.
3. Evaluatie: Configuraties worden geëvalueerd met een beloningsfunctie op basis van een LLM als rechter, die taakprestaties (juistheid, volledigheid) afweegt tegen computiekosten (tokens en latentie).
4. Pool- en Geheugenupdates: Configuraties met een hoge beloning worden toegevoegd aan de pool voor toekomstig hergebruik. Evolutionaire sporen worden samengevat tot compacte representaties (bijv. "promptverfijning voor outputopmaak verbeterde de nauwkeurigheid") en opgeslagen in een ervaringsgeheugen om toekomstige zoektochten te sturen via op vergelijkbaarheid gebaseerde ophaalmechanismen.

2.3. Belangrijke Ontwerpprincipes

• Gestructureerd versus Code: Door gestructureerde configuraties (YAML) te genereren in plaats van uitvoerbare code, vermijdt EvoMAS syntaxisfouten en zorgt het voor hoge runtime-robustheid.
• Gecombineerde Evolutie: In tegenstelling tot eerder werk dat prompts of topologie apart optimaliseert, evolueert EvoMAS alle componenten (topologie, prompts, modellen, hulpmiddelen) gezamenlijk als een geïntegreerd systeem.
• Schalen van Compute tijdens Testtijd: EvoMAS past de computeverdeling over het multi-agent-systeem aan via configuratiezoektochten, in plaats van meer compute toe te wijzen aan een enkele agent.

3. Belangrijkste Bijdragen

1. Een op Configuratie Gebaseerd Paradigma: Het herformuleren van MAS-construktie als gestructureerde tekstgeneratie, waardoor robuuste en uitdrukkingskrachtige exploratie van de MAS-ontwerpruimte mogelijk wordt zonder de breekbaarheid van codegeneratie.
2. Het EvoMAS-raamwerk: Een door een LLM aangedreven evolutionair raamwerk dat een pool van kandidaatconfiguraties onderhoudt die zijn gezaaid vanuit door mensen ontworpen systemen en deze iteratief verfijnt via uitvoeringsgeleide mutatie, kruising en hergebruik op basis van geheugen.
3. Uitgebreide Benchmarking: Het aantonen van superieure taakprestaties in domeinen voor redenering, codering en het aanroepen van hulpmiddelen, met hogere uitvoeringssuccespercentages in vergelijking met zowel door mensen ontworpen MAS als eerdere methoden voor automatische generatie.

4. Experimentele Resultaten

EvoMAS werd geëvalueerd op vijf benchmarks: BBEH (redenering), WorkBench (hulpmiddelengebruik) en SWE-Bench-Lite/Verified (software-engineering).

• Prestatiewinsten: EvoMAS presteerde consistent beter dan de baselines.
  • Op BBEH behaalde het 58,7% nauwkeurigheid (met automatische LLM-selectie), wat 10,5 punten meer is dan het beste EvoAgent-resultaat en 5,9 punten meer dan de beste configuratie per LLM.
  • Op WorkBench bereikte het 48,9%, wat 4,4 punten meer is dan het beste resultaat per LLM.
  • Op SWE-Bench-Verified behaalde EvoMAS een resolutiepercentage van 63,8%, wat beter is dan de beste configuratie met één LLM (+3,4 punten) en de beste vooraf gedefinieerde MAS (MetaGPT) met een aanzienlijke marge. Met Claude-4.5-Sonnet bereikte het 79,1%, wat gelijkstaat aan de top van de openbare leaderboard.
• Robustheid en Uitvoerbaarheid: EvoMAS behaalde uitvoeringspercentages van meer dan 96% over alle benchmarks (bijv. 98,9% op BBEH), wat aanzienlijk beter is dan methoden voor codegeneratie zoals MAS-GPT (71,5% op BBEH, 1,2% op SWE-Bench-Lite).
• Schalingsgedrag: In tegenstelling tot methoden met één agent of vaste topologie die verzadigen of verslechteren bij verhoogde tokenbudgetten, blijft EvoMAS de prestaties verbeteren naarmate de compute toeneemt, waarbij het efficiëntere coördinatiepatronen ontdekt.
• Generalisatie: Het raamwerk generaliseert naar wiskundige redenering (AIME 2024–2025), met een nauwkeurigheid van 56,7%, wat beter is dan vooraf gedefinieerde baselines.

5. Betekenis en Claims

Het artikel stelt dat EvoMAS een verschuiving vertegenwoordigt van handmatige, taakspecifieke MAS-engineering naar geautomatiseerde, adaptieve systeemsynthese. De betekenis hiervan ligt in:

• Structurele Optimalisatie: De prestatiewinsten zijn structureel en ontstaan door het ontdekken van effectieve coördinatiepatronen (bijv. emergente rollen zoals "decomponist" of "verificator" en nieuwe topologieën) in plaats van louter het schalen van compute of het vertrouwen op grotere modellen.
• Betrouwbaarheid: Door structuur te ontkoppelen van uitvoeringslogica via configuratie, lost EvoMAS de betrouwbaarheidsproblemen op die inherent zijn aan benaderingen voor codegeneratie, waardoor geautomatiseerde MAS-generatie haalbaar wordt voor toepassingen in de echte wereld.
• Adaptatie tijdens Testtijd: Het biedt een leerparadigma op basis van staat waarbij verbeteringen accumuleren via configuratie-updates en uitvoeringservaring, wat een duidelijk alternatief biedt voor op gradiënten gebaseerde fine-tuning.
• Generaliseerbaarheid: Het raamwerk is agent-agnostisch en ondersteunt heterogene modeltoewijzingen, waardoor het de sterke punten van verschillende LLM's kan benutten voor specifieke rollen binnen één systeem.

De auteurs concluderen dat EvoMAS effectief de drempel verlaagt voor gespecialiseerde agentontwikkeling, hoewel zij opmerken dat toekomstig werk zich moet richten op adversariele coördinatie en verdere vermindering van evolutiekosten.