Technische Samenvatting: EvoMAS

Probleemstelling

Multi-agent systemen (MAS) op basis van Large Language Models (LLM) hebben potentieel getoond in complexe taken door specialisatie en collaboratief redeneren. Echter, huidige methoden voor geautomatiseerd ontwerp houden zich grotendeels aan een one-shot paradigma: een workflow wordt geoptimaliseerd of geselecteerd voordat uitvoering plaatsvindt en blijft statisch gedurende de taak. Deze aanpak is ongeschikt voor taken met een lange horizon, waarbij subdoelen, tussentijdse bewijzen en informatiebehoeften evolueren over meerdere uitvoeringsfasen. Vertrouwen op een enkele, vaste coördinatiestrategie voor dergelijke dynamische omgevingen is inherent suboptimaal.

Het paper identificeert twee fundamentele uitdagingen bij het aanpakken van deze beperking:

1. Het Construeren van een Expliciete Taakstatus tijdens Uitvoering: Taken met een lange horizon vereisen dat een systeem een expliciete status onderhoudt die uitvoeringsvoortgang, tussentijdse artefacten en oplossingskwaliteit samenvat om principiële coördinatiebeslissingen te nemen. Zonder dit ontbreekt er een concreet fundament voor workflowaanpassing.
2. Het Aanpassen van Workflows aan Evoluerende Taakstatussen: Verschillende uitvoeringsfasen stellen heterogene coördinatievereisten (bijvoorbeeld exploratie versus verfijning). Een systeem moet dynamisch fase-specifieke workflows construeren die afhankelijk zijn van de huidige taakstatus, in plaats van te vertrouwen op een statisch ontwerp.

Methodologie: EvoMAS

De auteurs stellen EvoMAS voor, een framework voor constructie van multi-agent workflows tijdens uitvoering. EvoMAS herformuleert workflowselectie als een meta-niveau sequentieel beslissingsprobleem langs een enkele taaktraject.

1. Formalisering (Meta-niveau MDP)

EvoMAS modelleert het proces als een Meta-Markov Decision Process (Meta-MDP) $M = (S^m, A^m, T^m, R^m)$:

• Meta-Status ($s^m_t$): Een gestructureerde tekstuele representatie van de huidige taakvoortgang, tussentijdse artefacten en feedback.
• Meta-Actie ($a^m_t$): De selectie van een concrete multi-agent workflow $G_t = (V_t, E_t)$, waarbij $V_t$ een subset is van agenten uit een vaste pool $\mathcal{P}$, en $E_t$ de informatiestroom definieert (gelaagde DAG-structuur).
• Overgang: Het uitvoeren van $G_t$ produceert een geaggregeerd resultaat $\xi_t$ (berichten, tool-observaties, feedback van de evaluator), wat de meta-status bijwerkt via een overgangsfunctie.
• Doel: Een beleid $\pi_{wf}$ leren dat de verwachte cumulatieve meta-niveau beloning maximaliseert, voornamelijk gebruikmakend van schaarse, verifieerbare taakslagen aan het einde.

2. Systeemcomponenten

EvoMAS werkt via drie kerncomponenten:

• Constructie van Taakstatus (Planner–Evaluator–Updater-pijplijn):

  • Planner: Onderhoudt het subtakenplan, identificeert actieve subtaken en behandelt fouten door context toe te voegen voor verfijning.
  • Evaluator: Beoordeelt het vorige uitvoeringsresultaat tegen de actieve subtaken, en produceert uitspraken (succes/falen/verfijnen), betrouwbaarheidsscores en feedback in natuurlijke taal.
  • Updater: Integreert de vorige status, uitgevoerde workflow en uitvoeringsregistratie in een nieuwe gestructureerde taakstatus $\tilde{s}_t$. Deze status dient als context voor agenten en conditioneert de workflowadapter.

• Constructie van Workflows tijdens Uitvoering (Workflow Adapter):

  • Gegeven de taakstatus $\tilde{s}_t$, instantieert een Workflow Adapter een fase-specifieke gelaagde workflow vanuit een vaste pool van kandidaat-agenten.
  • De adapter encodeert de taakstatus en agent-embeddings (afgeleid van rol, capaciteiten en tools).
  • Het maakt gebruik van cross-attention om agenten te scoren en hanteert een cumulatieve-massa soft-sampling mechanisme om agenten voor elke laag zonder vervanging te selecteren, waarbij wordt gegarandeerd dat de geselecteerde set een drempel van waarschijnlijkheidsmassa bereikt.
  • Dit staat toe dat dezelfde agent in meerdere lagen of meta-stappen voorkomt, wat iteratieve verfijning mogelijk maakt.

• Optimalisatie van Workflowbeleid:

  • De adapterparameters worden geoptimaliseerd met Versterkend Leren (REINFORCE).
  • Het primaire supervisiessignaal is schaarse taakslagen aan het einde (verifieerbaar via benchmark-evaluatie), waardoor directe optimalisatie tegen mogelijk bevooroordeelde evaluatorduidingen wordt vermeden.
  • Procesbeloningen (op basis van de evaluator) worden apart geanalyseerd als hulpmiddel voor credit-toewijzing in regimes met extreem schaarse beloningen.

Belangrijkste Bijdragen

1. Paradigmareformulering: De auteurs verschuiven geautomatiseerde constructie van multi-agent workflows van een one-shot, ontwerp op het moment van initialisatie naar een sequentieel beslissingsprobleem dat plaatsvindt tijdens taakuitvoering.
2. Framework tijdens Uitvoering: EvoMAS combineert expliciete constructie van taakstatus met een geleerde, status-geconditioneerde workflowadapter, waardoor dynamische herorganisatie van agentcoördinatiestructuren mogelijk is naarmate de taak evolueert.
3. Empirische Validatie: Het framework is gevalideerd op complexe, meerstaps benchmarks (GAIA, HLE, DeepResearcher), waarbij wordt aangetoond dat aanpassing tijdens uitvoering beter presteert dan zowel single-agent baselines als recente methoden voor geautomatiseerd MAS-ontwerp.

Experimentele Resultaten

Experimenten werden uitgevoerd op GAIA (Niveaus 1–3), HLE en DeepResearcher.

• Prestaties: EvoMAS-7 (met een pool van 7 agenten) behaalde een gemiddelde slagingskans van 65,0, wat 30,2 punten beter is dan de sterkste geautomatiseerde MAS-baseline (G-Designer/MaAS) en 35,2 punten beter dan de sterkste single-agent baseline (GPT-4o).
• Generalisatie: EvoMAS behaalde de beste resultaten op alle vier de geëvalueerde benchmarks, wat wijst op brede toepasbaarheid in plaats van benchmark-specifiek overfitting.
• Ablatiestudies:
  • Taakstatus: Expliciete constructie van taakstatus tijdens uitvoering verbeterde de slagingskansen zelfs wanneer de workflowstructuur vast was, wat de waarde benadrukt van gestructureerde administratie voor tussentijdse artefacten en herziening van subtaken.
  • Leren van Schaarse Beloningen: De Workflow Adapter leerde succesvol effectieve beleidslijnen met uitsluitend schaarse beloningen aan het einde, met prestaties die gestaag verbeterden op GAIA Niveau 1 en 2.
  • Procesbeloning: Procesbeloningen op basis van de evaluator bleken onnodig voor standaardtaken, maar cruciaal voor "zeer-moeilijke" instellingen (bijvoorbeeld GAIA Niveau 3, BrowserComp) waar taakslagen aan het einde te schaars zijn om leersignalen te bieden.
  • Gevoeligheid voor Achtergrondmodel: Sterkere onderliggende LLM's (bijvoorbeeld GPT-4o versus GPT-4o-mini) verbeterden de prestaties verder, wat suggereert dat EvoMAS complementair is aan verbeteringen van het achtergrondmodel.

Betekenis en Beweringen

Het paper beweert dat EvoMAS de rigiditeit van huidige multi-agent systemen aanpakt door bewustzijn van uitvoering mogelijk te maken. Door workflowselectie te behandelen als een sequentieel beslissingsprobleem dat afhankelijk is van een expliciete taakstatus, stelt EvoMAS systemen in staat om indien nodig te schakelen tussen informatieverwerving, verfijning, aggregatie en beëindiging.

De auteurs benadrukken dat hun aanpak complementaire voordelen biedt vanuit zowel expliciete statusconstructie als geleerde workflowaanpassing. Zij merken op dat hoewel het huidige framework een vaste pool van kandidaten en een maximale diepte veronderstelt, het een fundament legt voor toekomstig werk in open-ended agentcreatie en dynamische diepteadaptatie. De studie suggereert dat voor taken met gemiddelde moeilijkheidsgraad schaarse beloningen aan het einde voldoende zijn voor training, terwijl procesbeloningen dienen als een gespecialiseerd hulpmiddel voor extreme schaarste.