Technische Samenvatting: MANGO (Multi-Agent Network Gradient Optimization)

Probleemstelling

Multi-agent systemen bieden een veelbelovend paradigma voor het uitbreiden van Large Language Models (LLM's) door complexe taken op te splitsen in gespecialiseerde subtaken. Deze systemen zijn echter intrinsiek vatbaar voor foutpropagatie, waarbij onnauwkeurigheden in workflowontwerp of agent-uitvoering de uiteindelijke resultaten verslechteren. Het artikel identificeert twee primaire uitdagingen:

1. Fout in workflowgeneratie (C1): Een onjuiste planning van de taakvolgorde (bijvoorbeeld het kiezen van een webzoekopdracht in plaats van video-analyse) leidt tot cascadefouten. Bestaande methoden vertrouwen vaak op handmatige heuristieken of regelgebaseerde ontwerpen die moeite hebben om zich aan te passen aan diverse domeinen.
2. Fout in single-agent uitvoering (C2): Zelfs met een correct workflow kunnen individuele agenten gehallucineerde of onnauwkeurige output produceren (bijvoorbeeld het ophalen van een verkeerde datum). Huidige methoden voor tekstuele gradiënten om deze fouten te mitigeren, ondervinden beperkingen: ze bieden vaak zwakke supervisiessignalen voor tussenstappen in lange ketens (analoog aan het verdwijnen van gradiënten) en leiden tot hoge latentie door gradiënten terug te laten lopen door alle agenten, inclusief die welke al goed zijn geoptimaliseerd.

Methodologie: MANGO Framework

De auteurs stellen MANGO (Multi-Agent Network Gradient Optimization) voor, een datagedreven framework dat samenwerking tussen agenten organiseert via een stroomnetwerk opgebouwd uit eerdere succesvolle workflows. Het framework optimaliseert workflowpaden (randen) en agentgedrag (knooppunten) gezamenlijk met behulp van Reinforcement Learning (RL) en Tekstuele Gradiënten (TG).

1. Constructie van het Stroomnetwerk

Het systeem construeert een gerichte graaf $G = (V, E, s, t)$ waarbij:

• Knooppunten ($V$): Elk knooppunt vertegenwoordigt een agent (een LLM met een specifiek systeemprompt en rolbeschrijving). Knooppunten worden gevormd door het clusteren van vergelijkbare bewerkingen uit historische succesvolle workflows.
• Randen ($E$): Gerichte randen vertegenwoordigen geldige overgangen tussen bewerkingen.
• Bron ($s$) en Sink ($t$): Het netwerk heeft een bronnodo die de invoertaak ontvangt en een sinknode waar de uiteindelijke prestatie wordt geëvalueerd.

2. Gezamenlijke Optimalisatiestrategie

MANGO adresseert de gezamenlijke optimalisatie van het pad $P$ en de knooppuntparameters $\Theta_P$ via een complementaire updatestrategie:

• Optimalisatie van Randen (Reinforcement Learning):

  • Workflowgeneratie wordt geformuleerd als het vinden van een pad van $s$ naar $t$.
  • Een planner-agent genereert een hoogwaardig plan, en een policy-netwerk ($\pi_\phi$) selecteert de volgende executor-knooppunt op basis van de huidige staat (gelijkenis tussen de planstap en de rol/ervaring van het knooppunt).
  • De policy wordt geoptimaliseerd via REINFORCE, waarbij een beloning wordt gemaximaliseerd die procesgerichte correctheid (matchen met grondwahrheid-workflowstructuren) en resultaatgerichte prestaties (uiteindelijke taaknauwkeurigheid) combineert.

• Optimalisatie van Knooppunten (Tekstuele Gradiënten):

  • Zodra een pad is bemonsterd, worden de prompts ($P_i$) en rolbeschrijvingen ($r^*_i$) van de knooppunten langs het pad geoptimaliseerd.
  • MANGO introduceert lokale gradiëntsignalen naast globale signalen. De verliesfunctie combineert het verlies van de uiteindelijke taak met tussentijdse feedback om gradiëntverdwijning in lange ketens te voorkomen.
  • Parameters worden bijgewerkt met behulp van tekstuele gradiëntafstijging, waarbij prompts worden verfijnd zonder de modelgewichten te wijzigen.

• Slaan-mechanisme voor Efficiëntie:

  • Om rekenkosten te verminderen, hanteert MANGO een slaanstrategie. Als een knooppunt al goed is geoptimaliseerd, kan de agent het overslaan tijdens het optimalisatieproces.
  • De agent kan kiezen uit maximaal $K$-aangrenzende knooppunten in het netwerk. Overgeslagen knooppunten hergebruiken grondwahrheid-tussenstappen uit trainingsworkflows, waardoor redundante generatie en prompt-updates 'on-the-fly' worden vermeden.

Belangrijkste Bijdragen

1. Nieuw Stroomnetwerkmodel: Het artikel introduceert een datagedreven stroomnetwerkmodel dat multi-agent samenwerking formuleert als een gezamenlijke optimalisatie van randen (workflowpaden) en knooppunten (agent-output), waarbij foutpropagatie expliciet wordt aangepakt.
2. MANGO Framework: Een unificatiesysteem dat Reinforcement Learning integreert voor padselectie en Tekstuele Gradiënten voor promptoptimalisatie. Het integreert uniek lokale gradiëntsignalen en een slaanmechanisme om de efficiëntie te verbeteren.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat MANGO prestaties van state-of-the-art baselines overtreft, terwijl het de rekenkosten aanzienlijk verlaagt.

Experimentele Resultaten

Experimenten werden uitgevoerd op zeven benchmarks: HumanEval, MBPP, MATH, GSM8K, DROP, MMLU en GPQA.

• Prestaties: MANGO bereikt tot 12,8% verbetering ten opzichte van de beste state-of-the-art baselines (bijvoorbeeld MaAS) op de MATH-dataset. Het presteert consequent beter dan single-agent en multi-agent baselines in alle domeinen.
• Efficiëntie: Het framework vermindert de trainingstijd met 41,5% en de inferenti Tijd met 47,4% ten opzichte van MaAS, voornamelijk dankzij het slaanmechanisme. Het bereikt ook lagere API-kosten en tokengebruik.
• Generalisatie:
  • Cross-Model: MANGO getraind op GPT-4o-mini generaliseert effectief naar onbekende backbone LLM's (Qwen-2.5-72B, Llama-3.1-70B) en presteert beter dan baselines in zowel zero-shot als few-shot settings.
  • Cross-Domein: Het model toont sterke overdraagbaarheid, presteert goed wanneer getraind op één domein (bijvoorbeeld MATH) en getest op een ander (bijvoorbeeld GSM8K of HumanEval).
• Ablatiestudies: Het verwijderen van Reinforcement Learning of Tekstuele Gradiënten degradeert de prestaties aanzienlijk, wat de noodzaak van gezamenlijke optimalisatie bevestigt. Lokale signalen dragen bij aan een 6,8% winst in nauwkeurigheid, wat hun rol in het mitigeren van foutpropagatie onderstreept.

Betekenis en Claims

Het artikel claimt dat MANGO een verschuiving vertegenwoordigt van heuristiek-gedreven of regelgebaseerd multi-agent ontwerp naar een datagedreven paradigma dat samenwerkingspatronen leert uit historische successen. Door de workflowstructuur en agent-prompts gezamenlijk te optimaliseren, mitigeert MANGO effectief de dubbele uitdagingen van workflowgeneratiefouten en uitvoeringsfouten. De introductie van het slaanmechanisme adresseert het kritieke probleem van rekenredundantie in multi-agent systemen, en biedt een schaalbare oplossing voor efficiënte agent-samenwerking. De auteurs merken op dat hoewel het framework afhankelijk is van de kwaliteit van de initiële succesvolle workflows, het sterke self-bootstrapping capaciteiten vertoont, en progressief verbetert zelfs wanneer het begint met lagere kwaliteit initiële data.