HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems

Titel: HieraMAS: Optimalisatie van Intra-Node LLM-mengsels en Inter-Node Topologie voor Multi-Agent Systemen

1. Het Probleem

Multi-agent systemen (MAS) gebaseerd op grote taalmodellen (LLM's) hebben indrukwekkende prestaties geleverd op diverse taken. Echter, bestaande benaderingen hebben drie fundamentele beperkingen:

1. Isolatie van optimalisatie: Onderzoekers optimaliseren vaak alleen de communicatietopologie, de roltoewijzing of de LLM-routing afzonderlijk, zonder deze aspecten te integreren.
2. Monolithische agents: Agents worden behandeld als onbreekbare eenheden. Bestaande methoden negeren het potentieel om de interne capaciteit van een agent te verbeteren door gebruik te maken van mengsels van verschillende LLM's (intra-node mixtures).
3. Credit Assignment Uitdagingen: Bij gezamenlijke optimalisatie van topologie en interne configuraties is het moeilijk om toe te schrijven welke component (welke agent, welke LLM, welke verbinding) bijdraagt aan het succes of falen van de taak.
   • Challenge 1: Een hoge eindbeloning kan individuele fouten van een agent maskeren als andere agents deze compenseren.
   • Challenge 2: Het optimaliseren van individuele communicatie-verbindingen (per-edge) leidt tot verstrengelde attributie, waarbij het moeilijk is om de bijdrage van een enkele link te isoleren.

2. Methodologie: HieraMAS Framework

HieraMAS introduceert een hiërarchisch samenwerkingskader dat twee niveaus van samenwerking combineert: intra-node (binnen een agent) en inter-node (tussen agents).

A. Architectuur: Supernodes
In plaats van één agent per knooppunt, introduceert HieraMAS supernodes.

• Een supernode $S_i$ vertegenwoordigt een functionele rol (bijv. "Wiskundige Analist") en bestaat uit een mengsel van heterogene LLM's.
• Structuur: Elke supernode heeft een propose-synthesis structuur:
  • $W$ Proposers: Verschillende LLM's genereren diverse voorstellen.
  • 1 Synthesizer: Een LLM die de voorstellen samenvoegt tot één uniek antwoord.
• Skip-token: Het systeem bevat een speciale "skip"-token. Als deze wordt geselecteerd voor een proposer, wordt die agent genegeerd (kostenbesparing). Als deze voor de synthesizer wordt gekozen, wordt de hele supernode (rol) uitgeschakeld. Dit zorgt voor adaptieve rolpruning.

B. Optimalisatie van Topologie
De communicatie tussen supernodes wordt bepaald door een graafstructuur. In plaats van te leren welke individuele randen (edges) er moeten zijn, behandelt HieraMAS de topologiekeuze als een holistische graafclassificatieopgave.

• Er wordt een pool van $K$ willekeurige, gerichte acyclische grafen (DAG's) gegenereerd.
• Een Graafclassificator (op basis van GCN - Graph Convolutional Network) scoort deze kandidaat-grafen en selecteert de beste voor een specifieke query.

C. Twee-staps Trainingsalgoritme
Om de credit assignment-problemen op te lossen, gebruikt HieraMAS een gefaseerde aanpak:

• Fase 1: Supernode Optimalisatie (LLM-selectie)

  • De graaftopologie wordt willekeurig gekozen uit de kandidatenpool.
  • Multi-level Rewards: Om het masker-effect te doorbreken, wordt niet alleen de eindbeloning gebruikt, maar ook een node-level beloning. De effectieve beloning is een gewogen som: $R_{eff} = \alpha \cdot R_{node} + (1-\alpha) \cdot R_{final}$. Dit zorgt ervoor dat een falende agent correct wordt gestraft, zelfs als het totale systeem slaagt.
  • De LLM-selector leert welke modellen het beste passen bij een specifieke rol en taak, rekening houdend met kosten en prestaties.

• Fase 2: Graafclassificator Training

  • De LLM-selector wordt bevroren.
  • Het systeem genereert labels door verschillende topologieën te testen met de geoptimaliseerde LLM's.
  • De classificator leert om de meest geschikte topologie te voorspellen voor een gegeven query, zonder per-edge optimalisatie. Dit omzeilt het onoplosbare credit assignment-probleem op randniveau.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: Een MAS-architectuur waarbij samenwerking op twee niveaus ontstaat: intra-node via LLM-mengsels en inter-node via dynamische communicatie.
2. HieraMAS Framework: Een unificatie van intra-node configuratie (LLM-selectie, rolpruning) en inter-node structuur (communicatietopologie).
3. Oplossing voor Credit Assignment:
   • Introductie van multi-level rewards voor nauwkeurige attributie op rol-niveau.
   • Reformulering van topologie-optimalisatie als graafclassificatie in plaats van per-edge optimalisatie.
4. State-of-the-Art Resultaten: Uitgebreide experimenten tonen aan dat HieraMAS superieure prestaties levert met een betere kosten-batenverhouding dan bestaande methoden.

4. Resultaten

De methode is getest op drie benchmarks: HumanEval++ (coderen), MATH (wiskundig redeneren) en MMLU-Redux (algemene kennis).

• Prestaties: HieraMAS behaalde een gemiddelde nauwkeurigheid van 94,61%, wat significant hoger is dan bestaande methoden zoals AFlow (92,69%) en Full-Graph (92,78%).
• Kosten-efficiëntie:
  • HieraMAS is aanzienlijk goedkoper dan AFlow (trainingskosten zijn 18x lager op HumanEval++).
  • T.o.v. Full-Graph (waar alle agents met elkaar communiceren) bespaart HieraMAS tot 3x kosten door sparser topologieën en het gebruik van goedkopere LLM's waar mogelijk.
• Ablatie Studies:
  • Het verwijderen van de graafscoring mechanisme leidt tot een daling van ~3,5% in nauwkeurigheid.
  • Het gebruik van alleen de sterkste LLM (zonder selectie) verhoogt de kosten met >200% zonder de prestaties te verbeteren.
• Geleerde Patronen: Het systeem leert dat onregelmatige, spaarzame topologieën beter presteren dan vaste structuren (zoals ketens of volledige grafen). Rollen als "Psycholoog" en "Dokter" fungeren vaak als 'sink nodes' (ontvangers), terwijl "Kritiek" (Critic) vaak als bron fungeert.

5. Betekenis en Conclusie

HieraMAS vertegenwoordigt een belangrijke doorbraak in de ontwikkeling van Multi-Agent Systemen. Door de interne complexiteit van agents (via LLM-mengsels) te optimaliseren en deze te koppelen aan een dynamische, holistische communicatietopologie, lost het paper fundamentele problemen op rondom credit assignment en schaalbaarheid.

De studie toont aan dat het niet nodig is om de duurste modellen te gebruiken of de meest complexe netwerken te bouwen om de beste resultaten te behalen. In plaats daarvan kan een slimme combinatie van heterogene modellen en adaptieve communicatiepatronen leiden tot systemen die zowel slimmer als kostenefficiënter zijn. Dit opent nieuwe wegen voor het toepassen van LLM's op complexe, real-world taken waar nuance en kostenbewustzijn cruciaal zijn.