Technische Samenvatting: ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

Probleemstelling

Mixture-of-Agents (MoA) architecturen beogen de verbetering van inference-time scaling te optimaliseren door meerdere Large Language Model (LLM) agenten te organiseren in gelaagde redeneerpipelines. Hoewel het vergroten van de diepte (aantal lagen) en breedte (aantal agenten per laag) theoretisch een pad biedt naar schaalbare collectieve redenering, falen bestaande MoA-varianten erin om prestatiewinsten te handhaven naarmate de architecturen dieper worden. Empirische observaties onthullen drie duidelijke faalmodi:

1. Degradatie: Standaard MoA-systemen bereiken vaak een piek bij ondiepe dieptes en verslechteren vervolgens, omdat ruwe inter-laag concatenatie zowel nuttige redenering als geaccumuleerde fouten voortplant.
2. Vroegtijdige Plateauvorming: Varianten die gebruikmaken van lokale residuele propagatie (bijv. RMoA) falen in het ophalen van hoogwaardige redeneringen gegenereerd in niet-aangrenzende eerdere lagen, wat ertoe leidt dat de prestaties een plateau bereiken.
3. Verzadiging en Diversiteitsinstorting: Systemen die vertrouwen op intra-laag interactie (bijv. AttentionMoA) of identieke geaccumuleerde context, zorgen ervoor dat agenten convergeren naar redundante oplossingspaden, waardoor de exploratiediversiteit instort.

Bestaande methoden proberen deze problemen aan te pakken via informatieconsolidatie, inter-agent interactie of kwaliteit-gestuurde selectie, maar geen van hen slaagt erin de balans tussen kwaliteitsbehoud (het behouden van hoogwaardige redeneertrajecten) en diversiteitsbehoud (het voorkomen dat agenten naar identieke paden convergeren) te handhaven terwijl het systeem schaalt.

Methodologie: ReM-MoA

De auteurs stellen ReM-MoA voor, een geheugen-geaugmenteerd MoA-framework dat is ontworpen om scaling te ondersteunen door het probleem te behandelen als een gezamenlijke taak van kwaliteit- en diversiteitsbehoud. Het framework bestaat uit drie onderling verbonden componenten:

1. Ranked Reasoning Memory ($M$)

In tegen tegenover episodische geheugensystemen die ervaring accumuleren over verschillende taken heen, onderhoudt ReM-MoA een gestructureerd, cross-layer redenegeheugen binnen een enkele probleeminstantie.

• Mechanisme: In elke laag $l$ genereren $N$ proposerende agenten redeneertraces. Een Reviewer Agent (een LLM) evalueert deze traces vergelijkend door een integer score en een gerichte rationale aan elke trace toe te kennen.
• Opslag: Het geheugen slaat een unie op van entries uit alle voorgaande lagen ($M_{\le l} = \bigcup_{k=1}^l M_k$), waarbij elke entry een triple is van (trace, score, rationale).
• Toegang: Het geheugen is append-only en ondersteunt leestoegang vanaf elke daaropvolgende laag, waardoor diepere lagen redeneerpaden kunnen herbezoeken en kunnen voortbouwen op paden van willekeurige dieptes, niet alleen van aangrenzende lagen.

2. Curated Diversified Memory Routing ($\Pi$)

Om diversiteitsinstorting te voorkomen, zorgt het framework ervoor dat agenten binnen dezelfde laag geen identieke context consumeren.

• Mechanisme: Een routing-schema selecteert onderscheidende subsets van het geheugen voor elke proposerende agent. Deze subsets worden getrokken uit drie families van routingfuncties:
  • Contrastief ($Conn$): Combineert hoog-scorende (Top) en laag-scorende (Bot) traces om contrastieve signalen te bieden.
  • Positieve Versterking ($Top$): Richt zich op succesvolle patronen.
  • Focus op Foutmodi ($Bot$): Brengt veelvoorkomende valkuilen aan het licht.
• Distributie: Voor $N$ agenten worden de routingfuncties verdeeld over deze families (bijv. één agent ontvangt contrastieve informatie, een andere positieve, een andere focus op fouten). Dit zorgt ervoor dat de laag als geheel de inhoud van het geheugen verkent, terwijl individuele agenten unieke, kwaliteit-bewuste referentiesets ontvangen.

3. Reviewer Distillatie (Optionele Verbetering)

Om de kwaliteit van de ranking door de Reviewer Agent te verbeteren, introduceren de auteurs een optionele pipeline met behulp van frontier-model distillatie.

• Proces: Een sterk docentmodel (bijv. GPT-5.5) superviseert de scoring en rationales van de traces gegenereerd door ReM-MoA zelf op een multi-domein trainingsset.
• Fine-tuning: Een kleiner basis-Reviewer model wordt via parameter-efficiënte LoRA gefinetuned om de oordelen van de docent na te bootsen. Dit creëert een algemeen bruikbare Reviewer die in staat is om over te dragen naar andere redeneerdomeinen.

Belangrijkste Bijdragen

1. Empirische Karakterisering van Scaling-falen: Het artikel identificeert en karakteriseert drie specifieke faalmodi in bestaande MoA-systemen (degradatie, plateauvorming en diversiteitsinstorting) die worden gedreven door ruwe concatenatie, beperkte cross-layer toegang en gehomogeniseerde context.
2. ReM-MoA Framework: De voorstel van een framework dat scaling ondersteunt door middel van een Ranked Reasoning Memory en Curated Diversified Memory Routing. Deze aanpak behoudt hoogwaardige redeneertrajecten terwijl de exploratiediversiteit wordt gehandhaafd door agenten bloot te stellen aan verschillende combinaties van succesvolle en mislukte traces.
3. Optionele Distillatie-pipeline: De introductie van een multi-domein Reviewer-distillatiepipeline die het ranking-module upgradet, waardoor het systeem kan generaliseren naar onbekende domeinen.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over vijf redeneerbenchmarks (Wiskunde, Formele Logica, Code, Kennis en Commonsense) tonen aan dat ReM-MoA voorgaande varianten overtreft bij zowel diepte- als breedtescaling.

Experimentele Resultaten

De auteurs hebben ReM-MoA geëvalueerd tegenover Standard MoA, RMoA en AttentionMoA over vijf benchmarks: MATH, MMLU-redux, Formal Logic, CRUX (code) en HellaSwag.

• Diepte Scaling ($L=1$ tot $9$, $N=3$):

  • Standard MoA degradeerde aanzienlijk (bijv. een daling van ~9,1 punten op MMLU-redux bij $L=9$).
  • RMoA en AttentionMoA bereikten een vroegtijdig plateau of verzadigden.
  • ReM-MoA verbeterde consistent naarmate de diepte toenam. Het prestatieverschil tussen ReM-MoA en de sterkste baseline werd monotoon groter met de diepte (bijv. een voorsprong van +7,3 punten op Formal Logic bij $L=9$).
  • ReM-MoA$^*$ (met gedistilleerde Reviewer) breidde de duurzame scaling verder uit naar alle benchmarks, waarbij de verzadigingstrends werden omgebogen naar voortdurende groei op voorheen plateau-bereikende taken.

• Breedte Scaling ($N=3$ tot $8$, $L=3$):

  • ReM-MoA presteerde beter dan alle baselines over alle breedteconfiguraties.
  • Hoewel breedte scaling minder rendement liet zien vergeleken met diepte, behield ReM-MoA een consistente voorsprong, waarbij het gat groeide van +2,30 naar +3,68 punten naarmate $N$ toenam.

• Ablatie-studies:

  • Het verwijderen van cross-layer toegang (het beperken van reads tot de direct voorgaande laag) veroorzaakte de grootste prestatiedaling, wat de noodzaak bevestigt van toegang tot niet-aangrenzende lagen.
  • Het verwijderen van routing-diversificatie (het delen van één referentieset onder alle agenten) leidde tot een regressie vergelijkbaar met de volledige fout van het model, wat bewijst dat diversiteit binnen de laag cruciaal is.
  • Het verwijderen van rationales resulteerde in een kleinere prestatiedaling maar behield de scaling-trend, wat aangeeft dat rationales fungeren als verfijning in plaats van essentieel steunpunt.

• Distillatie Transfer:

  • Een Reviewer gedistilleerd op vier domeinen (waarbij het evaluatiedomein werd uitgesloten) herstelde 44% van de winst behaald door een multi-domein gedistilleerd model, wat de overdraagbaarheid naar onbekende redeneerdomeinen aantoont.

Betekenis en Claims

Het artikel claimt dat gestructureerd cross-layer redenegeheugen een kritiek ontbrekend mechanisme is voor schaalbare multi-agent inference. Door het behoud van hoogwaardige redenering te ontkoppelen van het behoud van exploratiediversiteit, overwint ReM-MoA de scaling-instorting die in eerdere architecturen werd waargenomen.

De auteurs stellen dat ReM-MoA een nieuw paradigma vestigt waarbij scaling-winsten niet louter een functie zijn van aggregatie of interactie, maar van hoe redeneertraces worden opgeslagen, gerankt en selectief gerouteerd. Het framework demonstreert dat met de juiste geheugenarchitectuur, multi-agent systemen prestatieverbeteringen kunnen handhaven naarmate ze schalen in zowel diepte als breedte, een eigenschap die voorheen onbereikbaar was in dit vakgebied. De optionele distillatie-pipeline suggereert verder dat deze voordelen kunnen worden gegeneraliseerd naar verschillende domeinen zonder taakspecifieke verifiers.