Recursive Multi-Agent Systems

1. Probleemstelling

Huidige Large Language Models (LLMs) hebben vaak moeite met complexe taken vanwege beperkte capaciteit, kortzichtige generatie of inefficiënte verkenning van de oplossingsruimte. Hoewel Multi-Agent Systemen (MAS) zijn opgekomen om dit aan te pakken door gespecialiseerde agenten te organiseren in samenwerkende workflows, staan bestaande benaderingen voor aanzienlijke beperkingen:

• Tekst-gemedieerde Latentie: Standaard MAS vertrouwt op expliciete tekstgeneratie en -uitwisseling tussen agenten. Dit introduceert aanzienlijke latentie en token-overhead, vooral in recursieve of iteratieve omgevingen waar agenten moeten wachten tot anderen klaar zijn met het genereren van tekst voordat ze kunnen doorgaan.
• Onderwijsinefficiëntie: Het optimaliseren van een volledig MAS is moeilijk. Het updaten van alle modelparameters is computergewijs duur, en sequentiële tekstafhankelijkheden leiden vaak tot het verdwijnen van gradiënten tijdens backpropagatie, wat het leren van complexe samenwerkingsdynamieken belemmert.
• Statische Adaptatie: Veel bestaande methoden vertrouwen op prompt engineering of iteratieve contextverfijning, wat de uitlijning verbetert maar de interne redeneercapaciteiten van de agenten of de samenwerkingsstructuur van het systeem niet fundamenteel doet evolueren.

De auteurs vragen zich af: Kan agent-samenwerking zelf worden geschaald via recursie, en kan dit efficiënter worden bereikt door te opereren in de latente ruimte in plaats van de tekstruimte?

2. Methodologie: RecursiveMAS

Het paper introduceert RecursiveMAS, een raamwerk dat het gehele multi-agent-systeem omarmt als een geünificeerde recursieve berekening in de latente ruimte. In plaats van agenten te behandelen als aparte entiteiten die tekst uitwisselen, behandelt RecursiveMAS ze als lagen in een recursieve lus, waarbij latente representaties (verborgen staten) worden doorgegeven en verfijnd in plaats van tokens.

Kernarchitectonische Componenten

1. Generatie van Latente Gedachten (Binnenste Lus):

   • Elke agent voert autoregressieve generatie uit, niet van tokens, maar van latente gedachten (continue verborgen staat-embeddings).
   • Een Inner RecursiveLink ($R_{in}$) verbindt de output van de laatste laag van een agent terug met zijn input-embeddingsruimte voor de volgende stap. Dit stelt een agent in staat om zijn interne redeneertoestand iteratief te verfijnen zonder te decoderen naar tekst.
   • $R_{in}$ is een lichtgewicht residual projectiemodule van 2 lagen: $R_{in}(h) = h + W_2 \sigma(W_1 h)$.

2. Cross-Agent Samenwerking (Buitenste Lus):

   • Heterogene agenten (verschillende modelgroottes/architecturen) zijn verbonden via een Outer RecursiveLink ($R_{out}$).
   • $R_{out}$ transformeert de latente staat van de ene agent naar de embeddingsruimte van de volgende agent, waardoor naadloze informatietransfer over verschillende modeltypen mogelijk wordt.
   • Het systeem vormt een gesloten lus: Agent $A_1 \to A_2 \to \dots \to A_N \to A_1$. Alleen de laatste agent in de laatste recursieronde decodeert de latente staat naar de uiteindelijke tekstoutput.

3. Inner-Outer Lus Trainingsparadigma:

   • Inner-Loop Training: Elke agent wordt individueel opgewarmd. De innerlijke $R_{in}$ wordt getraind om de gegenereerde latente gedachten van de agent uit te lijnen met de semantische verdeling van het grondwaarheid-antwoord (met behulp van cosine similarity-regressie). Dit zorgt ervoor dat agenten betekenisvolle latente staten kunnen genereren.
   • Outer-Loop Training: Het volledige systeem wordt co-geoptimaliseerd. De buitenste $R_{out}$-modules worden getraind met een gedeelde gradiënt-gebaseerde credit assignment-mechanisme. Gradiënten worden teruggepropageerd door het volledige recursieve berekeningengrafiek (over alle agenten en recursierondes) met behulp van een standaard Cross-Entropy-verlies op de uiteindelijke output. Dit stelt het systeem in staat om te leren hoe het iteratief moet samenwerken.

Theoretische Voordelen

Het paper biedt twee belangrijke theoretische rechtvaardigingen voor recursie in de latente ruimte:

• Runtime Complexiteit: RecursiveMAS vervangt de dure decodering in de vocabulaire-ruimte ($O(|V|)$) door projectie in de latente ruimte ($O(d_h^2)$). Omdat de verborgen dimensie $d_h$ veel kleiner is dan de vocabulairegrootte $|V|$, wordt de complexiteit aanzienlijk gereduceerd.
• Gradiëntstabiliteit: Theoretische analyse toont aan dat tekstgebaseerde recursie lijdt aan het verdwijnen van gradiënten (gradiëntnorm $\approx 0$) als gevolg van de softmax-operatie en entropiebeperkingen. In tegenstelling hiermee behoudt RecursiveMAS stabiele, bijna constante gradiënten (norm $\approx 1$) via de residual connecties in de latente ruimte, wat effectieve training van diepe recursie faciliteert.

3. Belangrijkste Bijdragen

1. Systeemniveau Recursie: Het eerste raamwerk dat het schaalprincipe van recursie uitbreidt van enkele modellen naar heterogene multi-agent systemen, waarbij het volledige MAS wordt behandeld als een geünificeerde lus in de latente ruimte.
2. Lichtgewicht RecursiveLink: Een nieuw, parameter-efficiënt module ($R_{in}$ en $R_{out}$) dat generatie van latente gedachten en overdracht van staten tussen agenten mogelijk maakt zonder de enorme parameters van de basis-LLMs bij te werken.
3. Inner-Outer Lus Optimalisatie: Een twee-traps trainingsalgoritme dat agentcapaciteit (inner) ontkoppelt van systeem-samenwerking (outer), waardoor stabiele co-optimatie van het volledige systeem mogelijk wordt.
4. Generaliseerbaarheid: Het raamwerk is architectuur-agnostisch en ondersteunt diverse samenwerkingspatronen, waaronder Sequentieel, Mixture-of-Experts, Distillatie en Tool-geïntegreerde Deliberatie.

4. Empirische Resultaten

De auteurs hebben RecursiveMAS geëvalueerd op 9 benchmarks (Wiskunde, Wetenschap, Geneeskunde, Zoeken, Code) met 4 verschillende samenwerkingspatronen en diverse modelfamilies (Qwen, Llama, Gemma, Mistral).

• Nauwkeurigheid: RecursiveMAS behaalde een gemiddelde nauwkeurigheidsverbetering van 8,3% vergeleken met geavanceerde single-agent en multi-agent baselines (inclusief recursieve tekstgebaseerde systemen).
  • Opmerkelijke winsten op redeneringsintensieve taken: +18,1% op AIME2025, +13,0% op AIME2026.
• Efficiëntie (Snelheid):
  • Inferentieversnelling: Bereikte een 1,2× tot 2,4× versnelling van de end-to-end inferentie vergeleken met tekstgebaseerde recursieve MAS. De versnelling neemt toe naarmate de recursiediepte toeneemt, omdat tekstgebaseerde systemen lijden aan cumulerende token-generatiekosten.
  • Tokenreductie: Verminderde tokengebruik met 34,6% tot 75,6% vergeleken met tekstgebaseerde baselines, aangezien de meeste interacties plaatsvinden in de gecomprimeerde latente ruimte.
• Schaalwetten:
  • Recursiediepte: De prestaties verbeteren consequent naarmate het aantal recursierondes ($r=1, 2, 3$) toeneemt.
  • Training vs. Inferentie: Diepere trainingsrecursie verschuift de prestatiefrontier omhoog, en diepere inferentie-recursie benut verder de geleerde latente structuur.
• Kosten: Het trainen van RecursiveMAS is aanzienlijk goedkoper dan volledige fine-tuning of zelfs LoRA fine-tuning van enkele agenten, omdat alleen de lichtgewicht RecursiveLink-modules worden bijgewerkt (ongeveer 0,31% van de totale parameters).

5. Betekenis

RecursiveMAS vertegenwoordigt een paradigmaverschuiving in hoe multi-agent systemen worden ontworpen en getraind:

• Efficiëntie: Het lost de "tokenbelasting" van multi-agent samenwerking op, waardoor iteratief redeneren haalbaar wordt voor complexe taken zonder prohibitieve latentie of kosten.
• Schaalbaarheid: Het toont aan dat systeemniveau-prestaties kunnen worden geschaald door de recursielus te verdiepen, vergelijkbaar met hoe enkele modellen schalen met diepte, maar toegepast op een collaboratief ecosysteem.
• Stabiliteit: Door samenwerking naar de latente ruimte te verplaatsen, overwint het de gradiëntstabiliteitsproblemen die historisch diepe recursieve training in tekstgebaseerde systemen hebben geteisterd.
• Generalisatie: Het vermogen van het raamwerk om te generaliseren over verschillende agent-topologieën (sequentieel, parallel, distillatie) suggereert een robuuste, universele aanpak voor het schalen van agent-samenwerking.

Kortom, RecursiveMAS bewijst dat recursie in de latente ruimte een levensvatbare en superieure schaalas is voor multi-agent systemen, en biedt een weg naar capabelere, efficiëntere en beter trainbare collaboratieve AI.