Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains

Technische Samenvatting: Leren van Overdraagbare Topologiepriors voor Multi-Agent LLM-samenwerking over Domeinen

Probleemstelling
Multi-agent systemen op basis van Large Language Models (LLM) hebben sterke potentie getoond voor complex redeneren door gespecialiseerde agenten te coördineren via gestructureerde communicatie. Echter, in multi-domein settings (bijvoorbeeld zorg, recht, wetenschap) bouwen bestaande methoden voor topologie-evolutie doorgaans een samenwerkingsnetwerk voor elke query opnieuw op, of optimaliseren ze deze vanaf nul. Deze aanpak leidt tot aanzienlijke online zoekoverhead, hoog tokenverbruik tijdens inferentie en beperkte schaalbaarheid. Huidige paradigma's staan voor een afweging: promptmethoden zonder training worden beperkt door de ingevroren capaciteiten van het onderliggende model, terwijl methoden voor intensieve training met fine-tuning het risico lopen op catastrofaal vergeten en hoge opslagkosten over meerdere domeinen. De kernuitdaging is hoe effectieve samenwerkingsstructuren over domeinen heen kunnen worden hergebruikt om aan te passen aan nieuwe taken, zonder telkens opnieuw te zoeken naar communicatietopologieën.

Methodologie: TopoPrior Framework
De auteurs stellen TopoPrior voor, een framework ontworpen om overdraagbare topologiepriors te leren voor multi-agent LLM-samenwerking. In plaats van elke query te behandelen als een nieuw probleem voor topologie-zoeken, verlegt TopoPrior een deel van de zoeklast van online optimalisatie per query naar offline prior-leren over domeinen. Het framework bestaat uit twee kerncomponenten:

1. Leren van Overdraagbare Topologiepriors:
   Deze module maakt gebruik van een conditioneel variational graph-framework om herbruikbare structurele regulariteiten in samenwerkingsgrafieken over domeinen te vangen.

   • Variational Encoder: Gebruikt een Graph Convolutional Network (GCN) om referentie-samenwerkingsgrafieken en hun bijbehorende queries te coderen in een gedeelde latente ruimte.
   • Conditionele Generator: Reconstructeert autoregressief query-geconditioneerde initiële topologieën vanuit de geleerde latente prior en de invoerquery. Deze genereert agent-nodes (selecterend uit een vooraf gedefinieerde rolpool) en gerichte communicatielinks.
   • Conditionele Prior: Koppelt onbekende queries aan nuttige regio's van de latente ruimte van de topologie en fungeert als een query-specifieke prior wanneer referentiegrafieken tijdens inferentie niet beschikbaar zijn.

2. Query-geconditioneerde Latente Adaptatie:
   Om ervoor te zorgen dat de geleerde priors robuust zijn over domeinen terwijl ze gevoelig blijven voor query-specifieke behoeften, introduceert het framework een adversariaal latente adaptatiemodule.

   • Een domein-adversariale discriminator wordt toegepast op de latente variabele $z$ om onnodige domeinverschillen tijdens training te verminderen.
   • Dit wordt bereikt via een gradient reversal layer (GRL), die latente distributies over bron-domeinen aligneert zonder query-afhankelijke structurele variaties te wissen die noodzakelijk zijn voor taakspecialisatie.

Belangrijkste Bijdragen

• Probleemformulering: De auteurs formuleren topologie-initialisatie voor multi-agent LLM-systemen in multi-domein settings als een probleem van het leren van overdraagbare topologiepriors, waarbij herbruikbare samenwerkingsstructuren offline worden geleerd om de daaropvolgende evolutie te verbeteren.
• Framework-ontwerp: Zij stellen TopoPrior voor, een lichtgewicht framework dat conditioneel variational topologie-prior-leren combineert met query-geconditioneerde latente adaptatie om informatieve initiële samenwerkingsgrafieken te genereren.
• Empirische Validatie: Uitgebreide experimenten op de MMLU- en C-Eval-benchmarks tonen aan dat TopoPrior de downstream redeneerprestaties en de online inferentie-token-efficiëntie verbetert over meerdere heterogene topologie-evolutie-ruggengraten, met een bescheiden parameter-overhead.

Experimentele Resultaten
De auteurs hebben TopoPrior geëvalueerd op MMLU en C-Eval (inclusief een "Hard"-subset) met drie LLM-ruggengraten: Llama3-8B-Instruct, DeepSeek-V3-671B-Instruct en Qwen2.5-72B-Instruct. Het framework is geïntegreerd met vier bestaande topologie-evolutie-ruggengraten: G-Designer, AgentPrune, ARG-Designer en AgentDropout.

• Prestaties: Het integreren van TopoPrior verbeterde de downstream prestaties consequent. Bijvoorbeeld, op MMLU met Llama3-8B-Instruct verbeterde TopoPrior+ARG de gemiddelde nauwkeurigheid van 65,58% naar 68,53% (+2,95 punten). Vergelijkbare winsten werden waargenomen bij andere ruggengraten en grotere modellen.
• Efficiëntie: Het framework verminderde het online tokenverbruik tijdens inferentie aanzienlijk, met reducties tot 40,22% in bepaalde configuraties. Het verminderde ook het aantal communicatierondes dat nodig was voor convergentie.
• Parameter-efficiëntie: De topologie-prior-generator introduceerde slechts 3,3 miljoen extra trainbare parameters (totaal ongeveer 7,1M met de ruggengraat), een verwaarloosbare toename ten opzichte van de 8B-parameter-ruggengraat en aanzienlijk lager dan training-intensieve baselines zoals MoDULA of MoDE.
• Ablatie & Generalisatie: Ablatiestudies bevestigden dat het doel van topologie-prior-leren ($L_{prior}$) het centrale component is, terwijl latente adaptatie ($L_{adapt}$) en de query-geconditioneerde prior ($f_{prior}$) stabiliteit bieden. Het framework toonde ook robuustheid onder zwak toezicht (met behulp van gedeeltelijk geconvergeerde referentiegrafieken) en effectieve out-of-domain generalisatie naar onbekende domeinen (bijvoorbeeld Kunst, Militair) door queries te koppelen aan semantisch plausibele latente clusters.

Betekenis en Claims
Het artikel claimt dat overdraagbare topologie-initialisatie een effectief en lichtgewicht mechanisme is om de efficiëntie van multi-agent LLM-samenwerking over domeinen te verbeteren. Door de kosten van topologie-zoeken over queries en domeinen te amortiseren via offline prior-leren, stelt TopoPrior multi-agent systemen in staat om aan te passen aan nieuwe taken zonder de hoge overhead van het opnieuw zoeken naar communicatietopologieën.

De auteurs benadrukken dat hun aanpak complementair is aan bestaande topologie-evolutie-ruggengraten, en een sterkere initialisatie-signaal biedt in plaats van de downstream verfijningsmechanismen te vervangen. Zij merken op dat hoewel de offline kosten voor het genereren van referentiegrafieken bestaan, de tokensavings tijdens inferentie deze kosten kunnen amortiseren bij voldoende grote schaal van implementatie (geschatte break-even bij ongeveer 373.670 queries voor de MMLU-testset). Het werk suggereert dat het leren van herbruikbare structurele regulariteiten een praktische richting is om de aanpasbaarheid en efficiëntie van multi-agent systemen te verbeteren, met name in scenario's die diverse expertise over meerdere domeinen vereisen.