🤖 AI

Route, Communicate, and Reason: Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoning

Het artikel introduceert GRADE, een hiërarchisch multi-agent-systeem dat geleerde gating-mechanismen en een nieuw critic-vrij trainingsalgoritme gebruikt om de selectie van agents, redendiepte en communicatie dynamisch te optimaliseren, waarmee een superieure prestatie wordt behaald op complexe benchmarks met aanzienlijk minder actieve rekenkracht vergeleken met bestaande baselines.

Oorspronkelijke auteurs: Sudipto Ghosh, Tanmoy Chakraborty

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sudipto Ghosh, Tanmoy Chakraborty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, prestigieuze quizavond organiseert. De oude manier van doen was het inhuren van één supergenie, maar die zijn zo duur en traag dat je het je niet kunt veroorloven om ze elke vraag te stellen. Het volgende idee was het inhuren van een heel team van experts en laten iedereen elk vraag beantwoorden, om vervolgens te stemmen over het beste antwoord. Maar dat is alsof je een heel stadion vol mensen inhuurt om te vragen: "Wat is 2+2?" Dat is een verspilling van geld en tijd.

Maak kennis met GRADE (Gated Routing and Adaptive Depth for Efficient Reasoning), een nieuw systeem van onderzoekers van IIT Delhi dat fungeert als een briljante, hypergeorganiseerde teamkapitein. In plaats van het hele team wakker te maken voor elke vraag, gebruikt GRADE vier kleine, slimme "poorten" om te beslissen wie er precies moet praten, hoe diep het gesprek moet gaan en wanneer het tijd is om te stoppen met tijd verspillen.

De Teamkapitein en de Vier Poorten

Denk aan GRADE als een kantoorgebouw met drie verdiepingen.

Niveau 0 is de receptie (de Orchestrator).
Niveau 1 heeft twee managers.
Niveau 2 is de kelder vol gespecialiseerde experts (de Sub-Agents).

Wanneer er een vraag binnenkomt, roept GRADE niet zomaar het hele gebouw wakker. Het gebruikt vier geleerde "poorten" om beslissingen te nemen:

De Toewijzingspoort (Assignment Gate): Deze poort vraagt: "Wie weet het antwoord eigenlijk?" Als de vraag over wiskunde gaat, wekt het de wiskunde-experts. Als het over geschiedenis gaat, roept het de geschiedenisfolk. Het stoort het biologie-team niet.
De Dieptepoort (Depth Gate): Dit is de "hoe moeilijk is dit?"-meter. Voor makkelijke vragen (zoals "Wat is 2+2?") zegt de poort: "Stop hier maar even bij de receptie." Er is geen reden om de managers of de kelder wakker te maken. Voor supermoeilijke vragen opent het de deuren helemaal naar beneden naar de experts.
De Cross-Read Poort (Cross-Read Gate): Dit is de "koffiepauze"-regel. Soms moet een wiskunde-expert even overleggen met een natuurkundige expert om een lastig probleem op te lossen. Deze poort beslist welke paren met elkaar mogen praten. Het onderzoek toonde aan dat het laten praten van iedereen met iedereen de boel juist slechter maakt (zoals een chaotische cafetaria), maar dat het laten praten van ongeveer de helft van de paren het ideale evenwicht is.
De Prune Poort (Prune Gate): Dit is de "ruis filter"-filter. Als een expert begint te babbelen of een nutteloos antwoord geeft, kapt deze poort hen af voordat hun antwoord wordt gemengd in de uiteindelijke oplossing.

Het Geheim: Samen Leren

Hoe leert dit team zo goed samen te werken? De onderzoekers gebruikten een trainingsmethode genaamd CoGRPO. Stel je een coach voor die niet alleen de eindscore beoordeelt, maar ook de hele strategie van het team bekijkt. Als het team het antwoord goed heeft, krijgt iedereen die betrokken was bij die specifieke strategie (de poorten die opengingen, de experts die spraken) een high-five. Als ze falen, krijgen ze allemaal een zachte "probeer het nog eens".

Cruciaal is dat het papier pleit tegen het gebruik van een aparte "critic" (een tweede AI die de eerste beoordeelt). De onderzoekers ontdekten dat deze extra rechter de boel eigenlijk vertraagt en het team minder effectief maakt. In plaats daarvan laten ze het team zichzelf beoordelen op basis van hoe ze presteerden in vergelijking met andere pogingen binnen dezelfde batch.

De Resultaten: Slimmer, Niet Groter

Het systeem werd getest op enkele van de moeilijkste hersenkrakers die er zijn, zoals wiskundeproblemen (GSM8K), algemene kennis (MMLUPro) en wetenschappelijke vragen (GPQA).

De Grote Overwinning: GRADE versloeg het sterkste vorige team (genaamd Puppeteer) met een aanzienlijke marge op MMLUPro (78,2% tegenover 73,4%) en GPQA, terwijl GRADE slechts ongeveer 17 miljard actieve parameters gebruikte. Het winnende team (Puppeteer) gebruikte ongeveer 28 miljard. Dat is alsof GRADE een race wint terwijl het een lichtere rugzak draagt.
De Snelheid: Omdat GRADE het zware werk overslaat bij makkelijke vragen, is het veel sneller. Makkelijke vragen duren ongeveer 3,1 seconden, terwijl de moeilijkste vragen tot wel 11,4 seconden duren. De oude methode duurde een vaste 13 seconden voor alles, ongeacht de moeilijkheidsgraad.
De Eén Plek Waar Ze Verloorden: Bij de supermoeilijke wiskundewedstrijd (AIME-2025) wonnen de oude zwaargewichten nog steeds met een kleine marge (27,2% tegenover 25,3%). Het paper suggereert dat dit komt omdat die specifieke problemen een enkel, massief brein nodig hebben om een lange keten van redeneringen vast te houden, en de kleinere, gespecialiseerde experts van GRADE de enorme diepte net niet konden bijbenen.

De "Hot-Swap" Verrassing

Hier is een heel cool onderdeel: de onderzoekers lieten zien dat je een expert halverwege het spel kunt vervangen (zoals een lokaal computermodel vervangen door een model in de cloud) zonder het systeem te breken.

Echter, ze bewezen dat je moet een "kalibratiekaart" (een klein aanpassingsinstrument) gebruiken wanneer je vervangt. Als je de expert simpelweg vervangt zonder de poorten aan te passen, stort het systeem in en daalt de nauwkeurigheid onmiddellijk met 18 punten. Met de kalibratiekaart herstelt het systeem zijn nauwkeurigheid in slechts een paar vragen (soms zelfs maar 3 of 4). Zonder de kaart duurt het eeuwig voordat het herstelt, of het gebeurt überhaupt.

Wat Ze Uitgesloten Hebben

Het paper is heel duidelijk over wat niet werkt:

Vaste Teams: Het hebben van hetzelfde aantal experts dat elke vraag beantwoordt (of het nu 1, 2 of 5 zijn) is slechter dan het systeem dynamisch laten beslissen.
Te Veel Geklets: Iedere expert met elke andere expert laten praten schaadt de prestaties. Het paper vond dat het laten praten van 50% van de paren beter is dan 100%.
Aparte Critici: Het gebruiken van een aparte AI om het werk van het team te beoordelen is minder effectief dan het team zichzelf te laten beoordelen.

De Kern van het Verhaal

GRADE suggereert dat de toekomst van AI niet alleen gaat over grotere, zwaardere modellen maken. Het gaat over het bouwen van slimmere, flexibelere teams die weten wanneer ze hard moeten werken en wanneer ze een pauze moeten nemen. Door deze vier poorten te gebruiken om vragen te routeren, diepte te controleren en slechte ideeën weg te filteren, bereikt het systeem topresultaten terwijl het minder dan de helft van de rekenkracht van zijn grootste rivalen gebruikt. Het gaat niet om het hebben van het grootste brein; het gaat om het hebben van de beste teamkapitein.

Technische Samenvatting: GRADE – Gated Routing en Adaptieve Diepte voor Efficiënt Multi-Agent Redeneren

Probleemstelling

Het artikel behandelt de afnemende meeropbrengsten en de lineair toenemende kosten die gepaard gaan met het schalen van Large Language Models (LLM's). Hoewel multi-agent coördinatie een weg biedt om monolithische modellen te overtreffen met een fractie van het actieve parameterbudget, lijden bestaande benaderingen onder drie kritieke beperkingen:

Beperkte Diepte-adaptiviteit: De meeste systemen routeren elke query door de volledige agent-stack, ongeacht de moeilijkheidsgraad, waardoor ze falen in het implementeren van adaptieve berekening of vroege exits over heterogene multi-agent pools heen.
Grovere Communicatiecontrole: Systemen zenden doorgaans alle berichten uit of aggregeren zonder te filteren. Geleerde, selectieve inter-agent communicatie (beslissen wanneer en met wie te communiceren) binnen een gezamenlijk getraind hiërarchisch framework blijft onverkend.
Gebrek aan Recalibratie: Voorafgaande systemen missen mechanismen om drempelwaarden te hercalibreren wanneer experts worden vervangen tijdens de inferentie. Het vervangen van een expert maakt de op de oorspronkelijke modeloutput gedistribueerde drempelwaarden stilzwijgend ongeldig, wat leidt tot een prestatie-instorting.

Methodologie: Het GRADE-framework

De auteurs stellen GRADE voor (Gated Routing and Adaptive Depth for Efficient Reasoning), een hiërarchisch multi-agent systeem dat dynamisch rekenkracht toewijst, agents selecteert en communicatie beheert via vier gezamenlijk geleerde gates.

Architectuur

GRADE werkt op een drie-niveau hiërarchie:

Niveau 0 (Orchestrator): Een lichtgewicht model ( $M_0$ ) dat de gecodeerde query consumeert en een direct antwoord kan geven of naar diepere niveaus kan routeren.
Niveau 1 (Managers): Twee manager-modules die de query-representatie projecteren en groeperingssignalen leveren om de toewijzing van sub-agents te sturen. Zij genereren geen tokens, maar faciliteren de werving van gerelateerde specialisten.
Niveau 2 (Sub-Agents): Een pool van gespecialiseerde expert-agents afkomstig uit een Expert Registry. Elke agent bestaat uit een bevroren LLM-backend, een lichtgewicht trainbare adapter, een antwoord-kop en een kalibratiekaart.

Coördinatie Gates

Vier geleerde gates (kleine MLP's) regeren het gedrag van het systeem in een enkele forward pass:

Assignment Gate: Selecteert welke sub-agents geactiveerd worden op basis van query-agent affiniteit en manager-groeperingssignalen. Het ondersteunt dynamische topologie (Bernoulli-sampling) of vaste top- $k$ .
Depth Gate: Bepaalt het hiërarchie-niveau dat doorlopen moet worden (0: alleen Orchestrator; 1: Managers; 2: volledige sub-agent pool), wat adaptieve berekening mogelijk maakt.
Cross-Read Gate: Een selectief communicatiemechanisme dat bepaalt welke paren agents informatie uitwisselen via een binaire maskering voordat de combinatie plaatsvindt.
Prune Gate: Wint een waarde-inschatting toe aan actieve takken, waardoor takken met een lage bruikbaarheid worden verwijderd voordat de kostbare cross-attention combinatie stap plaatsvindt.

Training: CoGRPO

Het systeem wordt end-to-end getraind met behulp van CoGRPO (Collaborative Group-Relative Policy Optimization), een critic-vrije adaptatie van Group-Relative Policy Optimization (GRPO).

Joint Policy: Het systeem optimaliseert een gezamenlijke policy over diepte, agent-toewijzing, communicatiemaskers en pruning-beslissingen.
Credit Assignment: In plaats van een geleerde critic, berekent CoGRPO een gedeelde groep-relatieve advantage ( $\hat{A}$ ) voor elke gate en agent die deelneemt aan een rollout. Deze "collaboratieve credit assignment" werkt alle deelnemers bij met hetzelfde scalaire advantage-signaal.
Reward Functie: De beloning combineert een terminaal correctheidssignaal, een marge-term voor log-waarschijnlijkheid, een agent-niveau alignment-term en een kostenstraf om onnodige berekening te ontmoedigen.

Hot-Swappable Experts

Om experts tijdens de inferentie te kunnen vervangen zonder de gates opnieuw te trainen, gebruikt GRADE per-agent kalibratiekaarten ( $\kappa_a$ ). Dit zijn leerbare affine normalisaties die de embedding-distributies van nieuwe experts afstemmen op de trainingsdistributie met behulp van slechts 64 anker-queries.

Belangrijkste Bijdragen

Coördinatie-harnas: Een verenigd framework met vier gezamenlijk getrainde gates die per-query rekenkrachtallocatie, selectieve communicatie en branch pruning mogelijk maken.
CoGRPO: Een nieuw, critic-vrij trainingsrecept voor multi-agent hiërarchieën dat gedeelde advantages toewijst aan alle participerende componenten, wat de training stabiliseert zonder een value function.
Expert Registry & Kalibratie: Een mechanisme voor veilige, runtime expert-substitutie dat prestaties handhaaft door per-agent kalibratie, waarbij geen her-training van de gates nodig is.

Experimentele Resultaten

GRADE werd geëvalueerd op GSM8K, MMLUPro, GPQA en AIME-2025 met gemiddeld ~17B actieve parameters (variërend van 0.5B voor eenvoudige queries tot ~32B voor moeilijke queries).

Prestaties: GRADE overtreft alle baselines op GSM8K (94.8%), MMLUPro (78.2%) en GPQA (57.4%). Opvallend genoeg overtreft het de sterkste baseline (Puppeteer) met 4.8 punten op MMLUPro en 3.3 punten op GPQA, terwijl het ongeveer de helft van de actieve rekenkracht gebruikt.
Efficiëntie: Op MMLUPro behaalt GRADE de hoogste nauwkeurigheid met een latentiebereik van 3.1–11.4 seconden (afhankelijk van de moeilijkheidsgraad van de query) en 52GB VRAM, vergeleken met de vaste 13s latentie en 56GB VRAM van Puppeteer.
AIME-2025: Op deze wiskunde-olympiade benchmark behoudt Puppeteer een voorsprong van 1.9 punten (27.2% vs 25.3%). De auteurs schrijven dit toe aan de noodzaak voor diepere, sequentiële redeneerketens waar de individuele capaciteit van de kleinere sub-agents van GRADE (3B–7B) onvoldoende is vergeleken met de grotere modellen van Puppeteer.
Ablaties:
- Hiërarchie: Het verwijderen van de Depth Gate en het manager-niveau verlaagt de nauwkeurigheid met 7.2 punten.
- Communicatie: Het uitschakelen van Cross-Read verlaagt de nauwkeurigheid met 4.2 punten, wat het belang van selectieve inter-agent communicatie benadrukt.
- Kalibratie: Het verwijderen van kalibratie veroorzaakt een onmiddellijke daling van 18 punten in nauwkeurigheid bij het wisselen van experts, waarbij 20+ queries nodig zijn om te herstellen, terwijl gekalibreerde wissels binnen 9 queries herstellen.

Betekenis en Claims

Het artikel claimt dat winsten in multi-agent redeneren voortkomen uit "beheersing, niet uit toegevoegde capaciteit." Het systeem bereikt state-of-the-art resultaten niet door meer rekenkracht toe te voegen, maar door te leren rekenkracht in te houden op eenvoudige queries, oninformatieve takken te snoeien en selectief te communiceren.

De auteurs benadrukken dat:

Dynamische routing superieur is aan vaste- $k$ ensembles; het over-provisioneren van agents (bijv. $k=5$ in plaats van $k=3$ ) injecteert ruis en verslechtert de prestaties.
Selectieve communicatie (Cross-Read) cruciaal is; het afdwingen van volledige communicatie ( $\rho=1.0$ ) schaadt de prestaties door redundante ruis te introduceren.
Kalibratie een veiligheidsmechanisme is voor runtime-adaptiviteit, waardoor het systeem experts kan wisselen zonder de kern-coördinatielogica opnieuw te trainen.

Het werk vestigt de norm dat hiërarchische multi-agent systemen getraind met collaboratieve RL beter kunnen presteren dan monolithische modellen en platte ensembles met een aanzienlijk lager actief-parameterbudget, mits het systeem de diepte en de communicatiestrategie kan aanpassen aan de moeilijkheidsgraad van de query.