💬 NLP

Talk to Right Specialists: Iterative Routing in Multi-agent Systems for Question Answering

Dit paper introduceert RIRS, een trainingsvrij orchestration-framework dat de efficiëntie van multi-agent systemen voor vraagbeantwoording verbetert door queries via iteratieve routing naar de meest relevante agents te sturen, waardoor latentie wordt verlaagd en complexe vragen over gedistribueerde kennisbronnen nauwkeurig kunnen worden opgelost.

Oorspronkelijke auteurs: Feijie Wu, Zitao Li, Fei Wei, Yaliang Li, Bolin Ding, Jing Gao

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Feijie Wu, Zitao Li, Fei Wei, Yaliang Li, Bolin Ding, Jing Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Slimme Regisseur voor een Team van Expert-AI's

Stel je voor dat je een enorme bibliotheek hebt, maar deze is niet in één groot gebouw opgeslagen. In plaats daarvan zit de informatie verspreid over honderden kleine, afgesloten kamers. Elke kamer wordt bewaakt door een eigen "expert" (een AI-agent) die alleen toegang heeft tot zijn eigen stapel boeken. Je mag de boeken niet uit de kamers halen en in één grote stapel gooien vanwege privacyregels en veiligheidsvoorschriften.

Nu heb je een vraag. Het probleem? Je weet niet welke kamer de juiste boeken bevat.

Het oude, stomme probleem:
Vroeger was de enige oplossing om naar iedere expert tegelijk te schreeuwen: "Iedereen, zoek dit op!" Dit heet in de paper "broadcast-to-all".

Nadeel 1: Het is enorm traag. Je moet wachten tot de langzaamste expert klaar is.
Nadeel 2: Het is verwarrend. Als 50 experts antwoorden, is het antwoord van de échte specialist vaak begraven onder een berg onzin en irrelevant gedoe. De AI raakt dan de draad kwijt (het "verloren in het midden"-probleem).

De oplossing: RIRS (De Slimme Regisseur)
De auteurs van dit papier hebben een nieuw systeem bedacht, genaamd RIRS. Je kunt het zien als een slimme regisseur die een team van specialisten aanstuurt zonder dat ze hun geheimen hoeven te delen.

Het werkt in twee stappen:

Stap 1: De "Visitekaartjes" (Offline Voorbereiding)

Voordat er überhaupt een vraag wordt gesteld, maakt elke expert een samenvatting van wat hij weet.

De Analogie: Stel je voor dat elke expert een enorme koffer vol boeken heeft. In plaats van de hele koffer te tonen, pakt hij een paar visitekaartjes (in de paper "centroids" genoemd).
Op deze kaartjes staat niet de tekst zelf, maar een soort "geur" of "smaak" van de inhoud. Bijvoorbeeld: "Ik heb veel over katten," of "Ik weet alles over 19e-eeuwse schilders."
Deze kaartjes worden naar de regisseur gestuurd. De regisseur ziet nu een overzicht van wie wat weet, zonder dat hij de echte boeken of de koffers hoeft te zien. De privacy blijft gewaarborgd.

Stap 2: De "Slimme Route" (Online Vragen Beantwoorden)

Wanneer jij een vraag stelt, gebeurt er het volgende:

De Regisseur kijkt naar zijn kaartjes: Hij vergelijkt jouw vraag met de visitekaartjes van de experts. Hij kiest alleen de 2 of 3 experts die het meest relevant lijken.
Geen geroep, maar gerichte gesprekken: Hij stuurt je vraag alleen naar die gekozen experts. Geen tijdverspilling met experts die niets over je onderwerp weten.
Iteratief (Stap voor stap): Als je vraag complex is (bijvoorbeeld: "Wie was de vriend van de directeur van de film die in New York werd geboren?"), kan één expert het niet alleen.
- De regisseur vraagt eerst aan Expert A: "Wie is de directeur?"
- Expert A antwoordt.
- De regisseur zegt: "Goed, maar ik heb nog de geboorteplaats nodig." Hij herschrijft de vraag en vraagt nu alleen aan Expert B: "Waar is deze directeur geboren?"
- Uiteindelijk plakt de regisseur de stukjes puzzel aan elkaar tot een compleet antwoord.

Waarom is dit zo goed?

Snelheid: Je praat niet met iedereen, alleen met de juiste mensen.
Kwaliteit: Omdat je niet overladen wordt met onzin, is het antwoord scherp en accuraat.
Privacy: Niemand hoeft zijn geheime documenten te delen. Ze geven alleen een "smaakproefje" (de visitekaartjes) af.
Flexibiliteit: Het systeem kan complexe vragen oplossen door ze in kleinere stukjes te hakken en de juiste specialisten te vinden voor elk stukje.

Kortom:
RIRS is als een slimme receptionist in een groot hotel. In plaats van iedereen in het hotel te laten schreeuwen om een antwoord, kijkt hij op zijn lijstje wie er gespecialiseerd is in jouw probleem, belt hij alleen die persoon, en zorgt hij dat het antwoord klopt. Het is sneller, slimmer en respecteert de privacy van iedereen.

Probleemstelling

Retrieval-Augmented Generation (RAG) agents worden steeds vaker ingezet om vragen te beantwoorden op basis van lokale kennisbanken. In de praktijk is bedrijfskennis echter zelden gecentraliseerd; verschillende afdelingen, producten of teams onderhouden vaak gescheiden RAG-agents met disjuncte corpusbestanden (bijv. interne documentatie, contracten, incidentrapporten) vanwege beperkingen op kennissoevereiniteit, toegangscontrole en vertrouwelijkheid.

Dit leidt tot twee fundamentele uitdagingen in productieomgevingen:

Onbekende route: Gebruikers weten niet welke specifieke agent ze moeten raadplegen voor een bepaalde vraag.
Gedistribueerde bewijslast: Complexe vragen vereisen vaak bewijs dat verspreid ligt over meerdere agents.

Bestaande oplossingen hebben beperkingen:

Centralisatie: Het samenvoegen van alle kennis in één repository is vaak onmogelijk door governance- en privacyredenen en kan de kwaliteit van de retriever verlagen door ruis.
Broadcast-to-all: Het sturen van elke vraag naar alle agents is inefficiënt. Het veroorzaakt hoge latentie, verspilt rekenkracht en degradeert de antwoordkwaliteit door de "lost-in-the-middle" problematiek (te lange, ruisende context).
Bestaande routing-methoden: Beschrijvingsgebaseerde methoden (handmatige beschrijvingen) zijn vaak onnauwkeurig, en leer-gebaseerde methoden vereisen dure training en toegang tot de ruwe data, wat in strijd is met privacy.

Methodologie: RIRS

De auteurs stellen RIRS (Routing and Iterative Refining-Solving) voor, een trainingsvrij orchestration framework dat een verzameling RAG-agents omzet in een gecoördineerd probleemoplossend systeem. Het framework bestaat uit twee hoofdfasen:

1. Offline: Kennis Samenvatting (Knowledge Summarization)

In plaats van ruwe data te delen, bereidt elke agent zich voor door zijn lokale corpus te samenvatten in een inbeddingsruimte (embedding space):

Clustering: De agent splitst zijn corpus in stukken (chunks) en encodeert deze tot vectoren. Deze vectoren worden vervolgens opgesplitst in $n$ coherente clusters.
Centroiden: De agent uploadt alleen de centroids (het gemiddelde van de vectoren in een cluster) en een agent-ID naar de server. De ruwe kennis blijft lokaal.
Optimalisatie: Het clustering-algoritme maximaliseert de "min-max" gelijkenis binnen clusters. Dit zorgt ervoor dat elke centroid een betrouwbare representatie is van een semantisch samenhangend kennisgebied.
Theoretische garantie: De auteurs bewijzen dat als een cluster coherent is, de centroid een gebonden foutmarge heeft ten opzichte van de feitelijke kennisstukken, waardoor routing op basis van centroids betrouwbaar is zonder ruwe data te delen.

2. Online: Query Oplossing via Routing en Iteratief Refineren

Wanneer een gebruiker een vraag stelt, voert de server de volgende stappen uit:

Routing: De server encodeert de vraag en vergelijkt deze met de geüploade centroids. Hij selecteert de Top-K meest relevante agents (specialisten) en routeert de vraag alleen naar hen. Dit voorkomt het "broadcast-to-all" probleem.
Evaluatie: De server gebruikt een Response Evaluator (een LLM) om de antwoorden van de geselecteerde agents te beoordelen op relevantie, bewijslast en logica. Antwoorden worden gelabeld als "volledig beantwoord", "gedeeltelijk beantwoord" of "niet beantwoord".
Iteratief Refineren-Solving (voor complexe vragen):
- Als een vraag niet volledig is beantwoord, gebruikt de server een Question Simplifier om de oorspronkelijke vraag te herschrijven. Hierbij worden de reeds opgeloste delen verwijderd en wordt de focus gelegd op de nog onopgeloste aspecten.
- De server routeert de nieuwe, verfijnde vraag opnieuw naar de meest relevante agents (die mogelijk anders zijn dan in de eerste ronde).
- Dit proces herhaalt zich totdat een volledig antwoord is gevonden of er geen verdere vooruitgang meer mogelijk is.
Samenvatting: Een Response Summarizer combineert de bewijslastige antwoorden tot een definitief antwoord.

Belangrijkste Bijdragen

Nieuw Systeemontwerp: RIRS is het eerste framework dat vraagbeantwoording in een gedistribueerde multi-RAG-agent omgeving aanpakt waarbij kennissoevereiniteit behouden blijft, zonder ruwe data te centraliseren.
Trainingsvrij & Privacy-bewust: Het systeem vereist geen training van een router en deelt geen ruwe documenten. Het gebruikt alleen compacte centroiden in de inbeddingsruimte.
Theoretische Onderbouwing: De auteurs bieden een theoretische analyse die aantoont dat de foutmarge bij het routeren op basis van centroids begrensd is onder de voorwaarde van cluster-coherentie.
Iteratieve Strategie: In plaats van een enkele poging, gebruikt RIRS een iteratieve lus om complexe, multi-hop vragen op te lossen door vragen dynamisch te verfijnen en bewijslast over meerdere rondes en agents te combineren.

Resultaten

Uitgebreide experimenten op datasets zoals Natural Questions (NQ), HotpotQA, 2WikiMultiHopQA, MuSiQue en Multi-Hop RAG (MHR) tonen het volgende aan:

Superieure Routing: RIRS selecteert agents nauwkeuriger dan bestaande methoden zoals Chameleon (beschrijvingsgebaseerd) en RouterDC (leer-gebaseerd).
Prestaties: RIRS presteert aanzienlijk beter dan baselines, met name bij complexe multi-hop vragen. Op de HotpotQA-dataset verbeterde RIRS de nauwkeurigheid met tot 8% vergeleken met Chameleon en 15% vergeleken met RouterDC (met LLaMA-3.1-8B als backbone).
Efficiëntie: Hoewel RIRS soms meer rondes nodig heeft dan een enkele poging, is het aanzienlijk sneller en nauwkeuriger dan "broadcast-to-all" strategieën, die hoge latentie en ruis veroorzaken.
Robuustheid: Het systeem werkt goed met verschillende LLM-backbones (Qwen-Plus en LLaMA-3.1-8B). Een sterke server-controller (Qwen-Plus) in combinatie met lichte agent-modellen bleek een kosteneffectieve en nauwkeurige configuratie.

Betekenis en Impact

RIRS biedt een praktische oplossing voor een groeiend probleem in enterprise AI: hoe gebruik je gespecialiseerde, lokale kennisbronnen voor complexe vragen zonder privacy te schenden of systemen te centraliseren.

Schaalbaarheid: Het systeem ondersteunt naadloze integratie van nieuwe agents zonder hertraining.
Privacy: Door alleen centroiden te delen, wordt de kennissoevereiniteit van elke afdeling of partner gewaarborgd.
Kwaliteit: Door iteratief te werken en alleen relevante agents te activeren, wordt de kwaliteit van de antwoorden verbeterd en de kans op hallucinaties verkleind.

Kortom, RIRS bewijst dat een gedistribueerd, multi-agent systeem voor vraagbeantwoording niet alleen mogelijk is, maar ook superieur kan zijn aan gecentraliseerde benaderingen, mits er een slimme, trainingsvrije routing- en iteratiestrategie wordt gebruikt.