💬 NLP

Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation

Dit paper introduceert een regelgedreven agentframework voor hybride bron-RAG dat dynamisch de meest geschikte informatiebron (database of document) kiest per query via een routeringsagent, een regelverbeteringsexpert en een meta-cache, wat leidt tot hogere nauwkeurigheid en efficiëntie dan bestaande statische of geleerde routingstrategieën.

Oorspronkelijke auteurs: Haoyue Bai, Haoyu Wang, Shengyu Chen, Zhengzhang Chen, Lu-An Tang, Wei Cheng, Haifeng Chen, Yanjie Fu

Gepubliceerd 2026-02-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoyue Bai, Haoyu Wang, Shengyu Chen, Zhengzhang Chen, Lu-An Tang, Wei Cheng, Haifeng Chen, Yanjie Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat vergetelijke assistent hebt (een Large Language Model of LLM). Deze assistent kan fantastische verhalen vertellen en vragen beantwoorden op basis van wat hij al in zijn hoofd heeft. Maar als je hem vraagt: "Wat was de omzet van mijn bedrijf vorige maand?" of "Hoeveel kost de medicatie X precies vandaag?", dan heeft hij een probleem. Zijn geheugen is verouderd of hij weet het gewoon niet.

Om dit op te lossen, geven we de assistent een "boekenkast" (documenten) en een "digitale administratie" (database) om in te kijken. Dit heet RAG (Retrieval-Augmented Generation).

Het probleem? Soms is de assistent verward. Hij kijkt in de boekenkast, maar het antwoord staat in de administratie. Of hij kijkt in beide, maar door de overvloed aan informatie raakt hij in paniek en maakt hij een fout.

De auteurs van dit paper hebben een slimme oplossing bedacht: "Learning to Route". Laten we dit uitleggen met een paar creatieve analogieën.

1. Het Probleem: De Verkeerde Weg nemen

Stel je voor dat je op zoek bent naar een specifiek antwoord. Je hebt twee soorten bronnen:

De Bibliotheek (Documenten): Vol met verhalen, artikelen en uitleg. Perfect voor vragen als "Wat zijn de uitdagingen voor data-analisten?". Maar als je vraagt "Wat is de exacte salaris van John?", moet je niet in de bibliotheek zoeken, maar in de HR-lijst.
De Excel-lijst (Database): Strak, exact en up-to-date. Perfect voor "Wat was de winst in Q4?". Maar als je vraagt "Beschrijf de sfeer in ons kantoor", helpt een Excel-lijst je niet.

De oude aanpak:

Alleen Bibliotheek: Je mist de exacte cijfers.
Alleen Excel: Je mist de context en beschrijvingen.
Alles tegelijk (Hybride): Je geeft de assistent alle boeken én alle lijsten. De assistent wordt overweldigd door de rommel, raakt in de war en maakt fouten. Bovendien kost het enorm veel tijd en geld (zoals een dure taxi die door de file rijdt terwijl je op de fiets had kunnen gaan).

2. De Oplossing: De Slimme Verkeersregelaar

De auteurs hebben een nieuw systeem bedacht met drie hoofdonderdelen, die we kunnen vergelijken met een slimme verkeersregelaar in een stad.

A. De Verkeersregelaar (De Routing Agent)

In plaats van dat de assistent zelf moet beslissen waar hij moet kijken, hebben we een Verkeersregelaar aangesteld. Deze regelaar kijkt naar je vraag en gebruikt een simpel, duidelijk stappenplan (regels) om te beslissen:

"Als de vraag gaat over cijfers of geld?" -> Stuur naar de Excel-lijst (Database).
"Als de vraag gaat over 'waarom' of 'hoe'?" -> Stuur naar de Bibliotheek (Documenten).
"Is het een simpele vraag die hij al weet?" -> Laat hem het zelf beantwoorden.

Dit is als een verkeersregelaar die ziet dat er een ambulance komt en de weg vrijmaakt, in plaats van dat alle auto's tegelijk proberen door te rijden. Het is transparant: je kunt precies zien waarom hij een bepaalde weg koos.

B. De Regelschrijver (De Rule-Making Expert)

Soms zijn de regels niet perfect. Misschien denkt de regelaar: "Alles met 'geld' gaat naar Excel", maar soms is er een uitzondering.
Daarom hebben ze een Regelschrijver toegevoegd. Deze expert kijkt na elke ronde naar de resultaten: "Hé, bij vraag X hebben we naar Excel gestuurd, maar het antwoord was verkeerd. Laten we de regel aanpassen."
Het is alsof een trainer die na een wedstrijd de spelers vertelt: "Volgende keer, als de bal links komt, ren je niet naar rechts, maar naar links." De regels worden dus steeds slimmer en beter, zonder dat de assistent zelf hoeft te leren.

C. De Herinneringsmap (De Meta-Cache)

Stel, iemand vraagt: "Wat is de omzet van januari?". De regelaar denkt na en zegt: "Excel!".
Als iemand een seconde later vraagt: "Wat was de omzet in januari?", hoeft de regelaar niet opnieuw na te denken. Hij kijkt in zijn Herinneringsmap (cache) en zegt direct: "Excel!".
Dit bespaart tijd en geld. Het is alsof je een favoriete route naar de supermarkt in je hoofd hebt; je hoeft niet elke keer een nieuwe route te plannen als je er weer heen gaat.

Waarom is dit zo goed?

Het paper toont aan dat dit systeem:

Beter antwoordt: Door de juiste bron te kiezen, maakt de assistent minder fouten.
Sneller is: Door niet altijd alles te lezen, gaat het sneller.
Goedkoper is: Minder lezen betekent minder rekenkracht nodig.
Begrijpelijk is: Je kunt precies zien waarom de beslissing is genomen (geen "zwarte doos").

Kortom: In plaats van je assistent te laten zwemmen in een zee van informatie, geef je hem een slimme navigatie die hem precies de juiste weg wijst naar het antwoord, of het nu in een boek of in een spreadsheet staat.

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend in algemene vraag-antwoordtaken, maar worstelen vaak in domeinspecifieke scenario's waar accurate en up-to-date informatie vereist is. Bestaande Retrieval-Augmented Generation (RAG)-systemen lossen dit op door externe kennis toe te voegen, maar vertrouwen voornamelijk op ongestructureerde documenten (zoals Wikipedia of webpagina's). Ze negeren echter vaak relationele databases, die juist essentieel zijn in domeinen zoals financiën, gezondheidszorg en wetenschappelijk onderzoek vanwege hun precisie, actualiteit en efficiënte query-mogelijkheden.

De auteurs identificeren drie centrale uitdagingen door middel van een systematische analyse:

Complementariteit: Databases en documenten hebben verschillende sterke punten. Sommige vragen kunnen alleen correct worden beantwoord met database-informatie (bijv. numerieke feiten), terwijl andere documenten vereisen (bijv. open-ended beschrijvingen).
Nadeel van naïeve hybridisatie: Het simpelweg combineren van beide bronnen (zowel database als documenten) voor elke vraag leidt vaak tot ruis, verhoogde token-kosten en langere latentie, zonder dat de nauwkeurigheid consistent verbetert. In veel gevallen verstoort overbodige context het model.
Noodzaak van Routing: Er is een mechanisme nodig dat dynamisch beslist welke bron (database, document, beide, of alleen het LLM) het beste is voor een specifieke vraag, om een balans te vinden tussen effectiviteit en efficiëntie.

Bestaande geleerde routers (zoals classifiers of LLM-based agents) zijn vaak "black boxes", vereisen grote gelabelde datasets en zijn moeilijk te interpreteren. De auteurs stellen dat query-typen duidelijke patronen vertonen die kunnen worden vastgelegd door expliciete regels.

Methodologie

Het paper introduceert een rule-driven agent framework voor hybride-source RAG. Het systeem bestaat uit drie kerncomponenten:

Rule-Driven Routing Agent (Het Routeringsmechanisme):
- In plaats van een complexe classifier te trainen, gebruikt dit agent een set expliciete, interpreteerbare regels om kandidaat-paden te scoren.
- De regels zijn "if-else" heuristieken (bijv. "Als de vraag om een getal vraagt, geef +3 punten aan het database-pad").
- De agent evalueert een inkomende vraag $q$ tegenover een regelset $R$ en kiest het pad met de hoogste score uit de opties: Document (Doc), Database (DB), Hybride (Hybrid), of Direct Answer (LLM).
- Dit maakt het proces transparant, auditabel en training-vrij.
Rule-Making Expert Agent (Iteratieve Verfijning):
- Om de beperkingen van statische, handgeschreven regels te overwinnen, gebruikt het systeem een expert-agent die de regels verfijnt op basis van feedback.
- Na het verwerken van een batch vragen analyseert de agent de prestaties (welke regels leidden tot juiste antwoorden, welke niet).
- De agent fungeert als een "tekstuele gradiënt": het interpreteert de prestatiegegevens in natuurlijke taal en past de regels aan (versterken, verzwakken of herschrijven) om beter te aligneren met de doelstellingen (nauwkeurigheid vs. kosten).
Path-Level Meta-Cache (Efficiëntie):
- Om de latentie van het routeringsproces te minimaliseren, wordt een cache gebruikt die niet het antwoord opslaat (wat verouderd kan zijn in dynamische databases), maar het routeringsbesluit.
- Voor semantisch vergelijkbare vragen (herkend via embedding-similariteit) worden de eerdere scores en het gekozen pad direct hergebruikt. Dit elimineert de noodzaak voor een nieuwe agent-call voor elke vraag, wat de kosten en latentie aanzienlijk verlaagt.

Kernbijdragen

Systematische Analyse: Een grondig bewijs dat databases en documenten complementair zijn en dat naïeve hybridisatie suboptimaal is, wat de noodzaak onderstreept voor slimme routing.
Rule-Driven Framework: De introductie van een nieuw architectuurpatroon dat transparante regels combineert met agent-based verfijning en caching, specifiek ontworpen voor hybride kennisbronnen.
Interpreteerbaarheid en Adaptiviteit: Het systeem biedt een balans tussen de voorspelbaarheid van regels en de aanpassingsvermogen van agenten, zonder de complexiteit van volledig getrainde routers.
Prestaties: Het framework presteert consistent beter dan statische strategieën en bestaande geleerde routing-baselines.

Resultaten

De methode is geëvalueerd op drie QA-datasets: TATQA (financieel), FinQA (financieel) en WikiQA (algemeen kennis), met verschillende LLM-backbones (LLaMA-3, Qwen2.5, GPT-4o, GPT-4.1).

Nauwkeurigheid: Het voorgestelde framework ("Ours") behaalde de hoogste F1-scores en nauwkeurigheid op alle datasets. Bijvoorbeeld, op WikiQA met Qwen2.5 werd een nauwkeurigheid van 0.302 bereikt, wat significant hoger is dan de beste concurrent (Score Agent: 0.260).
Efficiëntie (Tokens): In tegenstelling tot hybride strategieën die vaak >400 tokens verbruiken voor lagere nauwkeurigheid, behaalde de methode hoge nauwkeurigheid met slechts ~300 tokens.
Latentie: Door de meta-cache ("Ours-c") kon de routeringstijd worden geminimaliseerd (bijna verwaarloosbaar) terwijl de nauwkeurigheid behouden bleef, wat een groot voordeel is ten opzichte van agent-based routers die gemiddeld >2 seconden nodig hebben.
Pad-selectie: De analyse toont aan dat het systeem de query's beter verdeelt over de juiste bronnen (DB, Doc, Hybrid) dan andere methoden, en zich sterk benadert aan de "Oracle" (de ideale verdeling waarbij elke vraag naar het perfecte pad wordt gestuurd).

Betekenis en Impact

Dit paper biedt een praktische en schaalbare oplossing voor het integreren van gestructureerde (databases) en ongestructureerde (documenten) data in RAG-systemen. De belangrijkste implicaties zijn:

Kostenbesparing: Door te voorkomen dat onnodige context wordt geladen, worden de kosten voor API-calls en token-gebruik aanzienlijk verlaagd.
Betrouwbaarheid: Het gebruik van expliciete regels en een meta-cache voor routering (in plaats van antwoorden) maakt het systeem robuust voor dynamische data-updates, wat cruciaal is voor zakelijke toepassingen.
Interpreteerbaarheid: In tegenstelling tot "black box" AI-modellen, kunnen ontwikkelaars precies zien waarom een vraag naar een database of document werd gestuurd, wat vertrouwen en debuggen vergemakkelijkt.

Samenvattend stelt dit werk een nieuwe standaard neer voor hybride RAG-systemen door te bewijzen dat slimme, regelgestuurde routing superieur is aan zowel statische als volledig geleerde benaderingen in termen van nauwkeurigheid, snelheid en transparantie.