SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions

Dit SoK-papier biedt het eerste unified framework voor Agentic RAG-systemen door deze te formaliseren als gedeeltelijk waarneembare Markov-beslissingsprocessen, een uitgebreide taxonomie te ontwikkelen, kritieke risico's zoals hallucinatie-propagatie te analyseren en een roadmap te schetsen voor toekomstig onderzoek naar betrouwbare en schaalbare autonome systemen.

De kern

Wat is dit artikel? Een simpele uitleg in het Nederlands

Stel je voor dat je een zeer slimme, maar soms wat vergeetachtige robot hebt. Deze robot is een LLM (een groot taalmodel). Hij weet heel veel, maar zijn kennis is "bevroren" op het moment dat hij is gemaakt. Als je hem iets vraagt over nieuws van gisteren, of over een specifiek document in je archief, kan hij het niet weten. Hij moet raden, en dat leidt vaak tot hallucinaties (hij verzint feiten).

Om dit op te lossen, hebben we RAG (Retrieval-Augmented Generation) bedacht. Dit is als het geven van een naslagwerk aan de robot. Hij zoekt in het boek, leest een stukje en geeft dan antwoord.

Maar wat is "Agentic RAG"?

In het oude systeem (standaard RAG) is de robot een beetje dom: hij zoekt één keer, leest het, en schrijft het antwoord. Als hij het verkeerde stukje uit het boek pakt, is het raak. Hij kan niet zeggen: "Wacht, dit klopt niet, ik zoek nog eens."

Agentic RAG verandert de robot in een autonoom detective.
In plaats van één keer te zoeken, denkt deze detective:

1. "Ik weet het antwoord niet."
2. "Ik ga een plan maken."
3. "Ik zoek eerst naar A."
4. "Oh, A gaf een hint over B. Ik moet nu specifiek naar B zoeken."
5. "B gaf een tegenstrijdigheid. Laat me C controleren."
6. "Oké, nu heb ik genoeg info om het antwoord te geven."

Dit artikel is een SoK (Systematization of Knowledge). Dat klinkt saai, maar het betekent eigenlijk: "We hebben alle losse onderdelen van deze slimme detectives bij elkaar gebracht, in een groot schema gezet, en gekeken waar de valkuilen zitten."

Hier zijn de belangrijkste punten, vertaald naar alledaagse taal:

1. Het Grote Schema (De Taxonomie)

De auteurs hebben alle verschillende manieren waarop deze "detectives" werken, ingedeeld in een soort bouwpakket.

• De Planner: Is het één detective die alles doet, of een team van detectives die samenwerken?
• Het Zoeken: Zoeken ze één keer, of zoeken ze steeds opnieuw terwijl ze denken?
• Het Geheugen: Onthoudt de detective wat hij gisteren deed, of begint hij elke dag bij nul?
• De Gereedschappen: Gebruikt hij alleen boeken, of kan hij ook online zoeken, rekenen of code schrijven?

Het artikel helpt ontwikkelaars om te kiezen welk "pakket" ze nodig hebben voor hun specifieke probleem.

2. De Gevaren (Waarom het soms misgaat)

Omdat deze robot zelfstandig beslissingen neemt, zijn er nieuwe risico's die bij de oude, domme robot niet bestonden:

• De Slijmvlies-effect (Hallucinaties): Als de detective in stap 1 een fout maakt, bouwt hij daarop verder in stap 2, 3 en 4. De fout wordt steeds groter, alsof een kleine leugen in een verhaal steeds groter wordt naarmate je het doorvertelt.
• De Lijst die nooit ophoudt: Soms blijft de robot zoeken, zoeken, zoeken, zonder ooit te stoppen. Hij raakt in een cirkel van "ik zoek nog even..." en verspillen geld en tijd.
• Vergiftiging: Als iemand een vals document in de bibliotheek plakt, kan de detective dat gebruiken om zijn geheugen te "vergiftigen". Hij onthoudt dan voor altijd dat de valse informatie waar is.
• De "Goocheltruc" (Prompt Injection): Kwaadwillenden kunnen in de boeken die de robot zoekt, geheime instructies verstoppen. De robot leest het en denkt: "Oh, ik moet nu mijn geheime sleutel geven!" terwijl hij dat eigenlijk nooit had moeten doen.

3. Hoe testen we dit? (Evaluatie)

Vroeger keken we alleen naar het eindantwoord. Was het antwoord goed? Ja/Nee.
Bij Agentic RAG is dat niet genoeg. Het is alsof je een kok beoordeelt alleen op het eindgerecht. Wat als hij vergiftigde ingrediënten gebruikte, of 10 uur nodig had voor een salade?
De auteurs zeggen: we moeten kijken naar de reis (de traject).

• Heeft hij de juiste stappen gezet?
• Was het zoeken efficiënt?
• Heeft hij zichzelf gecorrigeerd toen hij een fout zag?
• Hoeveel geld heeft het gekost?

4. De Toekomst (Wat moeten we nog oplossen?)

Het artikel eindigt met een lijst van grote uitdagingen waar onderzoekers aan moeten werken:

• Stabiliteit: Hoe zorgen we dat de detective niet in een oneindige cirkel tikt?
• Veiligheid: Hoe beschermen we het geheugen van de robot tegen vergiftiging?
• Kosten: Hoe maken we het zo dat de robot niet 100 euro kost om een simpele vraag te beantwoorden?
• Vertrouwen: Hoe weet de robot zelf wanneer hij het niet weet, en wanneer hij een mens moet vragen om hulp?

Conclusie in één zin

Dit artikel zegt: "We hebben een nieuwe soort slimme robot bedacht die zelfstandig zoekt en denkt. Dat is geweldig, maar het is ook gevaarlijk en chaotisch. We hebben nu een handleiding, een veiligheidstest en een blauwdruk nodig om ervoor te zorgen dat deze robots betrouwbaar zijn in de echte wereld."

Het is de overstap van een automatische schrijfmachine (die alleen tekst genereert) naar een autonoom teamleider (die plannen maakt, zoekt, fouten corrigeert en tools gebruikt).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions" in het Nederlands.

Probleemstelling

Traditionele Retrieval-Augmented Generation (RAG) systemen volgen een statische, lineaire workflow: een query wordt opgehaald, documenten worden op basis daarvan opgezocht, en een antwoord wordt gegenereerd. Deze "retrieve-then-read" benadering vertoont ernstige kwetsbaarheden:

• Brittleness: Ze kunnen geen adaptieve, meerstapsredenering uitvoeren en falen bij complexe taken die multi-hop redenering vereisen.
• Context-overbelasting: Ze halen vaak irrelevante informatie op die de redenering verstoort ("lost in the middle" effect).
• Geen zelfcorrectie: Als de initiële opzoeking onnauwkeurig is, kan het systeem niet stoppen om nieuwe informatie op te halen of de query te herformuleren.

Hoewel er een snelle evolutie is naar Agentic RAG systemen (waarbij LLM's autonoom plannen, tools gebruiken en iteratief zoeken), ontbreekt er een systematisch begrip. De huidige literatuur is gefragmenteerd, er is geen uniforme taxonomie, evaluatiemethoden zijn verouderd (gericht op statische antwoorden in plaats van trajecten), en er zijn onopgeloste risico's op betrouwbaarheid en veiligheid.

Methodologie

Het paper is een Systematization of Knowledge (SoK) die Agentic RAG systemen analyseert via een multidisciplinaire aanpak:

1. Formele Definitie: De auteurs modelleren Agentic RAG als een Finite-Horizon Partially Observable Markov Decision Process (POMDP). Hierbij wordt het systeem gedefinieerd door een tuple die omvat:

   • Een latente staat van kennis ($S_{env}$).
   • Een discrete actieruimte ($A$) die zoeken, redeneren, tool-gebruik en stoppen omvat.
   • Een waarnemingsfunctie ($O$) en een dynamisch werkgeheugen ($M_t$).
   • Een stochastisch controlebeleid ($\pi_\theta$) dat wordt uitgevoerd door de LLM.
     Dit formaliseert Agentic RAG als een sequentieel besluitvormingsproces in plaats van een simpele prompt-engineering truc.

2. Taxonomie Ontwikkeling: Er wordt een meerdimensionale taxonomie opgezet die systemen classificeert op basis van vier orthogonale assen:

   • Planning: Single-agent vs. Multi-agent vs. Planner-Executor.
   • Retrieval Strategie: One-shot vs. Iteratief vs. Zelf-verfijnend.
   • Redenering: Chain-of-Thought, ReAct, Reflectie, en Tree-of-Thoughts.
   • Geheugen: Korte-termijn werkgeheugen, episodisch geheugen en persistente lange-termijn opslag.

3. Architecturale Decompositie: Het paper breekt systemen af tot kernmodules: Planner, Retrieval Engine, Reasoning Engine (Controller), Memory Systems, Tool Orchestration Layer en Verificatie-modules.

4. Evaluatie Framework: De auteurs analyseren de tekortkomingen van statische metrics (zoals BLEU/ROUGE) en stellen een gelaagde evaluatiepipeline voor:

   • Component-niveau: Nauwkeurigheid van individuele tools.
   • Traject-niveau: Logische coherentie en voortgang over meerdere stappen.
   • Systeem-niveau: Eindresultaat, kosten en latentie.

5. Risico-analyse: Een systematische analyse van falingsmodi, waaronder "retrieval drift", "hallucinatielussen", "tool misuse" en "memory poisoning".

Belangrijkste Bijdragen

• Eerste Unificerend Kader: Het biedt het eerste uitgebreide raamwerk om Agentic RAG te begrijpen als autonome systemen die redeneren, zoeken en tools gebruiken in een gesloten lus.
• Formele POMDP-Formulering: Het legt een wiskundige basis voor Agentic RAG, waardoor het onderscheid tussen "actieve RAG" (heuristisch) en echte "agente RAG" (beleid-gedreven) helder wordt.
• Gedetailleerde Taxonomie: Een MECE (Mutually Exclusive, Collectively Exhaustive) classificatie die bestaande systemen (zoals AutoGen, LangGraph, Self-RAG) in een gestructureerd overzicht plaatst.
• Ontwerppatronen: Identificatie van herhaalde controle-flow patronen (bijv. Plan-then-Retrieve, Retrieve-Reflect-Refine, Multi-Agent Collaboration) met hun respectievelijke trade-offs in kosten, latentie en risico.
• Nieuwe Evaluatiemetrics: Introductie van traject-gebaseerde metrics zoals Progress Rate en Effective Information Rate om de kwaliteit van het redeneerproces te meten, niet alleen het eindantwoord.
• Veiligheid en Betrouwbaarheid: Een diepgaande analyse van veiligheidsrisico's die specifiek zijn voor iteratieve systemen, zoals het cumulatieve effect van hallucinaties en memory poisoning.

Resultaten en Analyse

• Architecturale Evolutie: De studie toont aan dat de verschuiving van statische pipelines naar dynamische, beleid-gedreven lussen essentieel is voor complexe taken, maar introduceert nieuwe complexiteit in termen van kosten en stabiliteit.
• Evaluatie Deficiënties: Bestaande benchmarks zijn ontoereikend omdat ze "black box" scores geven en niet kunnen onderscheiden of een correct antwoord door geluk of door solide logica is bereikt.
• Risico's: Iteratieve systemen zijn vatbaar voor cascading failures. Een kleine fout in een vroeg stadium (bijv. een verkeerde query) kan zich versterken in latere stappen, wat leidt tot systematische mislukkingen of "hallucinatielussen" waar het systeem zichzelf overtuigt van onjuiste feiten.
• Industriële Kloof: Er is een significante kloof tussen academische prototypes (die vaak monolithisch en onbeperkt zijn) en industriële implementaties (die strengere beperkingen hebben op kosten, latentie en determinisme).

Significantie en Toekomstige Richtingen

Dit paper is van cruciaal belang omdat het Agentic RAG positioneert als een systeemprobleem in plaats van een lichte uitbreiding van prompt engineering. Het biedt een blauwdruk voor het bouwen van betrouwbare, schaalbare en veilige autonome systemen.

De auteurs identificeren vijf grote onderzoeksuitdagingen voor de toekomst:

1. Stabiele Adaptieve Retrieval: Het garanderen van convergentie van iteratieve zoeklussen zonder drift of oneindige loops.
2. Formele Evaluatie van Redenering: Het ontwikkelen van methoden om de logica van tussenstappen te verifiëren, niet alleen het eindresultaat.
3. Geheugen Robustheid: Het beveiligen van persistente geheugens tegen vergiftiging (poisoning) door adversariale data.
4. Kostenbewuste Orkestratie: Het dynamisch balanceren van redeneringsdiepte tegen computationele kosten en token-budgetten.
5. Vertrouwenskalibratie: Het ontwikkelen van mechanismen waarbij het systeem zijn eigen onzekerheid kan meten en automatisch menselijke supervisie kan inschakelen bij twijfel.

Kortom, dit paper vormt een fundamentele mijlpaal die de weg effent voor de overgang van experimentele prototypes naar robuuste, productie-klare Agentic RAG systemen in hoog-risico domeinen zoals juridische, medische en financiële toepassingen.