💬 NLP

Retrieval-Augmented Generation for Natural Language Processing: A Survey

Dit artikel presenteert een systematisch overzicht van Retrieval-Augmented Generation (RAG) voor natuurlijke taalverwerking, introduceert een nieuwe taxonomie van methoden voor het fuseren van retrieval, analyseert toepassingen en uitdagingen bij evaluatie, en schetst toekomstige richtingen voor industriële implementatie.

Oorspronkelijke auteurs: Shangyu Wu, Ying Xiong, Yufei Cui, Haolun Wu, Can Chen, Ye Yuan, Lianming Huang, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shangyu Wu, Ying Xiong, Yufei Cui, Haolun Wu, Can Chen, Ye Yuan, Lianming Huang, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Slimme Student" versus de "Bibliotheek"

Stel je een zeer slimme student (het Large Language Model of LLM) voor die miljoenen boeken heeft gelezen en een enorme hoeveelheid informatie heeft onthouden. Deze student is uitstekend in het schrijven van essays en het beantwoorden van vragen omdat ze een enorme interne geheugen heeft.

Echter, deze student heeft drie grote problemen:

Hallucinaties: Soms, wanneer ze het antwoord niet weten, verzinnen ze er zelf een met overtuiging omdat ze behulpzaam willen zijn.
Verouderde Kennis: Zodra de student afstudeert en stopt met studeren, weten ze niets meer over het nieuws van gisteren of nieuwe wetenschappelijke ontdekkingen. Om ze te leren, zou de student terug naar school moeten gaan en alles opnieuw moeten leren (wat duur en traag is).
Niche Expertise: Als je de student vraagt over een zeer specifieke medische procedure of de interne regels van een bedrijf, weten ze het misschien niet omdat ze alleen algemene kennis hebben onthouden.

De Oplossing: RAG (Retrieval-Augmented Generation)
Dit paper introduceert RAG als een systeem dat de student een persoonlijke bibliothecaris en een bibliotheek met up-to-date boeken geeft.

In plaats van alleen te vertrouwen op wat in hun hoofd zit, vraagt de student de bibliothecaris: "Zoek de specifieke pagina's in de bibliotheek die dit antwoord beantwoorden." De bibliothecaris vindt de relevante pagina's, geeft ze aan de student, en de student schrijft het antwoord op basis alleen van die pagina's.

Dit paper is een survey, wat betekent dat het een enorme handleiding is die alle verschillende manieren in kaart brengt waarop ingenieurs dit "Student + Bibliothecaris"-systeem bouwen.

Deel 1: De Drie Hoofdonderdelen van het Systeem

Het paper breekt het systeem op in drie hoofdpersonages:

1. De Bibliothecaris (De Retriever)

Voordat de student kan antwoorden, moet de bibliothecaris de juiste boeken vinden.

Chunking: De bibliothecaris geeft niet hele encyclopedieën mee. Ze snijden de boeken in kleine, hanteerbare "stukken" (zoals individuele alinea's) zodat de student niet overweldigd raakt.
Encoding: De bibliothecaris vertaalt deze tekststukken naar een geheime code (vectoren) zodat ze snel kunnen worden vergeleken.
De Zoekopdracht: Wanneer je een vraag stelt, gebruikt de bibliothecaris een supersnelle zoekmachine (genaamd ANN) om de top 5 of 10 stukken te vinden die het beste bij je vraag passen.

2. De Fusie (De Overdracht)

Dit is het meest technische deel van het paper. Zodra de bibliothecaris de pagina's heeft gevonden, hoe leest de student ze dan? Het paper categoriseert dit in vier "overdracht"-stijlen:

Query-Based (Het Zelfklevende Briefje): De bibliothecaris plakt de gevonden tekst direct op het vraagpapier van de student. De student leest het geheel en beantwoordt de vraag. (Eenvoudig, maar als de tekst te lang is, wordt het papier te groot).
Logits-Based (Het Stemmingssysteem): De student leest de vraag alleen en schrijft een antwoord. Vervolgens leest de student de gevonden pagina's alleen en schrijft een ander antwoord. Tot slot mengt het systeem deze twee antwoorden samen als een stemming om het beste resultaat te krijgen.
Latent Fusion (Het Fluisteren): De bibliothecaris fluistert de kernideeën van de gevonden pagina's in het oor van de student terwijl ze nadenkt. De student ziet de tekst niet, maar ze "voelt" de informatie en gebruikt deze om hun antwoord vorm te geven.
Parametric Fusion (De Tijdelijke Brillen): De bibliothecaris geeft de student een speciale bril (genaamd LoRA) die tijdelijk verandert hoe de student de wereld ziet. De student doet ze op, beantwoordt de vraag, doet ze uit en legt ze weg. Het brein van de student verandert niet permanent, maar ze kunnen specifieke vragen perfect beantwoorden terwijl ze de bril dragen.

3. De Student (De Generator)

Dit is het AI-model dat het antwoord daadwerkelijk schrijft. Het paper bespreekt of je een "Black Box"-student moet gebruiken (zoals GPT-4, waar je niet naar binnen kunt kijken) of een "Open Boek"-student (zoals Llama, waar je hun brein kunt aanpassen). Het legt ook uit dat sommige studenten beter zijn in het lezen van lange lijsten notities dan anderen.

Deel 2: Hoe te Testen of het Werkt (Evaluatie)

Het paper legt uit dat het testen van dit systeem lastig is. Je kunt niet gewoon vragen: "Is het antwoord juist?"

Retrieval Kwaliteit: Heeft de bibliothecaris de juiste pagina's gevonden? (Als de bibliothecaris een pagina over "Apple het fruit" brengt terwijl je vroeg naar "Apple het bedrijf", faalt het systeem).
Betrouwbaarheid: Heeft de student de pagina's die de bibliothecaris gaf daadwerkelijk gebruikt, of hebben ze iets verzonnen?
Robuustheid: Wat gebeurt er als de bibliothecaris een pagina brengt die fout of verwarrend is? Kan de student zeggen: "Ik weet het niet", in plaats van te liegen?

Het paper merkt op dat huidige tests vaak te simpel zijn (zoals het gebruik van Wikipedia) en geen echte scenario's testen, zoals data van particuliere bedrijven of snel veranderend nieuws.

Deel 3: Uitdagingen in de Wereld & De Toekomst

Het paper bekijkt wat er gebeurt wanneer je dit probeert te gebruiken in een echt bedrijf of app:

Veiligheid: Als de bibliotheek (database) wordt gehackt of iemand er nepboeken in plaatst, zal de student nepantwoorden gaan geven. Het paper waarschuwt dat de bibliotheek zelf een nieuwe plek is waar hackers kunnen aanvallen.
Snelheid: Het lezen van een bibliotheek kost tijd. Als de bibliothecaris een miljard boeken moet doorzoeken, moet de student wachten. Het paper bespreekt hoe deze zoekopdracht sneller kan worden zonder nauwkeurigheid te verliezen.
De "Long Context" Debat: Er worden nieuwe studenten gebouwd die hele bibliotheken in hun hoofd kunnen houden (Long-Context LLM's). Het paper vraagt: "Hebben we nog steeds een bibliothecaris nodig?"
- Het Antwoord: Ja. Zelfs als de student een miljoen pagina's kan vasthouden, kunnen ze in de war raken door alle ruis. De bibliothecaris is nog steeds nodig om de één specifieke pagina te vinden die telt, wat tijd en geld bespaart.
GraphRAG: In plaats van alleen te zoeken naar tekststukken, stel je voor dat de bibliothecaris de bibliotheek organiseert als een stamboom of een kaart van connecties (een graf). Dit helpt de student om complexe relaties tussen feiten te begrijpen, zoals hoe een specifiek persoon verbonden is met een specifieke gebeurtenis.

Samenvatting

Dit paper is een uitgebreide kaart van het Retrieval-Augmented Generation (RAG) landschap. Het vertelt ons dat hoewel AI-modellen slim zijn, ze een "bibliotheek" nodig hebben om accuraat, up-to-date en eerlijk te blijven. Het paper beschrijft in detail hoe je die bibliotheek bouwt, hoe je de boeken aan de AI overhandigt, hoe je test of het systeem werkt, en welke veiligheidsrisico's we in de gaten moeten houden terwijl we deze systemen bouwen voor de echte wereld.

Technische Samenvatting: Retrieval-Augmented Generation voor Natural Language Processing: Een Overzicht

Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke empirische successen behaald door kennis impliciet op te slaan in hun parameters. Deze aanpak van parametrisch geheugen staat echter voor drie kritieke beperkingen:

Hallucinaties: LLM's genereren regelmatig coherente maar feitelijk onjuiste antwoorden.
Verouderde Kennis: Het updaten van de interne kennis van een LLM vereist kostbare hertraining of fijnafstemming, waardoor het moeilijk is om real-time of snel evoluerende informatie op te nemen.
Gebrek aan Domeinexpertise: Algemeen doelgerichte LLM's missen vaak de specifieke expertise die nodig is voor gespecialiseerde domeinen, tenzij er aanzienlijke inspanningen worden geleverd voor data-curatie en aanpassing.

Retrieval-Augmented Generation (RAG) lost deze problemen op door LLM's aan te vullen met een externe kennisbank (KB). Door bij inferentie relevante, feitelijk onderbouwde informatie op te halen, verankert RAG de generatie in verifieerbare bronnen, maakt het kennisupdates mogelijk zonder modelhertraining, en faciliteert het de integratie van domeinspecifieke expertise.

Methodologie en Technisch Kader

Dit artikel biedt een systematische, end-to-end decompositie van RAG-systemen, waarbij de drie kernmodules worden geanalyseerd: de Retriever, Retrieval Fusions en de Generator.

1. De Retriever-module

De retriever is verantwoordelijk voor het ophalen van relevante informatie uit een externe KB. Het artikel beschrijft de pijplijn voor het bouwen en bevragen van een retriever:

Bouwen: Omvat chunking (het verdelen van documenten in semantisch onafhankelijke eenheden), codering (het converteren van tekst naar sparse of dense vector-embeddings met behulp van modellen zoals BERT, Siamese encoders of LLM-gebaseerde encoders) en indexering (het construeren van benaderende dichtstbijzijnde buur (ANN)-structuren zoals IVFPQ, HNSW of boomgebaseerde indexen om het zoeken te versnellen).
Bevragen: Omvat het coderen van de gebruikersvraag, het uitvoeren van een ANN-zoekopdracht om de top- $k$ buren te identificeren, en het toepassen van post-processing-technieken zoals herordening om resultaten te verfijnen.

2. Retrieval Fusions

Een nieuwe bijdrage van dit overzicht is een uitgebreide taxonomie van hoe opgehaalde informatie wordt geïntegreerd met de generator. Het artikel categoriseert fusiemethoden in vier onderscheiden types, waarbij deze worden vergeleken op toegankelijkheid, efficiëntie en implementatiecomplexiteit:

Query-gebaseerde Fusie: De eenvoudigste aanpak, waarbij opgehaalde tekst of kenmerken direct worden samengevoegd met de invoervraag.
- Tekstconcatenatie: Opgehaalde documenten voorvoegen aan de prompt (geschikt voor black-box LLM's).
- Kenmerkconcatenatie: Het samenvoegen van gecodeerde ophaal-embeddings met invoerkenmerken (vereist white-box toegang en vaak fijnafstemming).
Logits-gebaseerde Fusie: Het integreren van opgehaalde informatie op de outputlaag door de logits (kansverdelingen) van de generator en de opgehaalde buren te aggregeren of te kalibreren. Dit omvat ensemble-methoden (bijv. kNN-LM) en kalibratie-gebaseerde benaderingen.
Latente Fusie: Het injecteren van opgehaalde informatie in de verborgen toestanden van de generator.
- Op attentie gebaseerd: Het gebruik van cross-attention-modules (bijv. RETRO) om ophaal-kenmerken te integreren in de latente ruimte van het model.
- Gewogen Optelling: Het toevoegen van gewogen ophaal-embeddings aan verborgen toestanden (bijv. EAE, ReFusion).
Parametrische Fusie: Het coderen van externe kennis in lichtgewicht parameterupdates (bijv. LoRA-modules) die bij inferentie worden samengevoegd met de gewichten van de generator. Hierdoor kan het model zich aanpassen aan opgehaalde kennis zonder de basisarchitectuur te wijzigen of volledige hertraining te vereisen.

3. De Generator-module

Het artikel analyseert generatorvereisten voor effectieve RAG, met nadruk op de noodzaak van architecturen die lange contexten kunnen verwerken, gebruikmaken van opgehaalde informatie die verder gaat dan eenvoudige concatenatie, en gronding/attribution bieden. Het categoriseert generators in propriëtaire (alleen API), open-weight decoder-only en retrieval-native/aware modellen.

4. Trainingsparadigma's

Het overzicht onderscheidt twee trainingsscenario's:

Zonder KB-update: De kennisbank blijft statisch terwijl de retriever en/of generator worden fijnafgestemd (bijv. gezamenlijke training van retriever en generator met behulp van gradient descent).
Met KB-update: De kennisbank wordt dynamisch bijgewerkt (bijv. het toevoegen van nieuwe documenten of het updaten van embeddings), gevolgd door aanpassingen in training of inferentie. Dit maakt gebruik van de in-context leercapaciteiten van LLM's om zich aan te passen aan nieuwe data zonder directe hertraining.

Belangrijkste Bijdragen

Het artikel claimt de volgende onderscheidende bijdragen in vergelijking met bestaande overzichten:

Systeemgerichte Decompositie: Een end-to-end ontleding van RAG voor NLP, inclusief walkthroughs op algoritmeniveau en analyses van tijd- en ruimtecomplexiteit voor het bouwen en bevragen van retrievers.
Nieuwe Fusietaxonomie: Een gestructureerde classificatie van retrieval-fusies (query-, logits-, latent- en parametrisch) met een vergelijkende analyse van hun toegankelijkheid, efficiëntie, implementatiecomplexiteit en geschikte gebruiksscenario's.
Trainings- en Updatestrategieën: Een synthese van trainingsworkflows voor zowel statische als dynamische kennisbankinstellingen, waarbij optimalisatie van retriever/generator wordt gekoppeld aan parameter-efficiënte kennisinjectie.
Taakspecifieke Analyse: Een uitgebreide review van RAG-toepassingen over diverse NLP-taken (Taalmodellering, Machine Vertaling, Samenvatting, QA, IE, Classificatie, Dialoog), met details over specifieke technieken en faalmodi voor elke taak.
Evaluatie en Implementatie: Een introductie tot RAG-specifieke evaluatiemetrics (beyond standaard IR-metrics), een analyse van benchmark-beperkingen (bijv. overmatige afhankelijkheid van Wikipedia, gebrek aan temporele dynamiek) en praktische overwegingen voor industriële implementatie, waaronder beveiliging, privacy en schaalbaarheid.

Resultaten en Bevindingen

Als overzichtspapier worden de "resultaten" afgeleid uit de synthese van bestaande literatuur in plaats van nieuwe experimentele data. Belangrijke bevindingen zijn:

Trade-offs in Fusie: Query-gebaseerde fusie biedt snelle implementatie voor black-box modellen, maar lijdt onder hoge latentie en memorykosten door lange invoersequenties. Parametrische en latente fusies bieden hogere efficiëntie en betere integratie, maar vereisen white-box toegang en aanzienlijke architecturale wijzigingen of fijnafstemming.
Taakgevoeligheid: Verschillende NLP-taken hebben unieke faalmodi. Zo zijn QA-systemen zeer gevoelig voor ophaalkwaliteit en lijden ze vaak onder "hallucinaties door ontbrekende informatie", terwijl samenvattingstaken worstelen met contentvervuiling en copy-bias.
Evaluatiegaten: Bestaande benchmarks onderscheiden vaak niet tussen ophaalfouten en generatiefouten, missen fijnmazige diagnostische mogelijkheden en rapporteren operationele metrics zoals latentie en kosten onvoldoende. Er is een vastgesteld gat in het evalueren van temporele frisheid en multi-modale ophaling.
Efficiëntie versus Kwaliteit: RAG-efficiëntie is een belangrijke bottleneck. Hoewel het verminderen van datavolume de snelheid verbetert, riskeert het kwaliteit. Systeemoptimalisaties (bijv. HNSW, GPU-versnelling) en efficiënte fusieontwerpen zijn cruciaal voor productie.

Betekenis en Toekomstige Richtingen

Het artikel positioneert zichzelf als een praktische gids voor onderzoekers en practitioners, met als doel de kloof tussen theoretische RAG-concepten en implementeerbare pijplijnen te overbruggen. De betekenis ligt in:

Het bieden van een unificerend kader voor het begrijpen van de complexe wisselwerking tussen ophalen en genereren.
Het benadrukken dat RAG niet zomaar een plug-in is, maar zorgvuldige architecturale en trainingskeuzes vereist afhankelijk van specifieke beperkingen (bijv. black-box versus white-box, statische versus dynamische kennis).
Het identificeren van opkomende uitdagingen en toekomstige onderzoeksrichtingen, waaronder:
- Beveiliging en Privacy: Het aanpakken van risico's zoals kennisvergiftiging, prompt-injectie en embedding-inversie.
- Cross-modale Ophaling: Het integreren van tekst met afbeeldingen, video en audio voor rijkere context.
- GraphRAG: Het bewegen voorbij platte passage-ophaling naar grafgebaseerde structuren voor beter beheer van multi-hop-redenering en complexe entiteitsrelaties.
- RAG versus Long-Context LLM's: Het verduidelijken dat hoewel long-context-modellen krachtig zijn, RAG essentieel blijft voor precisie, kostenefficiëntie en verifieerbaarheid, en dat de twee paradigma's complementair kunnen zijn.

De auteurs concluderen dat RAG cruciaal is voor het verbeteren van de nauwkeurigheid, aanpasbaarheid en betrouwbaarheid van LLM's, en dat toekomstig werk zich moet richten op robuuste evaluatie, efficiënte implementatie en het aanpakken van beveiligingskwetsbaarheden om het volledige potentieel in industriële toepassingen te realiseren.