💬 NLP

Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

Zero-RAG adresseert kennisredundantie tussen Large Language Models en externe corpora door een Mastery-Score metriek te introduceren om redundante documenten te snoeien en een Query Router met Noise-Tolerant Tuning om het gebruik van interne kennis te verbeteren, waardoor de retrieval met 22% wordt versneld terwijl de prestaties behouden blijven.

Oorspronkelijke auteurs: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Gepubliceerd 2026-01-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, erudiete bibliothecaris hebt (het Large Language Model of LLM) die een enorme bibliotheek aan feiten in zijn eigen hoofd heeft opgenomen. Je hebt ook een gigantisch, stoffig magazijn vol boeken (de Externe Corpus, zoals Wikipedia) dat je gebruikt om de bibliothecaris te helpen vragen te beantwoorden.

Een tijdlang was de standaardmanier van werken: "Wat de vraag ook is, pak een paar boeken uit het magazijn, overhandig ze aan de bibliothecaris en laat hem ze lezen voordat hij antwoord geeft."

Het artikel "Zero-RAG" betoogt dat deze oude manier eigenlijk inefficiënt en soms zelfs contraproductief is. Hier is de eenvoudige uitleg van waarom en hoe ze het hebben opgelost:

Het Probleem: Het "Redundante" Magazijn

De auteurs merkten op dat moderne bibliothecarissen (LLM's) zo slim zijn geworden dat ze al een groot deel van wat er in het magazijn staat, al weten.

De Verspilling: Als de bibliothecaris het antwoord al perfect weet, is het geven van een boek over dat onderwerp simpelweg een verspilling van tijd. Het is alsof je een chef vraagt die precies weet hoe je een ei moet koken, om eerst een receptenboek te laten lezen voordat hij het doet.
De Afleiding: Erger nog, soms zorgt het lezen van dat extra boek ervoor dat de bibliothecaris juist verward raakt. Het artikel ontdekte dat wanneer de bibliothecaris informatie kreeg die hij al wist, hij soms afgeleid raakte en een slechter antwoord gaf dan wanneer hij simpelweg op zijn eigen geheugen had vertrouwd.
De Kosten: Het indexeren en doorzoeken van een enorm magazijn kost veel energie en tijd. Als 30% van dat magazijn bestaat uit zaken die de bibliothecaris al weet, verspil je veel moeite aan het zoeken naar "rommel" die niet nodig is.

De Oplossing: Zero-RAG

Het team stelde een nieuw systeem voor genaamd Zero-RAG (Zero Redundant Knowledge). Denk aan dit als een upgrade van drie stappen voor het bibliotheeksysteem:

1. De "Mastery Score" (De Audit)

Eerst hadden ze een manier nodig om te achterhalen welke boeken in het magazijn al in het hoofd van de bibliothecaris zaten.

Hoe het werkt: Ze creëerden een test genaamd de Mastery-Score. Ze nemen een zin uit het magazijn, maken er een quiz van en vragen de bibliothecaris om deze te beantwoorden zonder in het boek te kijken.
Het Resultaat: Als de bibliothecaris 100% van de quiz goed heeft, krijgt die zin een hoge "Mastery Score". Dit betekent dat de bibliothecaris dit feit al heeft "beheerst".
De Actie: Ze gebruiken deze score om die redundante zinnen uit het magazijn te prunen (weg te gooien). Ze hebben op deze manier ongeveer 30% van de Wikipedia-corpus verwijderd, waardoor alleen de "nieuwe" of "moeilijke" zaken overbleven die de bibliothecaris nog niet weet.

2. De "Query Router" (De Slimme Receptionist)

Nu het magazijn kleiner is, hebben ze een slimme receptionist bij de balie toegevoegd.

Hoe het werkt: Wanneer er een vraag binnenkomt, vraagt de receptionist: "Weet de bibliothecaris dit al?"
De Actie:
- Als Ja: De receptionist zegt: "Sla het magazijn over! Beantwoord de vraag vanuit het geheugen." Dit bespaart tijd en voorkomt dat de bibliothecaris wordt afgeleid door irrelevante boeken.
- Als Nee: De receptionist stuurt de bibliothecaris naar het (nu kleinere) magazijn om het specifieke antwoord te vinden.

3. "Noise-Tolerant Tuning" (De Training)

Zelfs met een kleiner magazijn en een slimme receptionist kan het voorkomen dat de bibliothecaris per ongeluk een boek pakt dat niet nuttig is.

De Fix: De auteurs hebben de bibliothecaris getraind om "ruis-tolerant" te zijn. Ze oefenden met scenario's waarin de bibliothecaris werd voorzien van een mix van nuttige boeken en nutteloze, afleidende boeken.
Het Doel: Dit leerde de bibliothecaris om de "ruis" te negeren en vast te houden aan zijn eigen interne kennis als de boeken niet hielpen, wat het systeem robuuster maakt.

De Resultaten

Door dit systeem te gebruiken, behaalde het team enkele indrukwekkende cijfers:

Kleiner Magazijn: Ze verkleinden de Wikipedia-database met 30%.
Snellere Snelheid: Omdat het magazijn kleiner is en ze de zoekopdracht voor bekende vragen overslaan, werd het ophaalproces 22% sneller.
Geen Verlies in Kwaliteit: Verrassend genoeg werd de bibliothecaris niet slechter in het beantwoorden van vragen. Sterker nog, door de afleidende "redundante" boeken te verwijderen, presteerde het systeem net zo goed als voorheen, en soms zelfs beter.

Samenvattende Analogie

Stel je voor dat je een toets maakt.

Oude Manier: Je mag een gigantische encyclopedie meenemen. Je moet voor elke vraag door de pagina's bladeren, zelfs voor de vragen die je al uit je hoofd kent. Soms zorgt het lezen van de encyclopedie ervoor dat je aan je eigen geheugen gaat twijfelen.
Zero-RAG Manier: Je controleert eerst welke vragen je al weet. Voor die vragen schrijf je direct het antwoord op. Voor de vragen die je niet weet, zoek je alleen de specifieke pagina's op die je nodig hebt in een kleinere, ingekorte encyclopedie. Je oefent ook om pagina's te negeren die niet logisch zijn.

Het resultaat? Je maakt de toets sneller af, je maakt minder fouten en je verspilt geen tijd aan het meeslepen van een boek dat je niet nodig hebt.

Technische Samenvatting: Zero-RAG

Probleemstelling

Retrieval-Augmented Generation (RAG) wordt breed toegepast om hallucinaties van Large Language Models (LLM's) te beperken door interne kennis aan te vullen met externe corpora. Naarmate LLM's echter evolueren, breidt hun interne kennisbasis zich aanzienlijk uit, wat leidt tot een substantiële kennisredundantie tussen de parameters van het model en het externe corpus (bijv. Wikipedia).

Deze redundantie brengt twee kritieke uitdagingen met zich mee:

Computationele Overhead: Dichte retrieval-indexering en zoekwerkzaamheden schalen met de omvang van het corpus. Redundante kennis verhoogt onnodig de computationele kosten van de retrieval-fase.
Prestatievermindering: In tegenstelling tot de aanname dat meer context altijd beter is, laat exploratieve analyse zien dat redundante kennis de prestaties van het LLM actief kan belemmeren. Wanneer een LLM wordt voorzien van documenten die feiten bevatten die het al beheerst, leidt de irrelevante context de aandacht van het model af, wat een aanzienlijke daling in nauwkeurigheid veroorzaakt (ongeveer 20 punten in sommige experimenten) vergeleken met het beantwoorden zonder retrieval.

Methodologie: Zero-RAG

Om deze problemen aan te pakken, stellen de auteurs Zero-RAG voor, een framework ontworpen om redundante kennis uit het RAG-corpus te snoeien terwijl de retrieval-augmented prestaties gelijk blijven of verbeteren. Het systeem werkt via vier geïntegreerde componenten:

1. Mastery-Score en Corpus Pruning

De kerninnovatie is de Mastery-Score, een metriek ontworpen om te kwantificeren hoe goed een LLM een specifieke passage heeft "beheerst", waarbij onderscheid wordt gemaakt tussen loutere memorisatie en het vermogen om kennis flexibel te gebruiken na Supervised Fine-Tuning (SFT).

Berekening: Voor een gegeven zin genereert het systeem $n$ vraag-antwoordparen. Vervolgens evalueert het systeem het vermogen van het LLM om deze vragen te beantwoorden met uitsluitend zijn interne kennis. De Mastery-Score is de gemiddelde Exact Match (EM) score over deze paren.
Schaalbaarheid: Omdat het berekenen van Mastery-Scores voor elke zin in een groot corpus computationeel onhaalbaar is, wordt een Mastery-Classifier (een regressiemodel) getraind om deze scores te voorspellen.
Pruning: Zinnen met hoge Mastery-Scores (wat aangeeft dat het LLM de inhoud al kent) worden gesnoeid uit het corpus, wat resulteert in een beknopte, niet-redundante subset ( $D_{retained}$ ).

2. Query Router

Zelfs met een gesnoeid corpus kunnen sommige queries mogelijk geen externe retrieval vereisen als het LLM ze met vertrouwen vanuit interne kennis kan beantwoorden.

Functie: Een binaire classifier bepaalt of een specifieke query "beheerst" wordt door het model.
Actie: Als de query wordt beheerst, omzeilt de router de retrieval-stap volledig, waardoor het LLM direct kan antwoorden. Dit voorkomt de latentie en ruis die geassocieerd worden met het ophalen van irrelevante documenten voor bekende feiten.

3. Noise-Tolerant Tuning

Om robuustheid te garanderen wanneer retrieval wel plaatsvindt (ofwel voor niet-beheerde queries of door fouten in de retrieval), ondergaat het LLM Noise-Tolerant Tuning.

Trainingsstrategie: Het model wordt gefinetuned met drie soorten datapunten:
1. Queries met relevante documenten.
2. Queries met afleidende (ruis-) documenten.
3. Queries zonder enige RAG-context.
Doel: De loss-functie moedigt het model aan om op interne kennis te vertrouwen wanneer documenten irrelevant zijn, en om documenten effectief te benutten wanneer ze wel relevant zijn, waardoor de negatieve impact van "ruisende" retrieval-resultaten wordt onderdrukt.

4. Inference Pipeline

Het uiteindelijke inference-proces integreert deze modules:

Pruning: Het ruwe corpus wordt gefilterd met behulp van de Mastery-Score predictor.
Routing: Voor elke query beslist de Query Router of er retrieval plaatsvindt.
Generatie: Als retrieval wordt overgeslagen, beantwoordt het model de vraag intern. Als retrieval wordt getriggerd, zoekt het model in het gesnoeide corpus en genereert het het antwoord met behulp van de Noise-Tolerant getunede gewichten.

Belangrijkste Bijdragen

Eerste RAG-georiënteerde Pruning: Naar weten van de auteurs is Zero-RAG het eerste werk dat corpus pruning verkent specifiek door kennisredundantie tussen het corpus en het LLM te verwijderen, in plaats van enkel de retrieval-efficiëntie te optimaliseren.
Nieuwe Metrieken en Modules: De introductie van de Mastery-Score om redundante kennis te identificeren en de Query Router om retrieval dynamisch te omzeilen voor beheerste vragen.
Robuustheidsmechanisme: De Noise-Tolerant Tuning strategie zorgt ervoor dat het model effectief blijft, zelfs wanneer het gesnoeide corpus niet het perfecte document ophaalt of wanneer irrelevante documenten worden opgehaald.

Experimentele Resultaten

De auteurs evalueerden Zero-RAG op vier feit-intensieve QA-datasets (HotpotQA, TriviaQA, EntityQuestions en PopQA) met behulp van de Llama3-70B en Llama3.3-70B modellen.

Corpus Reductie: Zero-RAG slaagde erin 30% van het Wikipedia-corpus te snoeien.
Efficiëntiewinst: De pruning resulteerde in een versnelling van 22% in de retrieval-fase (reductie van de gemiddelde latentie van ~12,28s naar ~9,66s).
Prestatiebehoud: Ondanks de aanzienlijke reductie in de omvang van het corpus, bleef de RAG-prestatie behouden.
- Op TriviaQA resulteerde het verwijderen van 70% van het corpus in een verwaarloosbare prestatiedaling (0,62 punten).
- Op HotpotQA en EntityQuestions was de prestatiedaling bij een pruning-ratio van 30% minimaal (minder dan 2 punten gemiddeld).
Vergelijking met Baselines:
- Standaard RAG (zonder pruning) vertoonde vaak lichte prestatiedalingen vergeleken met het alleen antwoorden van het model op bepaalde datasets, wat het "distractor"-effect van redundante kennis bevestigt.
- Zero-RAG met Noise-Tolerant Tuning presteerde consistent beter dan de baselines, wat aantoont dat de voorgestelde tuning de risico's van retrieval-ruis effectief mitigeert.
Onafhankelijkheid van Modelgrootte: De aanpak was ook effectief op kleinere modellen (Llama3-8B), wat aangeeft dat kennisredundantie een wijdverspreid probleem is over verschillende model-schalen heen.

Betekenis en Claims

Het artikel claimt dat Zero-RAG een paradigmaverschuiving biedt in RAG-ontwerp door het externe corpus niet alleen te behandelen als een kennis-aanvulling, maar als een bron die gecureerd moet worden om aan te sluiten bij de huidige interne staat van het LLM.

Efficiëntie zonder Offer: De primaire betekenis is de demonstratie dat een kleiner, gecureerd corpus snellere retrieval-snelheden kan opleveren zonder de antwoordnauwkeurigheid in gevaar te brengen (en soms zelfs te verbeteren).
Mitigeren van het "Distractor"-effect: Het werk benadlicht dat ongecureerde RAG contraproductief kan zijn, en dat het filteren van "beheerde" kennis essentieel is voor optimale prestaties.
Toekomstige Richting: De auteurs beogen verdere research te inspireren naar de ontwerpkeuzes voor het snoeien van RAG-corpora, door een codebase, model en gesnoeid corpus beschikbaar te stellen om reproduceerbaarheid en verdere verbetering te faciliteren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat hun studie momenteel gericht is op Wiki-gebaseerde databases en dat de effectiviteit op domeinspecifieke of multimodale datasets nog onderzocht moet worden. Ze merken ook op dat de effectiviteit van het systeem afhankelijk is van de kwaliteit van de initiële dataset.