💬 NLP

Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

Zero-RAG adressiert die Wissensredundanz zwischen Large Language Models und externen Korpora durch die Einführung einer Mastery-Score-Metrik zur Eliminierung redundanter Dokumente sowie eines Query Routers mit Noise-Tolerant Tuning zur Verbesserung der Nutzung internen Wissens, wodurch die Abfrage um 22 % beschleunigt wird, während die Performance beibehalten wird.

Ursprüngliche Autoren: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Veröffentlicht 2026-01-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, gut lesenden Bibliothekar (das Large Language Model oder LLM), der eine riesige Bibliothek voller Fakten im eigenen Kopf auswendig gelernt hat. Und Sie haben ein riesiges, staubiges Lagerhaus voller Bücher (den externen Korpus, wie Wikipedia), das Sie nutzen, um dem Bibliothekar zu helfen, Fragen zu beantworten.

Lange Zeit war die Standardmethode wie folgt: „Was auch immer die Frage ist, hol ein paar Bücher aus dem Lagerhaus, reich sie dem Bibliothekar und lass ihn sie lesen, bevor er antwortet.“

Das Paper „Zero-RAG“ argumentiert, dass diese alte Methode tatsächlich ineffizient und manchmal sogar kontraproduktiv ist. Hier ist die einfache Aufschlüsselung, warum und wie sie es behoben haben:

Das Problem: Das „redundante“ Lagerhaus

Die Autoren stellten fest, dass moderne Bibliothekar (LLMs) bereits so klug geworden sind, dass sie einen großen Teil dessen, was im Lagerhaus steht, bereits wissen.

Die Verschwendung: Wenn der Bibliothekar die Antwort bereits perfekt kennt, ist es reine Zeitverschwendung, ihm ein Buch darüber zu überreichen. Es ist, als würde man einen Koch, der weiß, wie man ein Ei kocht, bitten, erst ein Rezeptbuch zu lesen, bevor er es tut.
Die Ablenkung: Schlimmer noch, manchmal verwirrt das Lesen dieses zusätzlichen Buches den Bibliothekar tatsächlich. Das Paper fand heraus, dass der Bibliothekar, wenn man ihm Informationen gab, die er bereits kannte, manchmal abgelenkt wurde und eine schlechtere Antwort gab, als wenn er sich einfach auf sein eigenes Gedächtnis verlassen hätte.
Die Kosten: Das Indizieren und Durchsuchen eines massiven Lagerhauses kostet viel Energie und Zeit. Wenn 30 % dieses Lagerhauses nur Dinge sind, die der Bibliothekar bereits weiß, verschwenden Sie viel Aufwand mit der Suche nach „Müll“, der gar nicht benötigt wird.

Die Lösung: Zero-RAG

Das Team schlug ein neues System namens Zero-RAG (Zero Redundant Knowledge) vor. Denken Sie an es als ein dreistufiges Upgrade für das Bibliothekssystem:

1. Der „Mastery Score“ (Das Audit)

Zuerst brauchten sie eine Möglichkeit, um herauszufinden, welche Bücher im Lagerhaus bereits im Kopf des Bibliothekars waren.

Wie es funktioniert: Sie erstellten einen Test namens Mastery-Score. Sie nehmen einen Satz aus dem Lagerhaus, verwandeln ihn in ein Quiz und bitten den Bibliothekar, diesen ohこと das Buch zu beantworten.
Das Ergebnis: Wenn der Bibliothekar das Quiz zu 100 % richtig beantwortet, erhält dieser Satz einen hohen „Mastery Score“. Das bedeutet, der Bibliothekar hat diesen Fakt bereits „beherrscht“.
Die Maßnahme: Sie nutzen diesen Score, um diese redundanten Sätze aus dem Lagerhaus zu beschneiden (wegzuwerfen). Sie entfernten auf diese Weise etwa 30 % des Wikipedia-Korpus und ließen nur die „neuen“ oder „schwierigen“ Dinge übrig, die der Bibliothekar noch nicht weiß.

2. Der „Query Router“ (Der smarte Empfangschef)

Nun, da das Lagerhaus kleiner ist, haben sie einen smarten Empfangschef am vorderen Tresen hinzugefügt.

Wie es funktioniert: Wenn eine Frage eingeht, fragt der Empfangschef: „Weiß der Bibliothekar das bereits?“
Die Maßnahme:
- Wenn Ja: Der Empfangschef sagt: „Überspringe das Lagerhaus! Antworte einfach aus dem Gedächtnis.“ Dies spart Zeit und verhindert, dass der Bibliothekar durch irrelevante Bücher abgelenkt wird.
- Wenn Nein: Der Empfangschef schickt den Bibliothekar in das (jetzt kleinere) Lagerhaus, um die spezifische Antwort zu finden.

3. „Noise-Tolerant Tuning“ (Das Training)

Selbst mit einem kleineren Lagerhaus und einem smarten Empfangschef kann es vorkommen, dass der Bibliothekar versehentlich ein Buch greift, das nicht hilfreich ist.

Die Lösung: Die Autoren trainierten den Bibliothekar, „rauschtolerant“ zu sein. Sie übten Szenarien, in denen dem Bibliothekar eine Mischung aus hilfreichen Büchern und nutzlosen, ablenkenden Büchern gegeben wurde.
Das Ziel: Dies lehrte den Bibliothekar, das „Rauschen“ zu ignorieren und sich an sein eigenes internes Wissen zu halten, falls die Bücher nicht hilfreich waren, was das System robuster macht.

Die Ergebnisse

Durch die Verwendung dieses Systems erzielte das Team einige beeindruckende Zahlen:

Kleineres Lagerhaus: Sie reduzierten die Größe der Wikipedia-Datenbank um 30 %.
Schnellere Geschwindigkeit: Da das Lagerhaus kleiner ist und die Suche bei bekannten Fragen übersprungen wird, wurde der Abrufprozess um 22 % schneller.
Kein Qualitätsverlust: Überraschenderweise wurde der Bibliothekar nicht schlechter im Beantworten von Fragen. Tatsächlich war das System, indem es die ablenkenden „redundanten“ Bücher entfernte, genauso gut oder sogar besser als zuvor.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie machen eine Prüfung.

Der alte Weg: Sie dürfen ein riesiges Lexikon mitbringen. Sie müssen für jede einzelne Frage in den Seiten blättern, selbst bei denen, die Sie bereits auswendig wissen. Manchmal lässt das Lesen des Lexikons Sie an Ihr eigenes Gedächtnis zweifeln.
Der Zero-RAG-Weg: Sie prüfen zuerst, welche Fragen Sie bereits wissen. Für diese schreiben Sie die Antwort sofort auf. Für die, die Sie nicht wissen, suchen Sie nur nach den spezifischen Seiten, die Sie benötigen, in einem kleineren, gekürzten Lexikon. Zudem üben Sie, Seiten zu ignorieren, die keinen Sinn ergeben.

Das Ergebnis? Sie schließen die Prüfung schneller ab, machen weniger Fehler und verschwenden keine Zeit damit, ein Buch zu tragen, das Sie nicht brauchen.

Technisches Resümee: Zero-RAG

Problemstellung

Retrieval-Augmented Generation (RAG) wird weit verbreitet eingesetzt, um Halluzinationen von Large Language Models (LLMs) zu minimieren, indem das interne Wissen durch externe Korpora ergänzt wird. Da sich die internen Wissensbasen von LLMs jedoch stetig erweitern, entsteht eine erhebliche Wissensredundanz zwischen den Parametern des Modells und dem externen Korpus (z. B. Wikipedia).

Diese Redundanz stellt zwei kritische Herausforderungen dar:

Rechenaufwand: Dichte Retrieval-Indizierung und Suchvorgänge skalieren mit der Größe des Korpus. Redundantes Wissen erhöht unnötigerweise die Rechenkosten der Retrieval-Phase.
Leistungsdegradierung: Entgegen der Annahme, dass mehr Kontext immer besser ist, zeigt die explorative Analyse, dass redundantes Wissen die Leistung des LLMs aktiv behindern kann. Wenn einem LLM Dokumente bereitgestellt werden, die Fakten enthalten, die es bereits beherrscht, lenkt der irrelevante Kontext das Modell ab, was zu einem signifikanten Rückgang der Genauigkeit führt (in einigen Experimenten um etwa 20 Punkte im Vergleich zur Beantwortung ohne Retrieval).

Methodik: Zero-RAG

Um diese Probleme anzugehen, schlagen die Autoren Zero-RAG vor, ein Framework, das darauf ausgelegt ist, redundantes Wissen aus dem RAG-Korpus zu entfernen und gleichzeitig die RAG-Leistung aufrechtzuerhalten oder zu verbessern. Das System besteht aus vier integrierten Komponenten:

1. Mastery-Score und Korpus-Pruning

Die Kerninnovation ist der Mastery-Score, eine Metrik, die darauf ausgelegt ist, zu quantifizieren, wie gut ein LLM einen bestimmten Textabschnitt „beherrscht“ (Mastery), wobei zwischen bloßem Auswendiglernen und der Fähigkeit zur flexiblen Nutzung von Wissen nach dem Supervised Fine-Tuning (SFT) unterschieden wird.

Berechnung: Für einen gegebenen Satz generiert das System $n$ Frage-Antwort-Paare. Anschließend wird die Fähigkeit des LLMs bewertet, diese Fragen ausschließlich mit seinem internen Wissen zu beantworten. Der Mastery-Score ist der durchschnittliche Exact Match (EM) Score über diese Paare hinweg.
Skalierbarkeit: Da die Berechnung von Mastery-Scores für jeden Satz in einem großen Korpus rechentechnisch prohibitiv wäre, wird ein Mastery-Classifier (ein Regressionsmodell) trainiert, um diese Scores vorherzusagen.
Pruning: Sätze mit hohen Mastery-Scores (was darauf hindeutet, dass das LLM den Inhalt bereits kennt) werden aus dem Korpus entfernt, was zu einer prägnanten, nicht-redundanten Teilmenge ( $D_{retained}$ ) führt.

2. Query Router

Selbst mit einem bereinigten Korpus benötigen einige Abfragen möglicherweise kein externes Retrieval, wenn das LLM sie aus seinem internen Wissen heraus sicher beantworten kann.

Funktion: Ein binärer Klassifikator bestimmt, ob eine spezifische Abfrage (Query) vom Modell „beherrscht“ wird.
Aktion: Wenn die Abfrage beherrscht wird, umgeht der Router den Retrieval-Schritt vollständig, sodass das LLM direkt antworten kann. Dies vermeidet die Latenz und das Rauschen, die mit dem Abruf irrelevanter Dokumente für bekannte Fakten verbunden sind.

3. Noise-Tolerant Tuning

Um die Robustheit zu gewährleisten, wenn ein Retrieval stattfindet (entweder bei nicht beherrschten Abfragen oder aufgrund von Retrieval-Fehlern), durchläuft das LLM ein Noise-Tolerant Tuning.

Trainingsstrategie: Das Modell wird unter Verwendung von drei Arten von Datensätzen feinjustiert:
1. Abfragen mit relevanten Dokumenten.
2. Abfragen mit störenden (Noise) Dokumenten.
3. Abfragen ohne jeglichen RAG-Kontext.
Zielsetzung: Die Verlustfunktion (Loss Function) ermutigt das Modell, sich auf das interne Wissen zu verlassen, wenn die Dokumente irrelevant sind, und die Dokumente effektiv zu nutzen, wenn sie relevant sind, wodurch der negative Einfluss von „verrauschten“ Retrieval-Ergebnissen unterdrückt wird.

4. Inference Pipeline

Der endgültige Inferenzprozess integriert diese Module:

Pruning: Der Rohkorpus wird mithilfe des Mastery-Score-Prädiktors gefiltert.
Routing: Für jede Abfrage entscheidet der Query Router, ob ein Retrieval durchgeführt wird.
Generierung: Wenn das Retrieval übersprungen wird, antwortet das Modell intern. Wenn ein Retrieval ausgelöst wird, durchsucht das Modell den bereinigten Korpus und generiert die Antwort unter Verwendung der Noise-Tolerant abgestimmten Gewichte.

Zentrale Beiträge

Erstes RAG-orientiertes Pruning: Nach Kenntnis der Autoren ist Zero-RAG die erste Arbeit, die das Korpus-Pruning spezifisch durch das Entfernen von Wissensredundanz zwischen dem Korpus und dem LLM untersucht, anstatt nur die Retrieval-Effizienz zu optimieren.
Neuartige Metriken und Module: Die Einführung des Mastery-Score zur Identifizierung redundanten Wissens und des Query Routers, um das Retrieval für beherrschte Fragen dynamisch zu umgehen.
Robustheitsmechanismus: Die Noise-Tolerant Tuning Strategie stellt sicher, dass das Modell auch dann effektiv bleibt, wenn das bereinigte Korpus nicht das perfekte Dokument liefert oder wenn irrelevante Dokumente abgerufen werden.

Experimentelle Ergebnisse

Die Autoren evaluierten Zero-RAG auf vier faktendichten QA-Datensätzen (HotpotQA, TriviaQA, EntityQuestions und PopQA) unter Verwendung von Llama3-70B und Llama3.3-70B Modellen.

Korpus-Reduktion: Zero-RAG konnte erfolgreich 30 % des Wikipedia-Korpus bereinigen.
Effizienzgewinne: Das Pruning führte zu einer Beschleunigung des Retrieval-Stadiums um 22 % (Reduzierung der durchschnittlichen Latenz von ~12,28s auf ~9,66s).
Leistungserhalt: Trotz der signifikanten Verkleinerung des Korpus wurde die RAG-Leistung beibehalten.
- Bei TriviaQA führte das Entfernen von 70 % des Korpus zu einem vernachlässigbaren Leistungsabfall (0,62 Punkte).
- Bei HotpotQA und EntityQuestions war der Leistungsabfall bei einer Pruning-Rate von 30 % minimal (weniger als 2 Punkte im Durchschnitt).
Vergleich mit Baselines:
- Standard-RAG (ohinit Pruning) zeigte auf bestimmten Datensätzen oft leichte Leistungsabfälle im Vergleich zur alleinigen Beantwortung durch das Modell, was den „Distraktor“-Effekt redundanten Wissens bestätigt.
- Zero-RAG mit Noise-Tolerant Tuning übertraf konsistent die Baselines, was zeigt, dass das vorgeschlagene Tuning die Risiken von Retrieval-Rauschen effektiv mildert.
Modellgrößen-Unabhängigkeit: Der Ansatz war auch bei kleineren Modellen (Llama3-8B) effektiv, was darauf hindeutet, dass Wissensredundanz ein Problem über alle Modellskalen hinweg ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass Zero-RAG einen Paradigmenwechsel im RAG-Design darstellt, indem es das externe Korpus nicht nur als Wissensergänzung betrachtet, sondern als eine Ressource, die kuratiert werden muss, um dem aktuellen internen Zustand des LLM zu entsprechen.

Effizienz ohne Opfer: Die primäre Bedeutung liegt in der Demonstration, dass ein kleinerer, kuratierter Korpus schnellere Retrieval-Geschwindigkeiten liefern kann, ohne die Antwortgenauigkeit zu gefährden (und diese sogar zu verbessern).
Mildern des „Distraktor“-Effekts: Die Arbeit hebt hervor, dass unkuratierte RAG kontraproduktiv sein kann und dass das Filtern von „beherrschtem“ Wissen für die optimale Leistung essenziell ist.
Zukünftige Ausrichtung: Die Autoren zielen darauf ab, weitere Forschung zum Design von Pruning-Verfahren für RAG-Korpora anzuregen, indem sie einen Codebase, ein Modell und einen bereinigten Korpus zur Verfügung stellen, um Reproduzierbarkeit und weitere Verbesserungen zu erleichtern.

Die Autoren räumen Einschränkungen ein und merken an, dass sich ihre Studie derzeit auf Wiki-basierte Datenbanken konzentriert und die Wirksamkeit auf domänenspezifische oder multimodale Datensätze noch untersucht werden muss. Sie weisen auch darauf hin, dass die Leistungsfähigkeit des Systems von der Qualität des ursprünglichen Datensatzes abhängt.