💬 NLP

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG stellt ein modellagnostisches, dynamisches Retrieval-Augmented-Generation-Framework vor, das Halluzinationen durch die Quantifizierung von Unsicherheit mittels objektiver Statistiken des Vorab-Trainingskorpus (Entitätsfrequenz und Ko-Oklusion) über Infini-gram reduziert und dabei signifikante Leistungssteigerungen über diverse Modelle und Benchmarks hinweg erzielt, ohne sich auf unzuverlässige interne Modellsignale zu verlassen.

Ursprüngliche Autoren: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, gut gebildeten Freund (eine KI), der Geschichten erzählt und Fragen beantwortet. Doch manchmal wird dieser Freund etwas zu selbstbewusst und fängt an, Dinge zu erfinden – etwa zu behaupten, ein Film sei von jemandem inszeniert worden, der tatsächlich nie einen Film gedreht hat. Dies nennt man „Halluzination".

Lange Zeit versuchten Forscher, dieses Problem zu lösen, indem sie die KI fragten: „Sind Sie sich sicher?" Die KI würde dann in ihr eigenes Gehirn (ihre internen Signale) schauen und sagen: „Ja, ich bin zu 99 % sicher!" Das Problem ist jedoch, dass die KI schlecht darin ist, ihr eigenes Selbstvertrauen einzuschätzen. Sie kann zu 99 % sicher sein, obwohl sie eine komplette Lüge erzählt.

Hier kommt QuCo-RAG ins Spiel: Der „Faktenprüfer" aus der Bibliothek

Die Autoren dieses Papiers, QuCo-RAG, beschlossen, die KI nicht mehr zu fragen, ob sie sich sicher ist. Stattdessen bauten sie ein System, das die Fakten der KI gegen eine riesige, objektive Datensammlung (das Vor-Trainings-Korpus) prüft, noch bevor die KI ihren Satz beendet hat.

Stellen Sie es sich so vor:

Alter Weg (Interne Signale): Sie fragen die KI: „Kennen Sie das?" Die KI antwortet: „Ich fühle mich sehr sicher!" (Selbst wenn sie falsch liegt).
QuCo-RAG-Weg (Korpus-Statistiken): Sie fragen die KI: „Existiert diese Tatsache in der Bibliothek?" Wenn die Bibliothek keine Aufzeichnung davon hat, sagt das System: „Stopp! Wir haben keinen Beweis dafür. Lassen Sie uns das in der realen Welt nachschlagen (Daten abrufen), bevor wir es aussprechen."

Wie es funktioniert: Das zweistufige Sicherheitsnetz

Das System verwendet einen zweistufigen Prozess, um Lügen aufzudecken, und nutzt dabei einen superschnellen Bibliotheksindex namens Infini-gram (der in Millisekunden durch 4 Billionen Wörter suchen kann).

Schritt 1: Der „Seltene-Wort"-Check (Vor dem Sprechen)
Bevor die KI mit der Antwort beginnt, scannt das System die Frage.

Die Analogie: Stellen Sie sich vor, Sie fragen: „Wer ist der Präsident der winzigen Inselnation Zogblorp?"
Der Check: Das System schaut in der Bibliothek nach. Wenn das Wort „Zogblorp" nur fünfmal in der gesamten Geschichte des menschlichen Schreibens vorkommt (niedrige Frequenz), weiß das System: „Das ist obskur. Die KI weiß dies wahrscheinlich nicht gut und könnte es erfinden."
Die Aktion: Es greift sofort ein Buch (ruft Daten ab), um der KI zu helfen, die Antwort korrekt zu formulieren, noch bevor sie zu sprechen beginnt.

Schritt 2: Der „Haben sie sich je getroffen?"-Check (Während des Sprechens)
Während die KI Satz für Satz eine Antwort generiert, beobachtet das System, was sie sagt.

Die Analogie: Die KI sagt: „Der berühmte Koch Gordon Ramsay und der berühmte Maler Van Gogh waren beste Freunde."
Der Check: Das System schaut in der Bibliothek nach, ob „Gordon Ramsay" und „Van Gogh" jemals im selben Satz oder Absatz zusammen vorkommen.
Die Logik: Wenn sie im gesamten Korpus niemals zusammen vorkommen (keine gemeinsame Vorkommen), ist das eine riesige rote Flagge. Es ist, als würde man sagen: „Der Mond und ein Toaster sind beste Freunde" – es ist möglich, aber wenn niemand jemals darüber geschrieben hat, halluziniert die KI wahrscheinlich.
Die Aktion: Das System stoppt die KI, sagt: „Warten Sie, diese beiden hängen in unseren Büchern nie zusammen ab" und holt die korrekte Information, um den Satz zu korrigieren.

Warum das eine große Sache ist

Das Papier zeigt, dass diese Methode viel besser ist als die KI zu bitten, ihre eigenen Gefühle zu überprüfen.

Es funktioniert bei „Black-Box"-Modellen: Selbst wenn Sie nicht wissen, welche Bücher die KI gelesen hat (wie bei GPT-4 oder Llama-3), funktioniert dieses System. Es nutzt die Tatsache, dass die meisten KI-Modelle ähnliche Bücher lesen (das Internet, Wikipedia usw.). Daher funktioniert die Prüfung einer öffentlichen Bibliothek für fast jede intelligente KI.
Es fängt die „selbstbewussten Lügner" ein: Andere Methoden verpassen oft, wenn die KI selbstbewusst falsch liegt. QuCo-RAG fängt sie ein, weil es sich nicht darum kümmert, wie die KI sich fühlt; es interessiert sich nur dafür, ob die Tatsache in der Bibliothek existiert.
Es ist schnell und effizient: Es prüft nicht jedes einzelne Wort. Es prüft nur, wenn es ein „seltenes" Wort oder eine „verdächtige" Kombination von Fakten erkennt. Dies spart Zeit und Geld im Vergleich zu Methoden, die ständig alles prüfen.

Die Ergebnisse

Als sie dies an schwierigen Trivia-Fragen testeten (wie „Wer hat diesen Film inszeniert und wie heißt seine Mutter?"), erhielt QuCo-RAG deutlich mehr richtige Antworten als die bisherigen besten Methoden. Es verbesserte die Genauigkeit um bis zu 14 Punkte, was in der Welt der KI ein massiver Sprung ist.

Kurz gesagt: Anstatt dem Ego der KI zu vertrauen („Ich bin sicher!"), vertraut QuCo-RAG der Bibliothek („Zeigen Sie mir den Beweis"). Wenn der Beweis nicht vorhanden ist, verhindert es, dass die KI Dinge erfindet.

Technische Zusammenfassung: QuCo-RAG

Problemstellung

Dynamische Retrieval-Augmented Generation (Dynamic RAG) zielt darauf ab, Halluzinationen in Large Language Models (LLMs) zu mindern, indem sie adaptiv bestimmt, wann während der Generierung externe Beweise abgerufen werden sollen. Bestehende Methoden für dynamische RAG (z. B. FLARE, DRAGIN, SeaKR) verlassen sich jedoch auf modellinterne Signale – wie Token-Wahrscheinlichkeiten, Entropie oder Aufmerksamkeitsgewichte –, um Unsicherheit zu quantifizieren. Die Arbeit argumentiert, dass diese Signale fundamental unzuverlässig sind, da LLMs typischerweise schlecht kalibriert sind und oft hohe Sicherheit bei fehlerhaften Ausgaben zeigen („sichere Halluzinationen"). Darüber hinaus deuten theoretische Arbeiten darauf hin, dass selbst perfekt kalibrierte Modelle bei seltenen Fakten halluzinieren müssen, um statistische Konsistenz zu wahren. Folglich können interne Signale nicht zwischen unsicherer Generierung und sicheren Fehlern unterscheiden, was zu inkonsistentem Auslösen von Abrufen und suboptimaler Leistung führt.

Methodik: QuCo-RAG

Die Autoren schlagen QuCo-RAG (Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation) vor, ein Framework, das die Unsicherheitsquantifizierung von subjektiver interner Konfidenz auf objektive Statistiken abgeleitet aus dem Pre-Training-Korpus verlagert. Das System arbeitet in zwei distincten Phasen und nutzt die Infini-gram-Engine für Abfragen mit Millisekunden-Latenz über Korpora mit Billionen von Tokens.

1. Wissensbewertung vor der Generierung (Input-Unsicherheit)

Bevor die Generierung beginnt, bewertet das System die Eingabefrage auf Wissenslücken:

Entitätsextraktion: Ein leichtgewichtiger Extraktor identifiziert Schlüsselelemente ( $E_Q$ ) aus der Frage.
Häufigkeitsprüfung: Das System fragt die Häufigkeit jeder Entität im Pre-Training-Korpus ( $P$ ) ab.
Auslösebedingung: Wenn die durchschnittliche Entitätshäufigkeit unter einen Schwellenwert ( $\tau_{entity}$ ) fällt, was Risiken im Bereich „Long-Tail"-Wissen anzeigt, wird sofort ein Abruf ausgelöst. Die ursprüngliche Frage dient als Abfrage, um Dokumente zu retrieve, die dem Kontext vorangestellt werden.

2. Laufzeit-Claim-Verifikation (Output-Unsicherheit)

Während der Generierung überwacht das System jeden generierten Satz ( $s_i$ ) auf evidenzbasierte Unterstützung:

Triplet-Extraktion: Ein leichtgewichtiges Modell extrahiert Wissens-Triplets $(h, r, t)$ aus dem generierten Satz.
Ko-Okkurrenz-Verifikation: Anstatt den vollständigen relationalen Claim zu verifizieren (was unter lexikalischer Variabilität leidet), prüft das System die Ko-Okkurrenz-Häufigkeit der Kopf- ( $h$ ) und Schwanz- ( $t$ ) Entitäten innerhalb eines definierten Fensters ( $\omega$ ) im Pre-Training-Korpus.
Auslösebedingung: Wenn die Ko-Okkurrenz-Zahl null ist (oder unter einem Schwellenwert $\tau_{cooc}$ ), schließt das System auf fehlende evidenzbasierte Unterstützung und signalisiert ein hohes Halluzinationsrisiko.
Aktion: Ein Abruf wird mit einer semantisch orientierten Abfrage ( $h \oplus r$ ) ausgelöst, und der Satz wird unter Verwendung des abgerufenen Kontexts neu generiert.

Hauptbeiträge

Paradigmenwechsel: Die Arbeit stellt einen modellagnostischen Ansatz vor, der Abrufentscheidungen auf Korpusstatistiken statt auf unzuverlässige interne Modellsignale gründet.
Zweistufige Detektion: Sie formalisiert einen dualen Mechanismus, der sowohl Input-Unsicherheit (seltene Entitäten) als auch Output-Unsicherheit (nicht unterstützte Entitätspaare) adressiert.
Infrastrukturnutzung: Die Methode nutzt Infini-gram effektiv, um Echtzeit-Statistikabfragen über massive Pre-Training-Korpora (z. B. 4 Billionen Tokens) mit vernachlässigbarer Latenz durchzuführen.
Breite Anwendbarkeit: Das Framework zeigt, dass Statistiken aus einem transparenten Korpus (OLMo-2) als effektive Proxy für Modelle mit nicht offengelegten oder proprietären Trainingsdaten (z. B. Llama-3, Qwen2.5, GPT-4/5) dienen können.

Experimentelle Ergebnisse

Die Autoren evaluierten QuCo-RAG an Multi-Hop-QA-Benchmarks (2WikiMultihopQA, HotpotQA) und erweiterten die Evaluation auf langformatige Generierung (ASQA) und biomedizinische QA (PubMedQA).

Leistung bei OLMo-2: Unter Verwendung der OLMo-2-Familie (7B, 13B, 32B) mit vollem Zugriff auf deren Pre-Training-Korpus erzielte QuCo-RAG Verbesserungen von 5–12 Punkten im Exact Match (EM) gegenüber State-of-the-Art-Baselines (einschließlich DRAGIN, ETC und SeaKR).
Modellübergreifende Übertragbarkeit: Bei Anwendung auf Modelle mit nicht offengelegten Daten (Llama-3, Qwen2.5, GPT-4.1/5) verbesserte QuCo-RAG den EM um bis zu 14 Punkte und übertraf Baselines, die auf internen Signalen basieren. Bemerkenswerterweise übertraf es GPT-Modelle, die ihre integrierten Web-Suchtools verwendeten.
Effizienz: QuCo-RAG erzielte überlegene Leistung bei gleichzeitiger Aufrechterhaltung hoher Effizienz. Es löste signifikant weniger Abrufe pro Frage aus (z. B. ~1,7 bei HotpotQA) im Vergleich zu Methoden wie FS-RAG oder SeaKR, die oft übermäßige Abrufe mit geringerer Genauigkeit auslösten.
Domänengeneralisierung: Die Methode generalisierte robust auf langformatige Generierung und den biomedizinischen Bereich ohne aufgabenspezifisches Tuning, wohingegen Methoden mit internen Signalen in diesen spezialisierten Settings mit Effizienz oder Wirksamkeit kämpften.

Bedeutung und Behauptungen

Die Arbeit beansprucht, korpusbasierte Verifikation als prinzipiellen und praktisch modellagnostischen Paradigmen für dynamische RAG zu etablieren. Die Autoren argumentieren, dass:

Zuverlässigkeit: Korpusstatistiken ein zuverlässigeres Signal für Unsicherheit liefern als modellinterne Konfidenzwerte, die zu Fehlkalibrierung neigen.
Skalierbarkeit: Der Ansatz skaliert effektiv auf Modelle mit nicht offengelegten Trainingsdaten, indem er die erhebliche Überlappung in webweiten Pre-Training-Korpora nutzt.
Sicherheit und Robustheit: Durch die Detektion von „Null-Ko-Okkurrenz" als starkes Indiz für ein Halluzinationsrisiko bietet die Methode einen prinzipiellen Weg, sichere Halluzinationen zu mindern, insbesondere für Long-Tail-Wissen, bei dem Modelle am anfälligsten für Fehler sind.

Die Autoren räumen Einschränkungen ein, darunter die Abhängigkeit von exaktem lexikalischem Matching (was Ko-Okkurrenzen unter Aliasen übersehen kann) und die zeitlichen Beschränkungen statischer Pre-Training-Korpora. Sie vertreten jedoch die Position, dass die konservative Strategie, bei Zweifeln einen Abruf auszulösen, dem Risiko unentdeckter Halluzinationen vorzuziehen ist.