💻 computer science

Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

Dieses Paper stellt Dual-Confidence Contrastive Decoding (DCCD) vor, eine trainingsfreie Methode, die intra-kontextuelle Konflikte bei der Multi-Dokument Retrieval-Augmented Generation durch die Nutzung von Dokumenten- und Token-basierten Konfidenzsignalen löst, und validiert deren Wirksamkeit auf dem neuen DRQA-Benchmark sowie auf Standard-QA-Datensätzen.

Ursprüngliche Autoren: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben einen Stapel von fünf verschiedenen Zeugenaussagen (den „abgerufenen Dokumenten) über das Geschehene.

Zeuge A sagt die Wahrheit.
Zeuge B lügt, klingt aber sehr überzeugend.
Zeuge C sagt die Wahrheit, aber es geht um das, was letztes Jahr passiert ist, nicht um heute.
Zeuge D spricht über ein völlig anderes Verbrechen.
Zeuge E stammelt nur wirres Zeug.

Ihre Aufgabe ist es, einen Abschlussbericht basierend nur auf diesen Aussagen zu schreiben. Das Problem ist, dass Ihr Gehirn (das KI-Modell) auch über eine eigene „Erinnerung“ an ähnliche Fälle aus der Vergangenheit verfügt. Manchmal möchte Ihr Gehirn die Zeugen ignorieren und einfach raten, basierend auf dem, was es bereits weiß. Manchmal kann es Sie auch verwirren, wenn Sie den Zeugen zuhören, weil sie sich gegenseitig widersprechen.

Dieses Papier stellt eine neue Methode vor, mit der der Detektiv (die KI) diesen chaotischen Stapel an Beweisen sortieren kann, ohne dafür zur Schule gehen zu müssen (das Modell neu zu trainieren). Sie nennen es Dual-Confidence Contrastive Decoding (DCCD).

So funktioniert es, unterteilt in einfache Teile:

1. Der neue „Rätsel“-Test: DRQA

Zuerst stellten die Autoren fest, dass bestehende Tests für KIs nicht schwierig genug waren. Die meisten Tests verwenden öffentliche Fakten (wie „Wer ist der Präsident?“), die die KI vielleicht schon kennt.

Deshalb haben sie einen neuen Test namens DRQA (Deep Research Question Answering) entwickelt.

Die Analogie: Stellen Sie sich die KI als einen neuen Mitarbeiter in einer geheimen Firma vor. Die Fragen betreffen interne Firmengeheimnisse (wie „Wie viel haben wir im letzten Quartal für Kaffeebohnen gespart?“). Die KI hat diese Informationen noch nie gesehen.
Die Falle: Der KI wird ein Ordner mit Dokumenten gegeben. Eines enthält die richtige Antwort. Die anderen enthalten falsche Antworten, alte Antworten oder Unsinn. Die KI muss das richtige Dokument finden, um die Frage zu beantworten. Wenn sie basierend auf ihrem eigenen Gedächtnis rät, wird sie scheitern, da die Antwort in ihrem Gedächtnis nicht existiert.

2. Die Lösung: Das „Doppelcheck“-System (DCCD)

Die Autoren schlagen eine Methode vor, die keine Neukalibrierung der KI erfordert. Stattdessen verändert sie die Art und Weise, wie die KI während sie ihre Antwort schreibt, also Wort für Wort, ihr „Denken“.

Sie verwenden zwei Arten von Konfidenzprüfungen, als würde ein Detektiv zwei verschiedene Werkzeuge benutzen:

Werkzeug A: Dokument-Ebene Konfidenz (Der „Ist diese Datei nützlich?“-Check)

Bevor die KI mit dem Schreiben der Antwort beginnt, schaut sie sich jedes Dokument im Ordner an und fragt: „Enthält dieses spezifische Dokument tatsächlich genügend Informationen, um die Frage zu beantworten?“

Analogie: Es ist, als würde man prüfen, ob ein Zeuge überhaupt über das richtige Verbrechen spricht. Wenn das Dokument von „Kaffeebohnen“ handelt, die Frage aber nach „Serverabstürzen“ fragt, ist der Konfidenzwert niedrig. Wenn das Dokument so aussieht, als hätte es die Antwort, ist der Score hoch.

Werkzeug B: Token-Ebene Konfidenz (Der „Bin ich mir beim nächsten Wort sicher?“-Check)

Während die KI beginnt, die Antwort zu schreiben, schaut sie auf das aktuelle Dokument, das sie verwendet, und fragt: „Wenn ich dieses Dokument weiter verwende, bin ich mir über das sehr nächste Wort, das ich gleich tippen werde, sicher?“

Analogie: Stellen Sie sich vor, Sie lesen eine Zeugenaussage. Wenn die Aussage klar ist, können Sie das nächste Wort leicht vorhersagen („Der Verdächtige rannte...“). Wenn die Aussage verwirrend oder widersprüchlich ist, könnten Sie zögern („Der Verdächtige rannte... oder ging vielleicht...“). Dieses Werkzeug misst dieses Zögern.

3. Der magische Zug: Der „Kontrast“

Der clevere Teil ist hier: Die KI wählt nicht einfach das „beste“ Dokument. Sie spielt ein Spiel des Tauziehens:

Sie findet das Dokument, das bei beiden Checks am höchsten punktet (Der „Gute Zeuge“).
Sie findet das Dokument, das bei beiden Checks am niedrigsten punktet (Der „Schlechte Zeuge“ oder der Lügner).
Sie berechnet die Differenz (die Marge) zwischen dem Guten Zeugen und dem Schlechten Zeugen.
Die Entscheidung: Sie nimmt ihre aktuelle Vermutung und drückt sie stark in Richtung des Guten Zeugen und zieht sie weg vom Schlechten Zeugen. Je größer die Lücke zwischen dem guten und dem schlechten Dokument ist, desto stärker drückt sie.

Einfach ausgedrückt: Die KI sagt: „Ich bin mir zu 90 % sicher, dass Dokument A richtig ist, und zu 10 % sicher, dass Dokument B falsch ist. Also ignoriere ich Dokument B und setze voll auf Dokument A.“

4. Warum das wichtig ist

Das Papier zeigt, dass diese „Double-Check“-Methode, wenn die KI mit einem Haufen widersprüchlicher, verrauschter oder veralteter Dokumente konfrontiert wird (wie in ihrem neuen DRQA-Test), viel besser funktioniert als bisherige Methoden.

Alte Methoden wurden oft von den Lügnern oder den veralteten Informationen verwirrt und haben dann einfach geraten.
DCCD identifiziert erfolgreich den „Guten Zeugen“ und ignoriert den „Schlechten Zeugen“, selbst wenn der Schlechte Zeuge sehr überzeugend klingt.

Zusammenfassung

Das Papier handelt davon, einer KI beizubringen, ein besserer Detektiv zu sein, wenn sie zwischen einem Haufen widersprüchlicher Beweise wählen muss. Anstatt einfach nur zu raten oder alles zu glauben, was sie liest, nutzt die KI einen zweistufigen Konfidenzcheck:

Ist diese Quelle hilfreich? (Dokument-Ebene)
Macht mich diese Quelle sicher bezüglich des nächsten Wortes? (Token-Ebene)

Indem sie die „beste“ Quelle mit der „schlechtesten“ Quelle vergleicht und den Unterschied verstärkt, kann die KI das Rauschen durchbrechen und die Wahrheit finden, selbst wenn die Wahrheit in einem chaotischen Stapel widersprüchlicher Papiere verborgen ist.

Technische Zusammenfassung: Dual-Confidence Contrastive Decoding für Retrieval-Augmented Generation

Problemstellung
Retrieval-Augmented Generation (RAG)-Systeme operieren zunehmend in Multi-Dokument-Szenarien, in denen das bereitgestellte Bündel an Beweisen widersprüchliche, veraltete, verrauschte oder irrelevante Informationen enthält. Während bestehende Contrastive Decoding (CD)-Methoden effektiv Konflikte zwischen dem internen parametrischen Gedächtnis eines Modells und dem abgerufenen Kontext lösen, scheitern sie weitgehend daran, Intra-Kontext-Konflikte zu adressieren. In der Multi-Dokument-RAG muss das Modell nicht nur das nächste Token auswählen, sondern auch die korrekte Evidenzquelle unter mehreren abgerufenen Dokumenten identifizieren, von denen einige widersprüchliche Behauptungen stützen können. Standardmäßige CD-Ansätze behandeln das gesamte Dokumentenbündel oft als einen einzigen Kontext, wodurch sie nicht zwischen Dokumenten unterscheiden können, die ausreichend sind, um eine Anfrage zu beantworten, und solchen, die dies nicht sind, noch berücksichtigen sie nicht die Konfidenz der Token-basierten Vorhersagen innerhalb spezifischer dokumenten-konditionierter Ströme.

Methodik: Dual-Confidence Contrastive Decoding (DCCD)
Die Autoren schlagen DCCD vor, eine trainingsfreie Decoding-Strategie, die darauf ausgelegt ist, Intra-Kontext-Konflikte durch die Integration zweier distinkter Konfidenzsignale zu lösen:

Dokument-basierte Konfidenz ( $q_i$ ): Diese Metrik schätzt, ob ein spezifisches abgerufenes Dokument $d_i$ über genügend Informationen verfügt, um die Anfrage $x$ zu beantworten. Sie wird über einen „Support-Probe“-Prompt berechnet, der das Modell eine binäre Ja/Nein-Frage stellt („Enthält dieses Dokument genügend Informationen, um die Frage zu beantworten?“). Der Score wird aus der Wahrscheinlichkeitsmasse der „Ja“-Verbalisierungs-Tokens im Verhältnis zu den „Nein“-Tokens abgeleitet. Dieser Score wird einmalig pro Frage-Dokument-Paar vor Beginn des Decodings berechnet.
Token-basierte Konfidenz ( $c_{i,t}$ ): Diese Metrik schätzt die Schärfe der Next-Token-Vorhersage des Modells, konditioniert auf ein spezifisches Dokument $d_i$ zum Zeitpunkt des Decoding-Schritts $t$ . Folgend dem Dirichlet-Unsicherheits-Framework bildet das Modell die Top- $k$ -Logits des dokumenten-konditionierten Stroms auf Dirichlet-Konzentrationsparameter ab. Die erwartete Entropie der induzierten kategorischen Verteilung wird berechnet und normalisiert; die Konfidenz ist definiert als $1 - \text{normalisierte Entropie}$ . Dieser Score wird bei jedem Decoding-Schritt neu berechnet.

Decoding-Mechanismus
Zum Zeitpunkt des Decoding-Schritts $t$ aggregiert DCCD diese Signale zu einem Dual-Confidence-Score $s_{i,t} = q_i + c_{i,t}$ . Die Methode wählt:

Einen positiven Strom ( $i^+_t$ ), der dem Dokument mit dem höchsten Dual-Confidence-Score entspricht.
Einen negativen Strom ( $i^-_t$ ), der dem Dokument mit dem niedrigsten Dual-Confidence-Score entspricht.

Der kontrastive Term $\epsilon_t$ wird dynamisch durch die Differenz (Margin) dieser Scores skaliert ( $\epsilon_t = s_{i^+_t,t} - s_{i^-_t,t}$ ). Die finale Logit-Verteilung $z_t$ wird berechnet, indem die Generierung im Vollkontext-Logit ( $z^{full}_t$ ) verankert und die skalierte Differenz zwischen den positiven und negativen dokumenten-konditionierten Logits hinzugefügt wird:
$z_t = z^{full}_t + \epsilon_t (z^{i^+_t}_t - z^{i^-_t}_t)$
Dieser Ansatz verstärkt die Evidenz aus der vertrauenswürdigsten Quelle, während widersprüchliche oder nicht unterstützte Alternativen unterdrückt werden, ohne dass ein Modell-Fine-Tuning erforderlich ist.

Benchmark: DRQA
Um dieses Szenario zu evaluieren, führen die Autoren DRQA (Deep Research Question Answering) ein, einen Benchmark für faktische Konflikte, der aus Enterprise-Deep-Research-Szenarien abgeleitet wurde. Im Gegensatz zu Standard-Benchmarks für Open-Domain-QA, die auf öffentlichem Wissen basieren, nutzt DRQA synthetische, unternehmensspezifische Fakten (z. B. interne Unternehmensmetriken, Benutzer-Personas), die nicht aus dem internen Gedächtnis des Modells rekonstruierbar sind. Jede Anfrage ist gepaart mit einem abgerufenen Bündel, das folgendes enthält:

Ein korrektes Dokument.
Fehlinformations-Dokumente (plausibel, aber faktisch falsch).
Temporale Dokumente (historisch korrekt, aber aktuell veraltet).
Rausch-Dokumente (thematisch relevant, aber nicht beantwortbar).

Dieses Design zwingt die Modelle dazu, sich vollständig auf Retrieval und Konfliktlösung zu verlassen, anstatt auf parametrisches Wissen.

Experimentelle Ergebnisse
Die Autoren evaluierten DCCD gegen das Standard-Vollkontext-Decoding sowie verschiedene Contrastive-Decoding-Baselines (CAD, ADACAD, DVD, COCOA) auf DRQA und Standard-Multi-Dokument-QA-Benchmarks (Natural Questions, TriviaQA, PopQA, RetrievalQA) unter Verwendung von Instruction-tuned Small Language Models (Qwen3.5-2B/9B, Phi-3-medium).

Performance: DCCD erzielte die beste durchschnittliche Performance in fast allen Settings. Die Gewinne waren am ausgeprägtesten auf DRQA, wo die Aufgabe darin besteht, interne Konflikte unter abgerufener Evidenz zu lösen.
Ablationsstudien: Das Entfernen der dokument-basierten Konfidenz verursachte die größte Performance-Degradation (z. B. ein Abfall von ~6,34 % auf DRQA @5), was zeigt, dass die Token-basierte Schärfe allein unzureichend ist, wenn irreführende Dokumente dennoch vertrauenswürdige lokale Vorhersagen liefern können. Umgekehrt war die Nutzung ausschließlich der dokument-basierten Konfidenz stabil, aber weniger effektiv, wenn die Anzahl der Distraktoren zunahm, was den komplementären Wert der Token-basierten Konfidenz verdeutlicht.
Effizienz: Obwohl DCCD höhere Inferenzkosten verursacht (aufgrund mehrerer Forward-Passes: ein Vollkontext-Strom plus $n$ dokumenten-konditionierte Ströme), ist der Overhead linear zur Anzahl der abgerufenen Dokumente und wird durch die Dokument-basierte Probe amortisiert.

Bedeutung und Ansprüche
Das Paper behauptet, dass DCCD die kritische Bedeutung einer quellenbewussten, konfidenzgesteuerten Dekodierung demonstriert, wenn die abgerufene Evidenz intern im Konflikt steht. Durch die explizite Unterscheidung zwischen der Suffizienz einer Quelle (Dokument-Ebene) und der Gewissheit der Generierung aus dieser Quelle (Token-Ebene) bietet DCCD einen robusten Mechanismus zur Lösung von Intra-Kontext-Konflikten ohne Training. Die Autoren positionieren DRQA als notwendigen Benchmark für die Evaluierung von RAG-Systemen in Enterprise-Umgebungen, in denen Fakten privat, heterogen und anfällig für Konflikte sind – eine Fähigkeit, die in bisherigen Arbeiten untererforscht blieb. Die Ergebnisse legen nahe, dass effektive Multi-Dokument-RAG nicht nur das Abrufen von Evidenz erfordert, sondern eine dynamische Steuerung der Generierung basierend auf der Zuverlässigkeit und Klarheit spezifischer Evidenzquellen.