💻 computer science

Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

Dit artikel introduceert Dual-Confidence Contrastive Decoding (DCCD), een methode die geen training vereist en intra-contextuele conflicten in multi-document retrieval-augmented generation oplost door gebruik te maken van documentniveau- en tokenniveau-vertrouwenssignalen, en valideert de effectiviteit ervan op de nieuwe DRQA-benchmark en standaard QA-datasets.

Oorspronkelijke auteurs: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een stapel van vijf verschillende getuigenverklaringen (de "opgehaalde documenten") over wat er is gebeurd.

Getuige A spreekt de waarheid.
Getuige B liegt, maar klinkt zeer overtuigend.
Getuige C spreekt de waarheid, maar het gaat over wat er vorig jaar is gebeurd, niet over vandaag.
Getuige D praat over een totaal andere misdaad.
Getuige E is gewoon aan het rondbabbelen en geeft onzin uit.

Het is jouw taak om een eindrapport te schrijven op basis van alleen deze verklaringen. Het probleem is dat jouw brein (de AI-model) ook een eigen "geheugen" heeft van soortgelijke zaken uit het verleden. Soms wil je brein de getuigen negeren en gewoon gokken op basis van wat je al weet. Soms, zelfs als je naar de getuigen luistert, kun je in de war raken omdat ze elkaar tegenspreken.

Dit artikel introduceert een nieuwe manier voor de detective (de AI) om door deze rommelige stap bewijsmateriaal te waden zonder dat hij opnieuw naar school hoeft te gaan (het model opnieuw trainen). Ze noemen het Dual-Confidence Contrastive Decoding (DCCD).

Zo werkt het, onderverdeeld in eenvoudige delen:

1. De Nieuwe "Mysterie" Test: DRQA

Eerst realiseerden de auteurs zich dat bestaande tests voor AI niet moeilijk genoeg waren. De meeste tests gebruiken publieke feiten (zoals "Wie is de president?") die de AI misschien al kent.

Daarom hebben ze een nieuwe test gemaakt genaamd DRQA (Deep Research Question Answering).

De Analogie: Stel je voor dat de AI een nieuwe werknemer is bij een geheim bedrijf. De vragen gaan over interne bedrijfsgeheimen (zoals "Hoeveel hebben we het afgelopen kwartaal aan koffiebonen bespaard?"). De AI heeft deze informatie nog nooit gezien.
De Valstrik: De AI krijgt een map met documenten. Eén document bevat het juiste antwoord. De andere bevatten valse antwoorden, oude antwoorden of onzin. De AI moet het juiste document vinden om de vraag te beantwoorden. Als de AI gokt op basis van zijn eigen geheugen, zal hij falen omdat het antwoord niet in zijn geheugen bestaat.

2. De Oplossing: Het "Dubbelcheck"-Systeem (DCCD)

De auteurs stellen een methode voor die geen her-training van de AI vereist. In plaats daarvan verandert het de manier waarop de AI "denkt" terwijl hij zijn antwoord schrijft, woord voor woord.

Ze gebruiken twee soorten "vertrouwen"-controles, zoals een detective die twee verschillende hulpmiddelen gebruikt:

Hulpmiddel A: Document-niveau Vertrouwen (De "Is dit bestand nuttig?" Check)

Voordat de AI begint met schrijven, kijkt hij naar elk document in de map en vraagt: "Bevat dit specifieke document daadwerkelijk genoeg informatie om de vraag te beantwoorden?"

Analogie: Het is alsof je controleert of een getuige überhaupt over de juiste misdaad praat. Als het document over "koffiebonen" gaat maar de vraag gaat over "serverstoringen", is de vertrouwensscore laag. Als het document lijkt te bevatten dat het antwoord heeft, is de score hoog.

Hulpmiddel B: Token-niveau Vertrouwen (De "Weet ik het zeker over het volgende woord?" Check)

Terwijl de AI het antwoord begint te schrijven, kijkt hij naar het huidige document dat hij gebruikt en vraagt: "Als ik dit document blijf gebruiken, ben ik dan zeker over het heel volgende woord dat ik ga typen?"

Analogie: Stel je voor dat je een getuigenverklaring leest. Als de verklaring duidelijk is, kun je het volgende woord gemakkelijk voorspellen ("De verdachte rende..."). Als de verklaring verwarrend of tegenstrijdig is, kun je aarzelen ("De verdachte rende... of liep misschien..."). Dit hulpmiddel meet die aarzeling.

3. De Magische Zet: De "Contrast"

Hier komt het slimme deel. De AI kiest niet zomaar het "beste" document. Hij speelt een spel van touwtrekken:

Het vindt het document dat het hoogst scoort op beide controles (De "Goede Getuige").
Het vindt het document dat het laagst scoort op beide controles (De "Slechte Getuige" of de leugenaar).
Het berekent het verschil (de marge) tussen de Goede Getuige en de Slechte Getuige.
De Beslissing: Het neemt de huidige gok en duwt deze sterk richting de Goede Getuige en trekt deze weg van de Slechte Getuige. Hoe groter het gat tussen de goede en de slechte documenten, hoe harder het duwt.

In eenvoudige termen: De AI zegt: "Ik weet voor 90% zeker dat Document A juist is, en ik weet voor 10% zeker dat Document B fout is. Dus ik ga Document B negeren en vol inzetten op Document A."

4. Waarom dit ertoe doet

Het artikel laat zien dat wanneer de AI geconfronteerd wordt met een stapel tegenstrijdige, ruisende of verouderde documenten (zoals in hun nieuwe DRQA-test), deze "Dubbelcheck"-methode veel beter werkt dan eerdere methoden.

Oude methoden raakten vaak in de war door de leugenaars of de verouderde informatie en gokten maar wat.
DCCD slaagt erin de "Goede Getuige" te identificeren en de "Slechte Getuige" te negeren, zelfs wanneer de Slechte Getuige erg overtuigend klinkt.

Samenvatting

Het artikel gaat over het leren van een AI om een betere detective te zijn wanneer hij moet kiezen tussen een stapel tegenstrijdige bewijzen. In plaats van simpelweg te gokken of blindelings alles te vertrouwen wat hij leest, gebruikt de AI een tweestaps vertrouwenscheck:

Is deze bron nuttig? (Document-niveau)
Zorgt deze bron ervoor dat ik zeker ben over het volgende woord? (Token-niveau)

Door de "beste" bron te vergelijken met de "slechtste" bron en het verschil te vergroten, kan de AI door de ruis heen snijden en de waarheid vinden, zelfs wanneer de waarheid verborgen ligt in een rommelige stapel tegenstrijdige papieren.

Technische Samenvatting: Dual-Confidence Contrastive Decoding voor Retrieval-Augmented Generation

Probleemstelling
Retrieval-Augmented Generation (RAG)-systemen opereren steeds vaker in multi-document omgevingen waarin het verzamelde bewijsmateriaal een bundel bevat van conflicterende, verouderde, ruisachtige of irrelevante informatie. Terwijl bestaande contrastieve decoding (CD)-methoden effectief conflicten oplossen tussen de interne parametrische geheugen van een model en de opgehaalde context, falen ze grotendeels in het adresseren van intra-context conflicten. In multi-document RAG moet het model niet alleen het volgende token kiezen, maar ook de juiste informatiebron selecteren tussen meerdere opgehaalde documenten, waarvan sommige tegenstrijdige claims ondersteunen. Standaard CD-benaderingen behandelen de verzamelde bundel vaak als één enkele context, waardoor ze er niet in slagen onderscheid te maken tussen documenten die voldoende zijn om een vraag te beantwoorden en documenten die dat niet zijn, noch houden ze rekening met de betrouwbaarheid van token-niveau voorspellingen binnen specifieke document-geconditioneerde stromen.

Methodologie: Dual-Confidence Contrastive Decoding (DCCD)
De auteurs stellen DCCD voor, een training-vrije decoding-strategie die is ontworpen om intra-context conflicten op te lossen door twee onderscheidende betrouwbaarheidssignalen te integreren:

Document-niveau Betrouwbaarheid ( $q_i$ ): Deze metriek schat in of een specifiek opgehaald document $d_i$ voldoende informatie bevat om de vraag $x$ te beantwoorden. Dit wordt berekend via een "support probe" prompt die het model een binaire ja/nee vraag stelt ("Bevat dit document voldoende informatie om de vraag te beantwoorden?"). De score wordt afgeleid van de waarschijnlijkheidsmassa van "ja" verbalizer-tokens ten opzichte van "nee" tokens. Deze score wordt één keer per vraag-document-paar berekend voordat de decoding begint.
Token-niveau Betrouwbaarheid ( $c_{i,t}$ ): Deze metriek schat de scherpte in van de next-token voorspelling van het model, geconditioneerd op een specifiek document $d_i$ tijdens de decoding stap $t$ . Volgens het Dirichlet onzekerheidskader mapt het model de top- $k$ logits van de document-geconditioneerde stroom naar Dirichlet concentratieparameters. De verwachte entropie van de geïnduceerde categorische distributie wordt berekend en genormaliseerd; betrouwbaarheid wordt gedefinieerd als $1 - \text{genormaliseerde entropie}$ . Deze score wordt bij elke decoding stap opnieuw berekend.

Decoding Mechanisme
Bij elke decoding stap $t$ aggregeert DCCD deze signalen in een dual-confidence score $s_{i,t} = q_i + c_{i,t}$ . De methode selecteert:

Een positieve stroom ( $i^+_t$ ) die overeenkomt met het document met de hoogste dual-confidence score.
Een negatieve stroom ( $i^-_t$ ) die overeenkomt met het document met de laagste dual-confidence score.

De contrastieve term $\epsilon_t$ wordt dynamisch geschaald door de marge tussen deze scores ( $\epsilon_t = s_{i^+_t,t} - s_{i^-_t,t}$ ). De uiteindelijke logit-distributie $z_t$ wordt berekend door de generatie te verankeren in de full-context logits ( $z^{full}_t$ ) en het geschaalde verschil tussen de positieve en negatieve document-geconditioneerde logits toe te voegen:
$z_t = z^{full}_t + \epsilon_t (z^{i^+_t}_t - z^{i^-_t}_t)$
Deze aanpak versterkt bewijs uit de meest betrouwbare bron terwijl conflicterende of niet-ondersteunde alternatieven worden onderdrukt, zonder dat hiervoor model fine-tuning vereist is.

Benchmark: DRQA
Om deze setting te evalueren, introduceren de auteurs DRQA (Deep Research Question Answering), een benchmark voor feitelijke conflicten afgeleid van enterprise deep-research scenario's. In tegen tegenstelling tot standaard open-domain QA benchmarks die vertrouwen op publieke kennis, maakt DRQA gebruik van synthetische, enterprise-specifieke feiten (bijv. interne bedrijfsstatistieken, gebruikerspersona's) die niet herstelbaar zijn uit het interne geheugen van het model. Elke query is gekoppeld aan een opgehaalde bundel met:

Eén correct document.
Misinformatie documenten (plausibel maar feitelijk onjuist).
Temporele documenten (historisch accuraat maar momenteel verouderd).
Ruis documenten (topisch relevant maar onbeantwoordbaar).

Dit ontwerp dwingt modellen om volledig te vertrouwen op retrieval en conflictresolutie in plaats van op parametrische kennis.

Experimentele Resultaten
De auteurs evalueerden DCCD tegenover standaard full-context decoding en diverse contrastieve decoding baselines (CAD, ADACAD, DVD, COCOA) over DRQA en standaard multi-document QA benchmarks (Natural Questions, TriviaQA, PopQA, RetrievalQA) met instruction-tuned Small Language Models (Qwen3.5-2B/9B, Phi-3-medium).

Prestaties: DCCD behaalde de beste gemiddelde prestaties over bijna alle settings. De winst was het meest uitgesproken op DRQA, waar de taak vereist om interne conflicten tussen opgehaalde bewijsstukken op te lossen.
Ablatie-studies: Het verwijderen van document-niveau betrouwbaarheid veroorzaakte de grootste prestatiedegradatie (bijv. een daling van ~6,34% op DRQA @5), wat aangeeft dat token-niveau scherpte alleen onvoldoende is wanneer misleidende documenten nog steeds zelfverzekerde lokale voorspellingen kunnen genereren. Omgekeeld was het gebruik van enkel document-niveau betrouwbaarheid stabiel maar minder effectief naarmate het aantal distractoren toenam, wat de complementaire waarde van token-niveau betrouwbaarheid benadrukt.
Efficiëntie: Hoewel DCCD hogere inferentiekosten met zich meebrengt vanwege meerdere forward passes (één full-context stroom plus $n$ document-geconditioneerde stromen), is de overhead lineair met het aantal opgehaalde documenten en wordt deze geamortiseerd door de document-niveau probe.

Betekenis en Claims
Het artikel claimt dat DCCD het cruciale belang aantoont van source-aware, confidence-gated decoding wanneer opgehaald bewijsmateriaal intern conflicterend is. Door expliciet onderscheid te maken tussen de voldoendeheid van een bron (document-niveau) en de zekerheid van generatie vanuit die bron (token-niveau), biedt DCCD een robuust mechanisme om intra-context conflicten op te lossen zonder training. De auteurs positioneren DRQA als een noodzakelijke benchmark voor het evalueren van RAG-systemen in enterprise-omgevingen waar feiten privé, heterogeen en gevoelig voor conflict zijn—een capaciteit die in eerder werk onderbelicht is gebleven. De resultaten suggereren dat effectieve multi-document RAG niet alleen vereist dat er bewijs wordt opgehaald, maar dat de generatie dynamisch wordt afgestemd op basis van de betrouwbaarheid en helderheid van specifieke bewijsmiddelen.