Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation

Probleemstelling: De Integratie- bottleneck

Hoewel Retrieval-Augmented Generation (RAG) grote prestatieverbeteringen biedt voor Large Language Models (LLM's) door toegang te geven tot externe kennis, lijden bestaande methoden onder een fundamenteel probleem: de integratie-bottleneck.

Zelfs wanneer relevante documenten worden opgehaald, falen LLM's vaak om deze effectief te gebruiken vanwege een conflict tussen hun parametrische kennis (inheemse, tijdens training geleerde kennis) en niet-parametrische kennis (de opgehaalde documenten). Dit leidt tot twee faalmodi:

1. Parametrische Overschrijving: Het model negeert gedetailleerde informatie uit de opgehaalde documenten ten gunste van zijn eigen generalisaties of hallucinaties.
2. Losgekoppelde Integratie: Externe feiten worden onhandig in de tekst geplakt, wat de logische samenhang en de vloeiendheid van het antwoord verstoort.

De auteurs stellen dat het impliciet oplossen van dit conflict in één generatiepass suboptimaal is en dat een expliciete scheiding van redenering en feitelijke integratie noodzakelijk is.

Methodologie: Het GUARANTRAG Framework

Het voorgestelde framework, GUARANTRAG, transformeert kennisintegratie van een "black box" proces naar een expliciete, meerstaps-pijplijn. Het bestaat uit drie fasen:

1. Kennisbeslissing (Knowledge Decision)

Een lichtgewicht estimator bepaalt of externe opslag (retrieval) nodig is voor een specifieke query, gebaseerd op temporaliteit en feitelijke specificiteit. Dit optimaliseert de computationele efficiëntie.

2. Dual-Path Generatie (Twee Paden)

In plaats van één antwoord te genereren, produceert het systeem twee gescheiden tussenresultaten:

• Inner-Answer (Parametrisch): Genereerd door het basismodel op basis van alleen interne kennis. Dit pad behoudt de superieure redeneerstructuur, linguïstische vloeiendheid en instructievolging van het model, maar kan feitelijke onnauwkeurigheden bevatten.
• Refer-Answer (Niet-parametrisch): Genereerd door een gespecialiseerd "Evidence Model" dat strikt gericht is op het extraheren van bewijs uit de opgehaalde documenten.

Kerninnovatie: Contrastieve DPO Training
Om te garanderen dat het Refer-Answer trouw is aan de externe documenten en niet beïnvloed wordt door interne hallucinaties, wordt Direct Preference Optimization (DPO) gebruikt met een uniek doel:

• Chosen (Gekozen): De inhoud van de opgehaalde documenten.
• Rejected (Verworpen): Het eigen "Inner-Answer" van het model (zelfs als dit soms correct is, fungeert het als negatieve constraint om het model te dwingen externe bronnen te prioriteren bij conflicten).
• Auxiliary Losses: Er worden extra straffen toegevoegd voor lengte-afwijkingen (om te zorgen dat het Refer-Answer niet te lang wordt t.o.v. het Inner-Answer) en feitelijke relevantie (cosinus-ähnelijkheid met de query).

3. Joint Decoding met Dynamische Fusie

In plaats van de twee antwoorden simpelweg te plakken (wat leidt tot redundantie of contextverlies), gebruikt GUARANTRAG een Joint Decoding mechanisme op token-niveau:

• Semantische Segmentatie: Het Refer-Answer wordt opgesplitst in discrete, atomaire semantische segmenten (geen zinnen of tokens, maar logische feitelijke eenheden).
• Token-niveau Fusie: Tijdens het genereren van het definitieve antwoord, gebruikt het model de "skeletstructuur" van het Inner-Answer voor logische samenhang. Zodra een semantische divergentie wordt gedetecteerd, wordt de verborgen toestand van het model "zacht" beïnvloed door het meest relevante feitelijke segment uit het Refer-Answer.
• Dit zorgt voor een dynamische sturing: het model volgt zijn eigen redeneringsflow maar wordt gedwongen feitelijke tokens te gebruiken die overeenkomen met de externe bewijslast.

Belangrijkste Bijdragen

1. Expliciete Ontkoppeling: Identificatie van het conflict tussen parametrische en niet-parametrische kennis als de hoofdoorzaak van RAG-falen, met een oplossing die deze bronnen expliciet ontkoppelt en vervolgens fuseert.
2. Contrastieve DPO: Een trainingsstrategie die het eigen "Inner-Answer" gebruikt als negatieve constraint om hallucinaties te onderdrukken en de model te dwingen externe bewijslast te vertrouwen.
3. Joint Decoding Mechanisme: Een innovatieve fusietechniek die de logische coherentie van het LLM combineert met de feitelijke precisie van externe documenten op token-niveau, wat superieur is aan naieve concatenatie.

Resultaten

Experimenten op vijf QA-benchmarks (Natural Questions, TruthfulQA, Wizard of Wikipedia, HotpotQA, ELI5) tonen aan dat GUARANTRAG aanzienlijk beter presteert dan state-of-the-art baselines (zoals SelfRAG, P-RAG, SOLAR):

• Nauwkeurigheid: Tot 12,1% verbetering in antwoordnauwkeurigheid.
• Hallucinaties: Een reductie van 16,3% in hallucinatieratio.
• Robuustheid: De methode behoudt hoge prestaties zelfs bij ruis in de opgehaalde documenten (tot 50% irrelevante documenten) en bij complexe meerstaps-redeneringstaken.
• Coherentie: In tegenstelling tot veel RAG-methoden die de leesbaarheid verstoren, behoudt GUARANTRAG een hoge structuurcoherentie (vergelijkbaar met modellen zonder RAG).

Significantie

GUARANTRAG biedt een principieel nieuwe aanpak voor het oplossen van het fundamentele compromis tussen feitelijke nauwkeurigheid en responscoherentie in RAG-systemen. Door de redenering en feitelijke integratie te scheiden en ze vervolgens op een gecontroleerde manier te fusioneren, overwint het de beperkingen van bestaande methoden die proberen beide taken tegelijkertijd in één generatiestap te doen. Dit maakt het een krachtige oplossing voor kennisintensieve toepassingen waar zowel logica als feitelijke juistheid cruciaal zijn.