Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

Technische Samenvatting: Het Mitigeren van Context-Geheugenconflicten in LLM's via Dynamische Cognitieve Reconciliatie Decoding

Probleemstelling
Grote Taalmodellen (LLM's) beschikken over uitgebreide parametrische kennis die tijdens het vooraf trainen is opgedaan, welke vaak in strijd is met externe informatie die in de context wordt geboden (bijvoorbeeld via Retrieval-Augmented Generation). Wanneer dergelijke "context-geheugenconflicten" optreden, neigen modellen ertoe om te vertrouwen op verouderde of onjuiste interne kennis, waardoor de betrouwbaarheid van de opgehaalde context wordt ondermijnd. Bestaande mitigeringsstrategieën, zoals Context-Aware Decoding (CAD), maken gebruik van statische contrastieve decoding om het verschil tussen outputverdelingen met en zonder context te versterken. Deze statische benaderingen lijden echter aan een kritieke tekortkoming: in conflictvrije scenario's introduceren ze onnodige interferentie in de outputverdeling, wat leidt tot prestatiedegradatie en cognitieve dissonantie. Bovendien worstelen andere dynamische methoden om complexe, realistische conflictscenario's effectief te modelleren.

Methodologie: Dynamische Cognitieve Reconciliatie Decoding (DCRD)
Het artikel introduceert DCRD, een tweestaps decodingraamwerk dat is ontworpen om context-geheugenconflicten te voorspellen en te mitigeren door inputs dynamisch te routeren naar geschikte decodingpaden. De methode is geïnspireerd op de theorie van cognitieve dissonantie, met als doel onnodige correctieve processen te vermijden wanneer informatie consistent is.

1. Conflictpredictie via Attention Maps:
   Voorafgaand aan de decoding analyseert DCRD de attention maps van het model om de "contextuele betrouwbaarheid" te beoordelen. Het berekent de verhouding van attention-gewichten die zijn toegewezen aan de context versus de outputsequentie over Transformer-lagen en attention-koppen. Een enkelvoudige Multi-Layer Perceptron (MLP)-classificator gebruikt deze geaggregeerde betrouwbaarheidsscores om te voorspellen of er een conflict bestaat (binair classificatie).

2. Dynamische Routing en Cognitieve Reconciliatie Decoding:
   Op basis van de conflictpredictie wordt de input naar een van twee paden gerouteerd:

   • Conflictvrije Inputs: Worden geleid naar standaard Greedy Decoding. Dit vermijdt de "over-interventie" die wordt gezien bij statische contrastieve methoden, en behoudt de natuurlijke prestaties van het model wanneer externe en interne kennis in overeenstemming zijn.
   • Conflicterende Inputs: Worden geleid naar Dynamische Contrastieve Decoding (DCD). Dit pad past de sterkte van de contrastieve decoding adaptief aan op basis van de voorspelde contextuele betrouwbaarheid. De aanpassingscoëfficiënt $\alpha_{adj}$ wordt dynamisch berekend als $\alpha \cdot \frac{1}{1 + \lambda \hat{s}}$, waarbij $\hat{s}$ de genormaliseerde contextbetrouwbaarheid voorstelt.
     • Hoge betrouwbaarheid (laag conflict) resulteert in verminderde interventie.
     • Lage betrouwbaarheid (hoog conflict) resulteert in verhoogde interventie, waarbij het verschil tussen de contextbewuste en contextvrije verdelingen wordt versterkt om het model te dwingen prioriteit te geven aan de externe context.

Belangrijkste Bijdragen

• DCRD Raamwerk: Een nieuwe tweestapsmethode die conflictpredictie integreert met dynamische routing. Het balanceert uniek de noodzaak van interventie in conflictscenario's terwijl het efficiëntie en nauwkeurigheid behoudt in niet-conflictscenario's.
• ConflictKG Benchmark: De auteurs hebben een nieuwe kennisconflict QA-benchmark geconstrueerd met 4.466 instanties (zowel conflicterende als niet-conflicterende) met bijbehorende kennisbronnen. In tegenstelling tot eerdere methoden die vertrouwen op entiteitvervanging, gebruikt ConflictKG LLM's om taalkundig coherente contexten te genereren met geldige semantische conflicten, waarmee realistische scenario's voor kennisupdate worden gesimuleerd.
• Uitgebreide Evaluatie: Uitgebreide experimenten zijn uitgevoerd op vier open-source LLM's (Llama2-7b/13b, Llama3-8b, Mistral-7b) over zes datasets, waaronder standaard QA (NQ, SQuAD, TriviaQA), kennisconflict QA (Counterfacts, NQ-Swap) en de nieuwe ConflictKG-benchmark.

Experimentele Resultaten

• Superieure Prestaties: DCRD presteerde beter dan alle baselines (Greedy, CAD, COIECD, ADACAD) over alle datasets en modellen.
  • Op ConflictKG bereikte DCRD een gemiddelde nauwkeurigheidsverbetering van 14,5% ten opzichte van Greedy decoding en 14,2% ten opzichte van CAD.
  • Op NQ-Swap (hoog-conflict) verbeterde DCRG Greedy decoding met tot 29,1% (op Llama2-13b).
  • Cruciaal, op Algemene QA-datasets (laag-conflict), behield DCRD de prestaties of verbeterde deze, terwijl statische methoden zoals CAD vaak de prestaties significant verslechterden (bijvoorbeeld: CAD daalde met gemiddeld 8,1% over modellen op laag-conflict taken).
• Robuustheid: DCRD toonde grotere stabiliteit dan baselines wanneer de verhouding van conflicten in de data varieerde of wanneer ruisachtige contexten werden geïntroduceerd. De prestaties varieerden minimaal in vergelijking met de significante dalingen die werden waargenomen bij COIECD en ADACAD.
• Efficiëntie: Hoewel DCRD door de predictiestap iets hogere inferentietijden kent dan statische methoden, is het aanzienlijk efficiënter dan COIECD (39% van de tijd van COIECD). De dynamische routing zorgt ervoor dat de computationally zwaardere contrastieve decoding alleen wordt toegepast wanneer dit noodzakelijk is.

Betekenis en Claims
Het artikel claimt dat DCRD een praktische oplossing biedt voor het probleem van "cognitieve dissonantie" in LLM's, waarbij statische correctiemechanismen de prestaties schaden in niet-conflictscenario's. Door een cognitief reconciliatieproces na te bootsen—selectief focussen op context alleen wanneer dit noodzakelijk is—bereikt DCRD state-of-the-art prestaties in zowel hoog-conflict als algemene scenario's. De auteurs stellen dat hun benadering kennisconflicten effectief mitigeert zonder aanvullende fine-tuning of complexe prompt-engineering, en zo een schaalbare methode biedt voor het behoud van factualiteit in dynamische omgevingen waar kennis zich snel ontwikkelt. De introductie van ConflictKG wordt ook benadrukt als een belangrijke stap naar een realistischere evaluatie van de oplossing van context-geheugenconflicten.