Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

Sintesi Tecnica: Mitigazione dei Conflitti Contesto-Memoria negli LLM attraverso la Decodifica di Riconciliazione Cognitiva Dinamica

Dichiarazione del Problema
I Large Language Models (LLM) possiedono un'estesa conoscenza parametrica acquisita durante il pre-addestramento, che spesso entra in conflitto con le informazioni esterne fornite nel contesto (ad esempio, tramite Generazione Aumentata dal Recupero). Quando si verificano tali "conflitti contesto-memoria", i modelli tendono a fare affidamento su conoscenze interne obsolete o errate, minando la fedeltà del contesto recuperato. Le strategie di mitigazione esistenti, come la Decodifica Consapevole del Contesto (CAD), impiegano una decodifica contrastiva statica per amplificare la differenza tra le distribuzioni di output con e senza contesto. Tuttavia, questi approcci statici soffrono di un difetto critico: in scenari privi di conflitti, introducono un'interferenza non necessaria alla distribuzione di output, portando a un degrado delle prestazioni e a dissonanza cognitiva. Inoltre, altri metodi dinamici faticano a modellare efficacemente scenari di conflitto complessi e reali.

Metodologia: Decodifica di Riconciliazione Cognitiva Dinamica (DCRD)
Il documento propone la DCRD, un framework di decodifica a due stadi progettato per prevedere e mitigare i conflitti contesto-memoria instradando dinamicamente gli input verso percorsi di decodifica appropriati. Il metodo è ispirato alla teoria della dissonanza cognitiva, mirando a evitare processi correttivi non necessari quando le informazioni sono coerenti.

1. Previsione del Conflitto tramite Mappe di Attenzione:
   Prima della decodifica, la DCRD analizza le mappe di attenzione del modello per valutare la "fedeltà contestuale". Calcola il rapporto tra i pesi di attenzione allocati al contesto rispetto alla sequenza di output attraverso i livelli Transformer e le teste di attenzione. Un classificatore Multi-Layer Perceptron (MLP) a singolo strato utilizza questi punteggi di fedeltà aggregati per prevedere se esiste un conflitto (classificazione binaria).

2. Instradamento Dinamico e Decodifica di Riconciliazione Cognitiva:
   In base alla previsione del conflitto, l'input viene instradato a uno dei due percorsi:

   • Input Privi di Conflitto: Instradati alla Decodifica Greedy standard. Questo evita la "sovra-intervenzione" osservata nei metodi contrastivi statici, preservando le prestazioni naturali del modello quando la conoscenza esterna e interna sono allineate.
   • Input in Conflitto: Instradati alla Decodifica Contrastiva Dinamica (DCD). Questo percorso adatta dinamicamente la forza della decodifica contrastiva in base alla fedeltà contestuale prevista. Il coefficiente di aggiustamento $\alpha_{adj}$ è calcolato dinamicamente come $\alpha \cdot \frac{1}{1 + \lambda \hat{s}}$, dove $\hat{s}$ rappresenta la fedeltà contestuale normalizzata.
     • Un'alta fedeltà (basso conflitto) comporta un'intervento ridotto.
     • Una bassa fedeltà (alto conflitto) comporta un intervento aumentato, amplificando la differenza tra le distribuzioni consapevoli del contesto e quelle prive di contesto per costringere il modello a dare priorità al contesto esterno.

Contributi Chiave

• Framework DCRD: Un metodo innovativo a due stadi che integra la previsione del conflitto con l'instradamento dinamico. Bilancia in modo unico la necessità di intervento negli scenari di conflitto mantenendo al contempo efficienza e accuratezza negli scenari privi di conflitto.
• Benchmark ConflictKG: Gli autori hanno costruito un nuovo benchmark di domande e risposte (QA) sui conflitti di conoscenza contenente 4.466 istanze (sia conflittuali che non conflittuali) con relative fonti di conoscenza. A differenza dei metodi precedenti basati sulla sostituzione di entità, ConflictKG utilizza gli LLM per generare contesti linguisticamente coerenti con conflitti semantici validi, simulando scenari reali di aggiornamento della conoscenza.
• Valutazione Completa: Sono stati condotti esperimenti estensivi su quattro LLM open-source (Llama2-7b/13b, Llama3-8b, Mistral-7b) su sei dataset, inclusi QA standard (NQ, SQuAD, TriviaQA), QA su conflitti di conoscenza (Counterfacts, NQ-Swap) e il nuovo benchmark ConflictKG.

Risultati Sperimentali

• Prestazioni Superiori: La DCRD ha superato tutti i baseline (Greedy, CAD, COIECD, ADACAD) su tutti i dataset e modelli.
  • Su ConflictKG, la DCRD ha ottenuto un miglioramento medio dell'accuratezza del 14,5% rispetto alla decodifica Greedy e del 14,2% rispetto alla CAD.
  • Su NQ-Swap (alto conflitto), la DCRD ha migliorato la decodifica Greedy fino al 29,1% (su Llama2-13b).
  • Crucialmente, su dataset di QA generali (basso conflitto), la DCRD ha mantenuto o migliorato le prestazioni, mentre i metodi statici come CAD hanno spesso degradato significativamente le prestazioni (ad esempio, la CAD è scesa di una media dell'8,1% tra i modelli su compiti a basso conflitto).
• Robustezza: La DCRD ha dimostrato una maggiore stabilità rispetto ai baseline quando la proporzione di conflitti nei dati variava o quando venivano introdotti contesti rumorosi. Le sue prestazioni hanno fluttuato minimamente rispetto ai significativi cali osservati in COIECD e ADACAD.
• Efficienza: Sebbene la DCRD comporti un tempo di inferenza leggermente superiore rispetto ai metodi statici a causa dello step di previsione, è significativamente più efficiente di COIECD (il 39% del tempo di COIECD). L'instradamento dinamico garantisce che la decodifica contrastiva computazionalmente più pesante venga applicata solo quando necessario.

Significato e Affermazioni
Il documento afferma che la DCRD offre una soluzione pratica al problema della "dissonanza cognitiva" negli LLM, dove i meccanismi di correzione statici danneggiano le prestazioni negli scenari privi di conflitto. Mimando un processo di riconciliazione cognitiva – concentrandosi selettivamente sul contesto solo quando necessario – la DCRD raggiunge prestazioni all'avanguardia sia negli scenari ad alto conflitto che in quelli generali. Gli autori affermano che il loro approccio mitiga efficacemente i conflitti di conoscenza senza richiedere ulteriore fine-tuning o ingegneria complessa dei prompt, fornendo un metodo scalabile per mantenere la fattualità in ambienti dinamici dove la conoscenza evolve rapidamente. L'introduzione di ConflictKG è inoltre evidenziata come un passo significativo verso una valutazione più realistica della risoluzione dei conflitti contesto-memoria.