Sintesi Tecnica: Diagnostica del comportamento di arbitraggio degli LLM su stati epistemici pre-evidenza in sistemi RAG per il fact-checking

1. Definizione del Problema

Nel fact-checking basato su Retrieval-Augmented Generation (RAG), i Large Language Models (LLM) agiscono come verificatori che devono conciliare la propria conoscenza parametrica interna con l'evidenza esterna recuperata. Una sfida critica e sottesplorata sorge quando queste due fonti sono in disaccordo, una condizione definita Discrepanza tra Prior e Contesto (PCD - Prior-Context Discrepancy). Ciò accade quando l'evidenza recuperata è rumorosa, temporalmente obsoleta o controfattuale, entrando in conflitto con le credenze preesistenti del modello.

Gli attuali framework di valutazione misurano principalmente l'accuratezza del verdetto finale su coppie di evidenze "gold-standard" pulite. Di conseguenza, essi non riescono a:

1. Caratterizzare lo stato epistemico pre-evidenza del verificatore (ovvero se il modello è correttamente convinto, erroneamente convinto, incerto ma corretto, o incerto e errato).
2. Misurare come i verificatori arbitrano tra segnali contrastanti (ad esempio, se persistono ostinatamente in un prior errato o se si aggiornano correttamente sulla base di un'evidenza accurata).
3. Distinguere tra diversi tipi di fallimento, come un modello che è erroneamente convinto rispetto a uno che è incerto.

2. Metodologia: Framework PAVE

Gli autori introducono PAVE (Prior-Aware Verifier Evaluation), un banco di prova diagnostico progettato per stratificare il comportamento degli LLM in base agli stati epistemici e misurare la dinamica di arbitraggio sotto PCD.

A. Caratterizzazione dello Stato Epistemico (Knowledge Boundary)

PAVE definisce lo stato pre-evidenza di un verificatore utilizzando un framework di Confine della Conoscenza (KB - Knowledge Boundary), operazionalizzato lungo due assi:

1. Correttezza Fattuale: La previsione del modello basata solo sul prior corrisponde alla verità fondamentale (ground truth)?
2. Confidenza Parametrica: La previsione del modello è coerente attraverso ripetute generazioni stocastiche? (Alta coerenza = "KNOWN"; Bassa coerenza = "UNKNOWN").

Ciò produce quattro distinti stati epistemici:

• Known-Knows (KK): Convincente e Corretto.
• Known-Unknows (KU): Convincente ma Errato.
• Unknown-Knows (UK): Incerto ma Corretto.
• Unknown-Unknows (UU): Incerto ed Errato.

B. Costruzione del Benchmark

Gli autori hanno costruito un benchmark PCD di oltre 7.000 affermazioni attraverso due dimensioni:

1. Setting Controfattuale: Utilizza trasformazioni controllate (sostituzione di entità, negazione semantica) sull'evidenza gold per creare un contesto fuorviante. Questo testa la Persistenza (resistere a evidenze fuorvianti quando il prior è corretto) e la Correzione (aggiornarsi partendo da un'evidenza accurata quando il prior è errato).
2. Setting Temporale: Utilizza affermazioni su eventi avvenuti dopo il cutoff di addestramento del modello. Questo testa l'Acquisizione (aggiornarsi da un'evidenza nuova quando il prior è obsoleto o mancante).

C. Metriche di Valutazione

PAVE introduce metriche condizionate allo stato per quantificare il comportamento di arbitraggio:

• Tasso di Correzione (CR - Correction Rate): La capacità di rettificare errori iniziali quando viene fornita un'evidenza corretta (misurato su $D_{wrong}$).
• Tasso di Persistenza (PR - Persistence Rate): La capacità di mantenere previsioni corrette quando esposte a un contesto controfattuale fuorviante (misurato su $D_{correct}$).
• Margine (Margin): Una metrica differenziale definita come $CR + PR - 1$. Un margine positivo indica che il modello è più propenso a essere corretto da un'evidenza accurata piuttosto che essere tratto in inganno da un contesto inaccurato.
• Odds di Influenza (OI - Odds of Influence): Misura l'elasticità relativa della confidenza di un modello, confrontando le probabilità di cambiare una risposta rispetto al mantenere l'originale sotto diversi stati epistemici.

D. Metodo di Arbitraggio al Test-Time

Sulla base delle scoperte di PAVE, gli autori propongono un metodo di arbitraggio leggero e senza addestramento (training-free) utilizzando la Divergenza di Jensen-Shannon (JSD):

• Il metodo campiona $K$ previsioni per un'affermazione in due condizioni: con evidenza esterna ($p_{ext}$) e senza ($p_{par}$).
• Calcola la stabilità (coerenza) di queste previsioni utilizzando la JSD.
• Regola Decisionale: Se la differenza di JSD ($\Delta = JSD_{par} - JSD_{ext}$) scende al di sotto di una soglia calibrata $\tau$, il modello si fida del proprio prior interno; altrimenti, si fida dell'evidenza esterna. Ciò consente al sistema di selezionare dinamicamente la fonte più affidabile senza riaddestramento.

3. Risultati Chiave

Gli autori hanno valutato sette LLM (da 7B a 617B di parametri, inclusi GPT-4o-mini, Llama3, Deepseek-v3, ecc.) utilizzando il framework PAVE.

• Stati Epistemici Eterogenei: I modelli mostrano una variazione significativa nei loro profili di confidenza interna. Ad esempio, Mistral-7B e Phi-4 mostrano un'alta incertezza (molti stati "UNKNOWN"), mentre altri sono altamente convinti.
• Accuratezza del Prior $\neq$ Arbitraggio Robusto: Un'alta accuratezza del solo prior non garantisce robustezza sotto PCD. Ad esempio, Qwen3-32B aveva un alto prior-only accuracy ma ha subito un calo massiccio delle prestazioni (43.02 punti) sotto PCD, mentre Deepseek-v3 ha mostrato un calo molto più contenuto (19.11 punti) e un Margine positivo (+0.235).
• La Selezione del Modello è Critica: Modelli come Deepseek-v3 e Gemini-2.5-flash dimostrano un equilibrio desiderabile (alta persistenza quando corretti, alta correzione quando errati). Al contrario, modelli come Llama3-8B e Mistral-7B sono "testardi", favorendo frequentemente prior interni errati rispetto ad accurate evidenze esterne.
• Effetti di Scaling: I modelli più grandi (es. Llama3-70B) dimostrano una migliore calibrazione dell'arbitraggio, ottenendo Margini più elevati rispetto alle varianti più piccole (1B, 3B), suggerendo che lo scaling migliori la capacità di risolvere le discrepanze.
• Pattern di Assorbimento dell'Evidenza:
  • Temporale vs Controfattuale: I modelli sono generalmente più ricettivi nell'acquisire nuova conoscenza (setting temporale) rispetto alla revisione di credenze errate (setting controfattuale).
  • Bias di Etichetta: I modelli mostrano una maggiore confidenza interna nel confutare affermazioni false rispetto alla conferma di quelle vere.
• Performance del Metodo di Arbitraggio: Il metodo proposto basato su JSD ha ottenuto l'accuratezza complessiva migliore o competitiva in 5 delle 6 famiglie di LLM valutate. È stato particolarmente efficace per i modelli più piccoli (es. Mistral-7B), superando il secondo miglior baseline di 6.58 punti assoluti. Il metodo rimane efficace anche con un basso budget computazionale ($K=3$ esecuzioni).

4. Significato e Contributi

Il paper rivendica quattro contributi primari:

1. Formulazione: Riformula il fact-checking degli LLM sotto PCD come un problema di arbitraggio condizionato dall'epistemica, spostando il focus della valutazione dall'accuratezza del verdetto finale alla dinamica di bilanciamento tra prior interni ed evidenza esterna.
2. Banco di Prova Diagnostico (PAVE): Introduce un framework che include un benchmark controllato per indurre PCD, una stratificazione KB per gli stati pre-evidenza e metriche condizionate allo stato (CR, PR, Margin, OI) per diagnosticare specifici comportamenti di arbitraggio.
3. Valutazione Sistematica: Fornisce un'analisi completa di sette LLM, rivelando distinti profili di arbitraggio e offrendo una guida pratica per la selezione dei modelli in sistemi RAG.
4. Intervento Pratico: Propone un metodo di arbitraggio al test-time, leggero e basato su JSD, che migliora l'affidabilità fattuale senza modificare il modello sottostante, dimostrando che i segnali diagnostici possono essere operazionalizzati per un deployment immediato.

Gli autori sottolineano che il loro lavoro evidenzia i limiti delle metriche di accuratezza standard e la necessità di comprendere come un modello raggiunge un verdetto, specialmente quando le fonti sono in conflitto. Riconoscono i limiti relativi all'ambito (fact-checking binario, esclusione di scenari in cui "entrambe le fonti sono errate") e il potenziale di artefatti di generazione nella costruzione controfattuale, ma affermano che i risultati principali riguardanti i profili di arbitraggio rimangono stabili attraverso le configurazioni.