Explaining Sources of Uncertainty in Automated Fact-Checking

1. Enunciato del Problema

Il fact-checking automatizzato basato su Large Language Models (LLM) comporta spesso un ragionamento su più documenti in cui le prove possono essere in conflitto o in accordo. Sebbene gli LLM possano prevedere verdetto (Supporta, Confuta, Neutro), i metodi attuali di Intelligenza Artificiale Spiegabile (XAI) non riescono a comunicare adeguatamente l'incertezza del modello agli utenti umani.

• Limiti dei Metodi Attuali: Gli approcci esistenti forniscono o solo punteggi numerici di confidenza (difficili da contestualizzare) o vaghe espressioni di cautela in linguaggio naturale (ad es. "Non sono sicuro") che non riflettono fedelmente lo stato interno del modello.
• Il Divario: Crucialmente, i sistemi esistenti non spiegano perché un modello è incerto. Non riescono a portare alla luce i specifici conflitti e accordi tra l'affermazione e le prove, o tra diverse prove, che sono i principali driver dell'incertezza nei compiti di fact-checking. Questo impedisce ai fact-checker umani di risolvere efficacemente i disaccordi o di verificare punti specifici di controversia.

2. Metodologia: Il Framework CLUE

Gli autori propongono CLUE (Conflict-&Agreement-aware Language-model Uncertainty Explanations), un framework white-box plug-and-play che genera spiegazioni in linguaggio naturale (NLE) basate su interazioni specifiche con le prove. CLUE opera interamente al momento dell'inferenza senza richiedere fine-tuning o spiegazioni con etichette d'oro.

Il framework consta di tre fasi:

A. Punteggio di Incertezza

Il sistema quantifica l'incertezza del modello utilizzando l'entropia predittiva derivata dai logit di output del modello.

• Per un dato input $X$ (Affermazione + Prove), l'entropia $u(X)$ è calcolata sulla distribuzione softmax delle etichette candidate $\{SUPPORTS, REFUTES, NEUTRAL\}$.
• Questo fornisce un punteggio scalare di incertezza che è indipendente dal modello e non richiede multiple esecuzioni di campionamento.

B. Identificazione delle Interazioni tra Span di Conflitto e Accordo

Per identificare le fonti di incertezza, CLUE estrae interazioni salienti tra span di testo tra l'Affermazione ($C$) e le Prove ($E_1, E_2$), nonché tra le prove stesse.

1. Estrazione: Utilizzando i meccanismi di attenzione dello strato finale del modello, il sistema identifica importanti interazioni tra token delle parti di input. Applica l'algoritmo di Louvain per raggruppare questi token in comunità, estraendo coppie specifiche di span (ad es. una frase nell'affermazione e una frase nella prova).
2. Etichettatura della Relazione: Un modello ausiliario ($L_{rel}$) etichetta ogni coppia di span estratta come Accordo, Disaccordo o Non correlato basandosi sul contesto completo.
3. Selezione: Le $k$ (ad es. 3) interazioni tra span più importanti vengono selezionate in base ai loro punteggi di attenzione.

C. Generazione della Spiegazione dell'Incertezza

CLUE converte queste interazioni estratte in spiegazioni in linguaggio naturale utilizzando due varianti distinte:

1. CLUE-Span (Guidato da Istruzioni): Le coppie di span estratte e le loro etichette di relazione vengono inserite direttamente in un prompt few-shot. Al modello viene istruito di spiegare come questi specifici accordi o conflitti influenzano la sua confidenza.
2. CLUE-Span+Steering (Guidaggio Intrinseco dell'Attenzione): Oltre al prompt, il sistema modifica i pesi di attenzione del modello durante la generazione. Riduce il peso dei token non target e aumenta il peso dei token all'interno delle interazioni tra span selezionate, costringendo il modello a focalizzare il proprio ragionamento sui conflitti/accordi identificati.

3. Contributi Chiave

• Primo Framework per Spiegazioni Orientate all'Incertezza: CLUE è il primo sistema a generare NLE che tracciano esplicitamente l'incertezza del modello verso specifici span di prove in conflitto o in accordo.
• White-Box e Plug-and-Play: Opera senza fine-tuning, sfruttando segnali interni del modello (logit e attenzione) per garantire che le spiegazioni siano fedeli al processo di ragionamento effettivo del modello.
• Meccanismo Duale: Introduce un confronto tra prompting guidato da istruzioni e steering dell'attenzione per ottimizzare la generazione di spiegazioni sull'incertezza.
• Design Centrato sull'Umano: Il framework risponde alle esigenze pratiche dei fact-checker mostrando il "lavoro" dietro una decisione, evidenziando specificamente dove esistono tensioni nelle prove.

4. Risultati Sperimentali

Il framework è stato valutato su tre LLM (Qwen2.5-14B, Gemma-2-9B, OLMo-2-13B) e due dataset (HealthVer e DRUID).

Valutazione Automatica

• Fedeltà (Entropy-CCT): Gli autori hanno introdotto Entropy-CCT, una metrica che misura la correlazione tra la presenza di un token perturbato nella spiegazione e il conseguente cambiamento nell'entropia predittiva del modello.
  • Risultato: I metodi di prompting di base hanno mostrato fedeltà negativa (hanno menzionato token non importanti). Entrambe le varianti CLUE hanno invertito questa tendenza, con CLUE-Span+Steering che ha raggiunto la correlazione positiva più alta (fino a $r_{pb} = 0.102$), indicando che le spiegazioni riflettono fedelmente le fonti di incertezza del modello.
• Copertura degli Span ed Estraneità: Le varianti CLUE hanno coperto una porzione maggiore degli span critici estratti e introdotto meno span irrilevanti rispetto alle baseline.
• Implicazione Etichetta-Spiegazione: Le spiegazioni CLUE sono state più logicamente coerenti con i verdetto previsti.

Valutazione Umana

• Partecipanti: 12 valutatori umani hanno valutato 120 spiegazioni.
• Preferenza: Le spiegazioni generate da CLUE sono state classificate come prima preferenza nel 67–78% dei casi, rispetto al 24–34% per la baseline.
• Metriche Qualitative: Le spiegazioni CLUE sono state valutate significativamente più alte in Utilità, Copertura, Non-ridondanza e Coerenza.
• Trade-off: È stato osservato un leggero compromesso tra le due varianti CLUE: CLUE-Span+Steering ha raggiunto una fedeltà più alta (aderendo strettamente agli span estratti), mentre CLUE-Span è stato talvolta valutato leggermente più alto per qualità/plausibilità complessiva, probabilmente a causa di una migliore fluidità quando gli span estratti erano frammentari.

5. Significato e Impatto

• Colmare il Divario Uomo-AI: Collegando esplicitamente l'incertezza ai conflitti di prove, CLUE permette ai fact-checker umani di capire perché un'IA è incerta, consentendo loro di indirizzare i propri sforzi di verifica in modo più efficace.
• Affidabilità in Compiti ad Alto Rischio: Il metodo va oltre la semplice previsione del verdetto per fornire insight azionabili, il che è critico per domini come la sanità e le notizie, dove la disinformazione può causare danni.
• Generalizzabilità: Il framework è applicabile a qualsiasi compito di ragionamento su più documenti che coinvolga informazioni conflittuali, come la risposta a domande o la generazione aumentata dal recupero (RAG).
• Direzioni Future: Il paper evidenzia la necessità di una migliore estrazione degli span (per evitare span frammentari) e ulteriori ricerche per bilanciare fedeltà e plausibilità nella generazione di spiegazioni.

In conclusione, CLUE rappresenta un passo significativo avanti nell'Intelligenza Artificiale Spiegabile (XAI) per il fact-checking, spostando il focus dal giustificare un verdetto all'explaining le fonti di incertezza attraverso un ragionamento fondato e basato su prove.