Entailed Opinion Matters: Improving the Fact-Checking Performance of Language Models by Relying on their Entailment Ability

1. Il Problema

La verifica automatica dei fatti (fact-checking) rimane una sfida complessa per la comunità di ricerca, specialmente a causa della diffusione di disinformazione su scala globale. Le soluzioni esistenti, che includono l'addestramento end-to-end, la generazione aumentata dal recupero (RAG) e l'ingegneria dei prompt (prompt engineering), hanno mostrato limiti significativi per il deployment reale:

• Bassa accuratezza: I sistemi attuali non raggiungono livelli di affidabilità sufficienti per applicazioni critiche.
• Gestione delle evidenze contraddittorie: I modelli linguistici spesso falliscono quando devono analizzare molteplici pezzi di evidenza che si contraddicono a vicenda, portando a confusione e prestazioni scadenti.
• Costi e Bias: L'uso di Prompt Engineering con grandi modelli generativi (GLM) di grandi dimensioni (es. modelli con trilioni di parametri) offre prestazioni umane ma è costoso e spesso dietro paywall. L'uso di GLM più piccoli tramite prompt soffre di bias, allucinazioni e prestazioni inferiori rispetto ai metodi basati sull'addestramento.

2. Metodologia Proposta

Gli autori propongono un nuovo paradigma di apprendimento che sfrutta la capacità di entailment (conseguenza logica) dei modelli generativi (GLM) per addestrare modelli linguistici encoder-only (ELM) più efficienti. Il processo si articola in tre fasi principali, come illustrato nel diagramma del paper (Figura 1):

1. Entailment (Classificazione delle Evidenze):

   • Un GLM riceve una dichiarazione (claim) e le relative evidenze.
   • Il modello classifica ogni singola evidenza come "supportante" (supporting) o "confutante" (refuting) rispetto al claim, basandosi sulla capacità di inferenza logica.

2. Consolidamento delle Evidenze (Generazione di Giustificazioni):

   • Lo stesso GLM raggruppa le evidenze classificate e genera due testi sintetici e concisi:
     • Una giustificazione di supporto (supporting justification).
     • Una giustificazione di confutazione (refuting justification).
   • Questo passaggio trasforma dati grezzi e potenzialmente contraddittori in un formato strutturato e logico.

3. Predizione della Veridicità (Training dell'ELM):

   • Un modello encoder-only (ELM, es. RoBERTa, XLNet) viene addestrato (fine-tuned) utilizzando come input il claim originale e le due giustificazioni generate dal GLM.
   • L'ELM apprende a predire la veridicità del claim (es. Vero, Falso, Parzialmente vero) basandosi su queste spiegazioni "entailed".

L'approccio è stato valutato attraverso tre tipi di esperimenti basati sull'addestramento (TBE) e quattro basati sull'inferenza (IBE), confrontando diverse strategie di prompt e fine-tuning.

3. Contributi Chiave

• Nuovo Paradigma di Apprendimento: È la prima volta che l'entailment basato su GLM viene utilizzato esplicitamente come segnale primario per discriminare e consolidare le evidenze prima della predizione finale della veridicità.
• Prestazioni Superiori: L'approccio TBE-3 (addestramento con giustificazioni entailment) ha dimostrato di superare significativamente i baseline e le strategie di prompt engineering.
• Analisi di Ablazione: Lo studio ha dimostrato che sia le giustificazioni di supporto che quelle di confutazione sono cruciali; la rimozione di una delle due porta a un calo drastico delle prestazioni (fino al 55% di riduzione del Macro-F1 su alcuni dataset).
• Generalizzazione di Dominio: Il metodo è stato esteso con successo a dataset multilingue (X-Fact, Ru22fact) e multimodali (Factify-2, MOCHEG, VERITE), dimostrando robustezza oltre il dominio monolingue testuale.
• Analisi delle Spiegazioni: È stata condotta una valutazione qualitativa delle spiegazioni generate. I modelli basati su Llama hanno prodotto le spiegazioni più informative e logicamente strutturate, correlando direttamente con le migliori prestazioni di predizione quando usate per addestrare gli ELM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset monolingue (LIAR-RAW, RAW-FC), multilingue e multimodali.

• Dataset Monolingue (LIAR-RAW e RAW-FC):

  • L'approccio TBE-3 (addestramento con giustificazioni entailment) ha ottenuto i risultati migliori.
  • Su RAW-FC, RoBERTa fine-tuned con giustificazioni generate da Llama ha raggiunto un Macro-F1 di 0.88, un miglioramento del 44.26% rispetto al miglior baseline.
  • Su LIAR-RAW, XLNet fine-tuned con giustificazioni Llama ha raggiunto un Macro-F1 di 0.54, con un miglioramento del 28.57% rispetto al baseline.
  • I metodi basati solo sull'inferenza (IBE/Prompting) hanno mostrato prestazioni inferiori e meno consistenti rispetto all'approccio di addestramento proposto.

• Generalizzazione (Multilingue e Multimodale):

  • Multimodale: Il paradigma ha portato a miglioramenti fino al 54.10% in Macro-F1 su dataset multimodali (es. MOCHEG).
  • Multilingue: Si sono osservati miglioramenti fino al 19.70% su dataset multilingue, confermando che i GLM, quando adattati efficientemente (es. tramite QLoRA), catturano meglio le interazioni semantiche complesse rispetto agli encoder-only standard.

• Analisi degli Errori:

  • Le prestazioni sono migliori quando il numero di evidenze è moderato (6-20 pezzi). Un numero eccessivo di evidenze (>50) tende a degradare le prestazioni su dataset rumorosi come LIAR-RAW, suggerendo una sensibilità al sovraccarico informativo.
  • L'analisi dell'attenzione (attention scores) ha rivelato che gli ELM si concentrano accuratamente su parole chiave fattuali per i casi estremi (Vero/Falso), ma mostrano attenzione più dispersa per i casi borderline (es. "Half-true").

5. Significato e Impatto

Questo lavoro è significativo perché:

1. Efficienza delle Risorse: Dimostra che è possibile ottenere prestazioni di livello superiore utilizzando modelli encoder-only più piccoli ed economici, purché addestrati su dati sintetici di alta qualità generati da GLM più grandi. Questo riduce i costi computazionali per il deployment reale.
2. Gestione della Complessità: Risolve il problema della confusione causata da evidenze contraddittorie trasformando il processo di fact-checking in un compito di sintesi logica (supporto vs. confutazione) prima della classificazione finale.
3. Scalabilità: L'approccio si è dimostrato scalabile e robusto attraverso diverse lingue e modalità (testo, immagine), rendendolo un candidato promettente per sistemi di fact-checking automatizzati su larga scala.

In sintesi, il paper stabilisce che la capacità di un modello di generare giustificazioni logiche ed entailed è un segnale di supervisione molto più efficace per l'addestramento di modelli di fact-checking rispetto all'uso diretto di evidenze grezze o al semplice prompting.