Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness

1. Il Problema

La proliferazione di disinformazione rappresenta una sfida critica per la società, superando la capacità dei sistemi di fact-checking manuali. Sebbene i Large Language Models (LLM) offrano nuove opportunità per la verifica automatizzata delle affermazioni, la loro efficacia in contesti estesi rimane incoerente.
Il problema centrale indagato è il degrado delle prestazioni degli LLM quando devono elaborare contesti lunghi, in particolare il fenomeno noto come "Lost in the Middle" (perdita nel mezzo), dove le informazioni posizionate nella parte centrale del prompt vengono spesso ignorate o processate meno efficacemente rispetto a quelle all'inizio o alla fine. Inoltre, è poco chiaro quanto gli LLM si affidino alla loro conoscenza parametrica (memorizzata durante l'addestramento) rispetto alle evidenze esterne fornite nel contesto per la verifica dei fatti.

2. Metodologia

Gli autori hanno condotto esperimenti controllati per isolare gli effetti della conoscenza parametrica, della lunghezza del contesto e della posizione delle evidenze.

• Dataset: Sono stati utilizzati tre dataset di verifica delle affermazioni: HOVER, FEVEROUS e ClimateFEVER. Le etichette sono state unificate in un formato binario: SUPPORTS (supporta) e REFUTES (smentisce).
• Modelli: Sono stati valutati cinque modelli open-source di diverse famiglie e dimensioni (parametri):
  • Llama-3.1 (8B e 70B)
  • Qwen2.5 (7B)
  • Qwen3 (8B e 32B)
• Setup Sperimentale:
  1. Baseline Parametrica: I modelli hanno ricevuto solo l'affermazione (claim) senza evidenze esterne per valutare la conoscenza interna.
  2. Verifica con Evidenza: È stata fornita l'evidenza "gold" (corretta) senza contesto aggiuntivo.
  3. Manipolazione del Contesto: Per analizzare RQ2 e RQ3, sono stati creati contesti di diverse lunghezze (2k, 4k, 8k, 16k token). Il blocco di evidenze è stato inserito in 11 posizioni diverse (dal 0% al 100% del prompt), circondato da testo di riempimento ("filler text") non correlato per mantenere costante la lunghezza totale dell'input.

3. Contributi Chiave

Il paper contribuisce alla letteratura scientifica in tre modi principali:

1. Quantificazione della Conoscenza Parametrica: Dimostra che gli LLM possiedono una conoscenza fattuale non banale e possono risolvere molte affermazioni senza evidenze esterne, sebbene con prestazioni variabili a seconda del dataset.
2. Analisi della Lunghezza del Contesto: Fornisce evidenze empiriche sul fatto che l'aumento della lunghezza del contesto porta a un degrado misurabile dell'accuratezza nella verifica dei fatti, anche quando le evidenze corrette sono presenti.
3. Bias Posizionale nella Verifica: Conferma e quantifica come la posizione dell'evidenza all'interno del prompt influenzi drasticamente l'accuratezza, con un calo significativo quando l'evidenza è posizionata al centro del contesto rispetto agli estremi.

4. Risultati Principali

• Conoscenza Parametrica (RQ1): Tutti i modelli hanno superato la casualità utilizzando solo la conoscenza interna. ClimateFEVER ha mostrato i punteggi più alti, mentre HOVER è stato il più difficile. L'introduzione delle evidenze ha migliorato le prestazioni in modo sistematico, specialmente su FEVEROUS (fino a +20% di accuratezza).
• Effetto della Lunghezza del Contesto (RQ2): Esiste una tendenza generale al declino delle prestazioni all'aumentare della lunghezza del contesto (da 2k a 16k token). Tuttavia, i modelli Qwen3 (specialmente la versione 32B) mostrano un comportamento non monotono, con un minimo locale a 4k token e una parziale ripresa a 8k, suggerendo una maggiore stabilità rispetto agli altri modelli.
• Effetto della Posizione dell'Evidenza (RQ3):
  • L'accuratezza è massimizzata quando l'evidenza è all'inizio (0%) o alla fine (100%) del prompt.
  • L'accuratezza cala significativamente quando l'evidenza è posizionata nel mezzo (40-60%).
  • Robustezza dei Modelli: I modelli Qwen3-32B e Llama-3.1-70B mostrano una minore sensibilità alla posizione rispetto alle loro controparti più piccole (es. Llama-3.1-8B). In particolare, Qwen3-32B mantiene prestazioni superiori alla baseline "solo claim" in tutte le posizioni, indicando una capacità superiore di allocare l'attenzione su lunghe sequenze.
  • Sensibilità del Dataset: ClimateFEVER si è rivelato il dataset più sensibile alle variazioni di posizione e lunghezza, mostrando il divario più ampio tra le configurazioni migliori e peggiori.

5. Significato e Implicazioni

I risultati hanno implicazioni pratiche immediate per lo sviluppo di sistemi di fact-checking basati su Retrieval-Augmented Generation (RAG):

• Ordinamento delle Evidenze: Non basta recuperare le evidenze corrette; il loro posizionamento nel prompt è critico. Le evidenze dovrebbero essere strategicamente posizionate all'inizio o alla fine del contesto per massimizzare l'accuratezza.
• Limiti dell'Aumento del Contesto: Aumentare semplicemente la finestra di contesto non garantisce migliori capacità di ragionamento; anzi, può introdurre interferenze se le evidenze chiave non sono posizionate correttamente.
• Scelta del Modello: La scelta del modello e la sua architettura (o strategia di addestramento) giocano un ruolo fondamentale nella mitigazione del bias posizionale, con modelli più recenti e di grandi dimensioni (come Qwen3-32B) che mostrano maggiore robustezza.

In conclusione, l'efficacia della verifica fattuale assistita da LLM dipende non solo dall'accesso alle informazioni, ma da come queste informazioni sono organizzate e presentate all'interno dell'input del modello.