💬 NLP

Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

Il paper presenta un nuovo sistema di verifica delle affermazioni in dominio aperto che utilizza modelli linguistici di grandi dimensioni (LLM) e una strategia di recupero multi-sorgente per analizzare le discrepanze tra fonti diverse, migliorando così l'accuratezza e la trasparenza nella rilevazione della disinformazione.

Autori originali: Md Badsha Biswas, Ozlem Uzuner

Pubblicato 2026-02-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Md Badsha Biswas, Ozlem Uzuner

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere in una grande piazza piena di persone che urlano tutte notizie diverse. Alcuni dicono "Il cielo è azzurro", altri gridano "No, il cielo è verde!", e altri ancora sussurrano "Forse è blu, ma dipende dall'ora". Se devi decidere cosa è vero, cosa fai?

La maggior parte dei sistemi di "fact-checking" (verifica delle notizie) attuali fa un errore: chiede a una sola persona (magari la più rumorosa) e si fida ciecamente di quello che dice, ignorando il resto della folla. Se quella persona sbaglia, anche il sistema sbaglia.

Questo paper presenta un nuovo sistema, un po' come un investigatore privato super-avanzato, che risolve il problema in tre modi creativi:

1. L'Investigatore "Avvocato del Diavolo" (La Prospettiva Doppia)

Immagina che il tuo investigatore non si limiti a chiedere: "È vero che il cielo è azzurro?".
Invece, fa anche una domanda geniale: "È vero che il cielo è verde?" (cioè la versione negativa della frase).

Perché? Perché se cerchi solo prove che confermano la tua idea, rischi di trovare solo ciò che vuoi vedere (come quando cerchi su Google solo le notizie che ti piacciono).

L'analogia: È come se, prima di comprare un'auto, non chiedessi solo al venditore "È un'auto fantastica?", ma chiedessi anche a un meccanico "Quali sono i difetti di questa auto?".
Il risultato: Il sistema raccoglie prove sia a favore che contro la notizia, ottenendo un quadro molto più completo e onesto.

2. Il Consiglio dei Tre Esperti (Le Tre Fonti)

Invece di ascoltare una sola fonte (come solo Wikipedia), il nostro investigatore interroga tre esperti diversi che hanno punti di vista diversi:

Wikipedia: L'enciclopedia generale, brava con le cose di tutti i giorni.
PubMed: Il medico specializzato, bravissimo con le cose scientifiche e mediche.
Google: Il giornalista investigativo, che cerca notizie fresche su tutto il web.

Spesso, questi tre esperti non sono d'accordo. Wikipedia potrebbe dire una cosa, PubMed un'altra, e Google una terza. Il sistema non sceglie il "vincitore" e ignora gli altri. Li mette tutti insieme.

L'analogia: È come se per decidere dove andare in vacanza, ascoltassi il parere di tuo zio (che ama la montagna), di tua cugina (che ama il mare) e di un amico (che ama la città). Invece di scegliere solo uno, crei un itinerario che tiene conto di tutti i consigli, o capisci che non c'è un consenso e che la decisione è difficile.

3. Il Termometro della Fiducia (Visualizzare i Dubbi)

Questa è la parte più magica. Quando il sistema usa un'intelligenza artificiale (un "cervello digitale" gigante) per leggere tutte queste informazioni e dare un verdetto, non si limita a dire "Vero" o "Falso".
Guarda anche quanto è sicuro di sé.

L'analogia: Immagina che il sistema ti mostri un termometro.
- Se Wikipedia, PubMed e Google sono tutti d'accordo e l'IA è sicura al 100%, il termometro è alto e rosso (Fiducia massima!).
- Se Wikipedia dice "Vero", ma PubMed dice "Falso" e l'IA è confusa, il termometro è basso e tremolante (Attenzione: c'è disaccordo!).

Questo permette a te, utente, di vedere non solo cosa pensa il sistema, ma quanto è difficile la questione. Se vedi che le fonti sono in forte disaccordo, sai che la notizia è controversa e devi fare attenzione.

In Sintesi

Questo studio ci insegna che per capire la verità nel mondo digitale, non dobbiamo cercare la risposta più semplice o quella di una sola fonte. Dobbiamo:

Chiedere anche il contrario (cercare le prove che smentiscono).
Ascoltare fonti diverse (scienza, web, enciclopedie).
Capire quando le fonti non sono d'accordo, invece di nascondere il disaccordo.

È come passare da un gioco di "telefono senza fili" (dove l'informazione si distorce) a una riunione di consiglio dove tutti parlano, si ascoltano le differenze, e alla fine si prende una decisione molto più saggia e trasparente.

1. Il Problema

La diffusione di disinformazione e misinformation sui piattaforme digitali rappresenta un rischio significativo per la società, specialmente in settori critici come la sanità, la finanza e la sicurezza pubblica. Sebbene i sistemi di verifica delle affermazioni (fact-checking) automatizzati esistano, la loro efficacia è limitata da due fattori principali:

Dipendenza da una singola fonte: La maggior parte dei sistemi attuali si basa su un'unica fonte di conoscenza (spesso Wikipedia), ignorando la ricchezza di informazioni presenti in fonti secondarie o terziarie (come letteratura scientifica o risultati di ricerca web).
Ignorare il disaccordo: I sistemi tradizionali tendono a cercare solo evidenze a supporto dell'affermazione originale, trascurando le informazioni contraddittorie e i disaccordi tra diverse fonti. Questo riduce la copertura della conoscenza, la trasparenza e la capacità di gestire la complessità del mondo reale, dove le informazioni sono spesso distribuite e conflittuali.

2. Metodologia

Gli autori propongono un nuovo sistema per la verifica delle affermazioni in dominio aperto (ODCV) che integra modelli linguistici di grandi dimensioni (LLM), recupero di evidenze multi-perspettiva e analisi del disaccordo tra fonti. L'architettura si articola in tre componenti chiave:

A. Generazione di Affermazioni Negate (Dual-Perspective)

Per ogni affermazione originale ( $c_i$ ), il sistema genera una versione negata esplicita ( $\bar{c}_i$ ) utilizzando un LLM (Mistral AI).

Obiettivo: Creare un pool di evidenze "duale" che includa sia informazioni a supporto che informazioni di confutazione.
Esempio: Se l'affermazione è "Una carenza di vitamina B12 aumenta l'omocisteina", la negazione diventa "Un eccesso di vitamina B12 diminuisce l'omocisteina". Questo approccio mitiga il bias di conferma.

B. Recupero e Aggregazione Multi-Sorgente

Il sistema recupera evidenze da tre fonti distinte: Wikipedia, PubMed e Google.

Recupero: Vengono recuperati i documenti top-k sia per l'affermazione originale che per quella negata da ciascuna delle tre fonti.
Selezione e Filtraggio: Le frasi candidate vengono filtrate e classificate utilizzando embedding (SPICED) per calcolare la similarità con l'affermazione.
Deduplicazione e Fusione: Le evidenze provenienti dalle diverse fonti vengono normalizzate, deduplicate e fuse in un unico set di evidenze aggregato ( $E_i$ ) per ogni affermazione. Questo crea una base di conoscenza unificata che riflette la complessità delle informazioni reali.

C. Verifica e Misurazione del Disaccordo

Verifica: Un LLM (in modalità zero-shot) riceve l'affermazione e l'insieme di evidenze aggregato per predire la veridicità (Supportata, Smentita, Non abbastanza evidenze).
Quantificazione del Disaccordo: Il sistema non si limita alla predizione finale. Analizza i log-probability (logprobs) delle etichette predette per ciascuna fonte separatamente.
- Viene calcolato un punteggio di fiducia per fonte.
- La dispersione di questi punteggi tra le fonti (Wikipedia, PubMed, Google) viene visualizzata per quantificare il livello di accordo o disaccordo. Un'alta dispersione indica incertezza o conflitto, mentre una bassa dispersione indica consenso.

3. Contributi Chiave

Approccio di Recupero Duale: Introduzione di una strategia che recupera attivamente evidenze sia per l'affermazione che per la sua negazione, catturando prospettive opposte da più fonti.
Aggregazione Multi-Sorgente: Dimostrazione che aggregare evidenze da fonti eterogenee (Wikipedia, PubMed, Google) supera le prestazioni di qualsiasi singola fonte, migliorando la copertura e la robustezza.
Trasparenza tramite Disaccordo: Sviluppo di un metodo per quantificare e visualizzare il disaccordo tra fonti utilizzando i punteggi di confidenza dei modelli, offrendo agli utenti una visione completa delle incertezze piuttosto che una semplice etichetta binaria.
Valutazione Estensiva: Valutazione su quattro dataset benchmark (SciFact, PubHealth, Averitec, LIAR) utilizzando cinque diversi LLM all'avanguardia (Llama 70B/405B, Phi-4, Qwen 2.5, Mistral).

4. Risultati

Gli esperimenti condotti in modalità zero-shot (senza fine-tuning) hanno mostrato trend robusti:

Miglioramento delle Prestazioni: L'aggiunta dell'affermazione negata ha generalmente migliorato l'accuratezza e il F1 macro del 2-10% rispetto all'uso della sola affermazione originale.
Vantaggio dell'Aggregazione: L'aggregazione delle evidenze da tutte e tre le fonti ha portato a guadagni significativi rispetto all'uso di singole fonti. Ad esempio, su SciFact, l'aggregazione ha migliorato il F1 di oltre il 40% rispetto a Wikipedia per alcuni modelli.
Analisi del Consenso: Le visualizzazioni (KDE) dei punteggi di confidenza hanno mostrato una forte correlazione tra l'accordo tra le fonti e l'alta certezza del modello. Quando le fonti concordano, i picchi di confidenza sono più alti e nitidi; in caso di disaccordo, la distribuzione è più ampia e incerta.
Performance dei Modelli: Modelli come Llama 70B/405B e Mistral hanno mostrato prestazioni coerentemente elevate, ma l'approccio proposto ha migliorato le capacità di tutti i modelli testati.

5. Significato e Implicazioni

Questo lavoro è significativo perché sposta il paradigma della verifica delle affermazioni da un approccio monolitico e spesso parziale a uno olistico e trasparente.

Affidabilità: Mostrando esplicitamente dove le fonti sono in disaccordo, il sistema permette agli utenti finali di prendere decisioni informate, comprendendo la natura controversa di alcune affermazioni.
Interpretabilità: L'uso dei log-probability per visualizzare l'incertezza rende il processo decisionale degli LLM più interpretabile e meno di "scatola nera".
Robustezza: L'approccio dimostra che la diversità delle fonti e l'accettazione della contraddizione sono essenziali per costruire sistemi di fact-checking affidabili in un'era di informazioni complesse e frammentate.

In sintesi, il paper propone che l'accettazione della diversità e della contraddizione, gestita attraverso l'aggregazione intelligente e l'analisi del disaccordo, è fondamentale per superare i limiti attuali dei sistemi di verifica automatica.