DECEIVE-AFC: Adversarial Claim Attacks against Search-Enabled LLM-based Fact-Checking Systems

1. Il Problema

Con la rapida diffusione della disinformazione, i sistemi di fact-checking automatizzati (AFC) basati su Large Language Models (LLM) abilitati alla ricerca web sono emersi come soluzioni promettenti. Questi sistemi superano i limiti dei metodi tradizionali basati su reti neurali profonde (DNN) e repository statici, poiché possono recuperare dinamicamente prove aggiornate dal web e utilizzare capacità di ragionamento avanzate.

Tuttavia, la robustezza di questi sistemi contro gli attacchi avversari è scarsamente compresa. Gli attacchi esistenti sono spesso progettati per pipeline basate su DNN o presuppongono la capacità di manipolare le fonti di prova (attacchi alle evidenze), ipotesi irrealistiche in scenari reali dove le prove vengono cercate dinamicamente sul web aperto.
Il problema centrale affrontato dal paper è la vulnerabilità dei sistemi AFC basati su LLM e abilitati alla ricerca a attacchi avversari sui claim (adversarial claim attacks). In questo scenario, un attaccante modifica solo il testo del claim da verificare, senza avere accesso alle fonti di prova o ai modelli interni, con l'obiettivo di ingannare il sistema e ottenere una verifica errata mantenendo intatto il significato fattuale originale.

2. Metodologia: DECEIVE-AFC

Gli autori propongono DECEIVE-AFC, un framework di attacco basato su agenti che opera in un modello di minaccia "black-box" (solo input/output). Il framework è composto da tre componenti principali:

A. Strategie di Attacco a Livello di Claim

Il framework identifica tre categorie di strategie per influenzare le diverse fasi della pipeline di fact-checking (formulazione della query, recupero delle prove, ragionamento LLM):

1. Traviamento del Motore di Ricerca (Search Engine Misguidance): Modifica delle proprietà lessicali e strutturali del claim per alterare la formulazione delle query di ricerca. Include l'introduzione di sinonimi a bassa frequenza, riferimenti non standard a entità, iniezione di informazioni di fondo ridondanti e dispersione delle parole chiave. L'obiettivo è far recuperare prove irrilevanti o di bassa qualità.
2. Interruzione del Ragionamento LLM (LLM Reasoning Disruption): Introduzione di affermazioni fattualmente irrilevanti ma valide, aumento della complessità sintattica, uso di frasi condizionali o speculative e strutture a doppia negazione. Queste manipolazioni distraggono l'attenzione del modello, indebolendo la sua capacità di associare correttamente le prove al claim centrale.
3. Escalation della Complessità Strutturale: Trasformazione di affermazioni fattuali semplici (single-hop) in problemi di ragionamento multi-hop. Questo costringe il sistema a eseguire ricerche e ragionamenti a più passaggi, aumentando la probabilità che un errore in un passaggio intermedio porti al fallimento della verifica.

B. Valutazione della Validità dell'Attacco

Per garantire che l'attacco sia realistico e non banale, DECEIVE-AFC impone vincoli rigorosi durante la generazione:

• Preservazione dell'Intento Fattuale: Il claim avversario deve mantenere lo stesso significato semantico e la stessa verità fattuale dell'originale.
• Stealthiness: Il claim modificato deve generare giustificazioni coerenti e rilevanti, evitando che l'attacco sia rilevato da un controllo umano o da filtri di sicurezza.
• Valutazione: Vengono utilizzati metriche di similarità semantica, inferenza linguistica naturale (NLI) e valutazioni tramite LLM per confermare che il claim non sia diventato una contraddizione o un argomento irrilevante.

C. Framework di Affinamento Basato su Agenti

Il processo di generazione è un ciclo chiuso automatizzato:

1. Generatore: Crea o affina i claim candidati basandosi sulle strategie selezionate.
2. Modulo Vittima (Surrogate): Simula il comportamento del sistema AFC target utilizzando un modello surrogato (es. un LLM con accesso al web) per ottenere verdetto e giustificazione.
3. Valutatore: Analizza se il verdetto è stato invertito e come è cambiata la giustificazione.
4. Guardiano Semantico: Verifica che il claim non abbia subito una deriva semantica eccessiva.
5. Pianificatore di Attacco: Decide dinamicamente se terminare l'attacco o continuare l'affinamento, cambiando strategia o direzione in base ai feedback.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre sistemi AFC reali basati su LLM (HiSS, LEMMA, DEFAME) utilizzando il dataset MOCHEG.

• Performance Degradata: DECEIVE-AFC ha ridotto drasticamente l'accuratezza di verifica dei sistemi target. Ad esempio, su un sistema specifico, l'accuratezza è scesa dal 78,7% al 53,7%.
• Tasso di Successo dell'Attacco (ASR): Il framework ha ottenuto un ASR del 36,6% sul modello surrogato e risultati superiori su tutti i sistemi target rispetto alle baseline esistenti (come LEET, Homoglyph, Character Swap), che hanno mostrato ASR molto bassi (spesso sotto il 10-12%).
• Trasferibilità: Gli attacchi generati hanno mostrato un'elevata trasferibilità tra diversi sistemi AFC, dimostrando che le vulnerabilità sono intrinseche alla pipeline di ricerca e ragionamento.
• Analisi delle Giustificazioni: Le analisi hanno rivelato che gli attacchi di successo non si basano su perturbazioni superficiali, ma causano deviazioni significative nel processo di ragionamento e nell'uso delle prove, portando a giustificazioni che sembrano coerenti ma sono fattualmente errate.

4. Contributi Chiave

1. Framework Innovativo: Introduzione di DECEIVE-AFC, il primo framework basato su agenti per esplorare sistematicamente le traiettorie di attacco contro sistemi AFC basati su LLM e abilitati alla ricerca in scenari black-box.
2. Nuove Strategie di Attacco: Formalizzazione di strategie specifiche per le pipeline di fact-checking moderne, focalizzate sulla manipolazione della ricerca e del ragionamento piuttosto che su semplici modifiche di caratteri.
3. Valutazione della Validità: Sviluppo di un meccanismo di valutazione che bilancia l'efficacia dell'attacco con la preservazione dell'intento fattuale, garantendo che gli esempi avversari siano realistici.
4. Insight sulla Robustezza: Dimostrazione empirica che i sistemi AFC avanzati, nonostante le loro capacità di ragionamento, rimangono vulnerabili a manipolazioni sottili dei claim che disturbano il recupero delle prove.

5. Significato e Implicazioni

Questo lavoro evidenzia una vulnerabilità critica nei moderni sistemi di verifica dei fatti. Anche se i sistemi basati su LLM e ricerca web sono considerati più robusti di quelli tradizionali, DECEIVE-AFC dimostra che possono essere ingannati senza bisogno di accesso interno o manipolazione delle fonti di prova.
Le implicazioni sono gravi: un attaccante potrebbe diffondere disinformazione modificando leggermente la formulazione di un claim, portando il sistema a generare una giustificazione plausibile ma errata che legittima la fake news.
Il paper conclude suggerendo strategie di mitigazione, tra cui:

• Fine-tuning dei modelli: Addestrare i modelli su coppie di claim benigni e avversari per riconoscere i pattern di perturbazione.
• Validazione dell'Interpretazione e del Recupero: Implementare meccanismi di correzione o validazione nelle fasi intermedie (formulazione query, selezione prove) per identificare e correggere errori indotti da manipolazioni avversarie.

In sintesi, la ricerca fornisce un passo fondamentale verso la comprensione e il rafforzamento della sicurezza dei sistemi di fact-checking automatizzati di prossima generazione.