Robust Fake News Detection using Large Language Models under Adversarial Sentiment Attacks

Sintesi Tecnica: Rilevamento Robusto delle Fake News tramite Grandi Modelli Linguistici sotto Attacchi di Sentimento Avversari

Definizione del Problema
La disinformazione e le fake news rappresentano una sfida sociale significativa, rendendo necessari metodi di rilevamento automatizzati affidabili. Sebbene la ricerca precedente abbia stabilito che il sentimento sia un segnale critico per distinguere le notizie false da quelle reali, questa dipendenza crea una vulnerabilità. Gli avversari possono manipolare il tono emotivo del testo per eludere il rilevamento, un rischio esacerbato dall'avvento dei Grandi Modelli Linguistici (LLM) capaci di riscrivere i contenuti con un sentimento controllato pur preservando l'accuratezza fattuale. Sebbene alcuni studi abbiano esplorato gli attacchi avversari sui rilevatori di fake news, si sono concentrati principalmente su caratteristiche stilistiche (ad esempio, lo stile di scrittura) piuttosto che sul sentimento. Di conseguenza, la specifica vulnerabilità dei rilevatori di fake news alla manipolazione del sentimento generata da LLM rimane ampiamente inesplorata.

Metodologia
Il documento propone AdSent, un framework di rilevamento robusto al sentimento progettato per mantenere previsioni di veridicità coerenti tra articoli di notizie originali e alterati nel sentimento. Il framework è composto da due componenti primarie:

1. Benchmarking Avversario Mirato al Sentimento:

   • Gli autori utilizzano gli LLM come "contraffattori" per generare attacchi avversari controllati.
   • Per ogni documento di notizie, l'LLM riscrive il testo per trasmettere un sentimento positivo, negativo o neutro, preservando rigorosamente il contenuto fattuale e la coerenza.
   • Questo processo crea un benchmark per valutare la robustezza dei moderni rilevatori rispetto ai cambiamenti di sentimento, trattando i rilevatori come classificatori black-box.

2. Strategia di Addestramento Sentimento-Agnostica:

   • Per mitigare il bias introdotto dai segnali di sentimento, gli autori propongono una strategia di addestramento in cui il modello di rilevamento viene perfezionato (fine-tuning) su varianti dei dati di addestramento neutralizzate nel sentimento.
   • Un LLM (specificamente LLaMA-3.1-8B-Instruct) viene utilizzato per riscrivere gli articoli di addestramento in un tono neutro.
   • Il modello di rilevamento viene quindi addestrato su queste versioni neutralizzate, costringendolo a fare affidamento sul contenuto fattuale piuttosto che sul tono emotivo per determinare la veridicità.
   • Durante l'inferenza, gli articoli in input vengono prima neutralizzati dal contraffattore prima di essere passati al rilevatore.

Contributi Chiave

1. Benchmarking Avversario: Gli autori introducono una serie di attacchi basati sul sentimento controllati utilizzando LLM. Dimostrano che gli attuali rilevatori allo stato dell'arte soffrono di un significativo degrado delle prestazioni quando affrontano la manipolazione del sentimento.
2. Scoperta del Bias del Modello: Lo studio rivela un bias critico nei modelli esistenti: tendono a classificare gli articoli dal tono neutro come "reali" e quelli non neutri (emotivi) come "falsi". Questa scoperta contraddice l'ipotesi iniziale secondo cui le fake news siano intrinsecamente più negative; al contrario, la manipolazione del sentimento verso un tono neutro si rivela lo scenario avversario più impegnativo.
3. Framework AdSent: Il documento introduce AdSent, un approccio innovativo che migliora la robustezza attraverso l'addestramento su dati neutralizzati nel sentimento. Ciò garantisce la coerenza della previsione indipendentemente dalla cornice emotiva dell'articolo.

Risultati Sperimentali
Gli autori hanno valutato AdSent su tre dataset di benchmark: PolitiFact, GossipCop e Labeled Unreliable News (LUN).

• Vulnerabilità dei Baseline: Sotto la manipolazione del sentimento, i rilevatori standard (inclusi RoBERTa perfezionato e SheepDog) hanno subito cali di prestazioni sostanziali, con punte di diminuzione degli F1-score fino al 21,51% sul dataset PolitiFact. Anche gli LLM zero-shot hanno mostrato un significativo degrado.
• Impatto dei Cambiamenti di Sentimento: L'analisi dei flip di previsione ha indicato che convertire le fake news in un tono neutro ha causato il più alto tasso di errori di classificazione (falsi negativi), dove le fake news venivano erroneamente etichettate come reali. Al contrario, le notizie reali erano meno soggette a essere classificate come false quando neutralizzate.
• Performance di AdSent: AdSent ha superato significativamente tutti i baseline sui set di test neutralizzati, raggiungendo punte F1 macro di 87,76 su PolitiFact e 78,56 su GossipCop.
• Generalizzazione:
  • Cross-Attack: AdSent ha dimostrato robustezza non solo contro gli attacchi di sentimento, ma si è anche generalizzato efficacemente agli attacchi avversari basati sullo stile (ad esempio, imitare editori specifici), superando il baseline specializzato SheepDog in tali scenari.
  • Cross-Dataset: Quando addestrato su PolitiFact e testato sul dataset non visto LUN, AdSent ha mantenuto una performance superiore rispetto a SheepDog, indicando che l'addestramento avversario sul sentimento produce caratteristiche trasferibili.

Significato e Rivendicazioni
Il documento sostiene che la dipendenza dei rilevatori di fake news attuali dai segnali di sentimento sia una debolezza critica che gli LLM possono facilmente sfruttare. Dimostrando che il sentimento neutro è la perturbazione avversaria più efficace, gli autori evidenziano un bias fondamentale nei modelli esistenti. La rilevanza di AdSent risiede nella sua capacità di disaccoppiare il rilevamento della veridicità dal tono emotivo, creando così una difesa più robusta contro sofisticate campagne di disinformazione guidate da LLM. Gli autori concludono che il loro approccio migliora significativamente sia l'accuratezza che la robustezza, generalizzando bene a dataset non visti e diversi scenari avversari.

Direzioni Future
Gli autori osservano che il lavoro futuro si concentrerà sull'estensione di AdSent al rilevamento della disinformazione multimodale, investigando come i segnali visivi (ad esempio, espressioni emotive nelle immagini) interagiscano con il sentimento testuale. Pianificano inoltre di esplorare le perturbazioni avversarie che prendono di mira altri valori giornalistici, come la prossimità, la novità e la prominenza.