KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Sintesi Tecnica: KITE – Un Transformer Tri-Modale per il Rilevamento delle Fake News

Definizione del Problema
La rapida evoluzione dei media digitali ha facilitato la diffusione di disinformazione sofisticata che fonde senza soluzione di continuità testi ingannevoli, contenuti visivi manipolati e affermazioni fattualmente errate. I metodi di rilevamento tradizionali spesso si affidano all'analisi di una singola modalità (solo testo o solo immagine) o impiegano strategie di fusione bimodale che trattano la conoscenza esterna come un passaggio di post-elaborazione o uno strato di verifica separato. Questi approcci spesso non riescono a rilevare inconsistenze semantiche profonde, in particolare quando attori malevoli alterano deliberatamente testi o immagini per eludere il rilevamento, o quando esistono sottili contraddizioni tra il contenuto e i fatti reali verificati. Gli framework esistenti mancano della capacità di modellare congiuntamente le rappresentazioni testuali, visive e della conoscenza fattuale all'interno di un processo di fusione centrale unificato.

Metodologia
Per affrontare queste limitazioni, gli autori propongono KITE (Knowledge-Integrated Text–Image Encoder), un framework tri-modale unificato progettato per codificare congiuntamente il contenuto testuale, gli indizi visivi e la conoscenza fattuale esterna. L'architettura si compone di quattro fasi primarie:

1. Elaborazione dell'Input:

   • Codifica del Testo: Il testo dell'articolo di notizie viene elaborato tramite RoBERTa per generare embedding semantici ricchi che catturino il significato contestuale.
   • Codifica dell'Immagine: Il contenuto visivo viene codificato utilizzando CLIP (Contrastive Language-Image Pretraining) per allineare le caratteristiche visive con i concetti testuali in uno spazio di embedding condiviso.

2. Integrazione della Conoscenza:

   • Estrazione delle Entità: Un modulo di Named Entity Recognition (NER) (utilizzando spaCy) estrae le entità chiave (persone, organizzazioni, luoghi) dal testo.
   • Recupero dei Fatti: Queste entità vengono interrogate contro Wikidata per recuperare triple fattuali rilevanti.
   • Codifica del Grafo: Le relazioni entità-fatto recuperate vengono costruite in un mini-grafo della conoscenza specifico per l'articolo. Questo grafo viene codificato tramite una Graph Attention Network (GAT) a due strati. A differenza dei metodi di embedding statici, la GAT apprende dinamicamente i pesi di attenzione a coppie tra i nodi, ottimizzando i pesi degli archi specificamente per l'obiettivo di classificazione delle fake news. L'output è un embedding di conoscenza a 256 dimensioni.

3. Fusione Tri-Modale:

   • Gli embedding di testo, immagine e conoscenza sono trattati come token distinti e inseriti in un Cross-Modal Transformer (CMT) leggero.
   • All'interno di questo singolo strato Transformer, un meccanismo di self-attention permette alle tre modalità di prestare attenzione direttamente l'una all'altra. Questo allineamento dinamico consente al modello di rilevare inconsistenze non solo tra testo e immagini, ma anche contraddizioni tra il contenuto e la conoscenza fattuale esterna.

4. Classificazione e Interpretabilità:

   • La rappresentazione fusa viene passata attraverso uno strato lineare con un'attivazione sigmoidale per la classificazione binaria (Reale/Falso).
   • Contemporaneamente, il modello genera punteggi di confidenza specifici per modalità per i flussi testuale, visivo e di conoscenza. Questi punteggi sono addestrati congiuntamente con il classificatore principale sotto un obiettivo di focal-loss, fornendo interpretabilità indicando quale tipo di input ha maggiormente influenzato la decisione finale.

Contributi Chiave
Il documento delinea quattro contributi primari:

• Fusione Tri-Modale Unificata: KITE è presentato come il primo framework in cui i token di testo, immagine e grafo della conoscenza prestano attenzione direttamente tra loro all'interno di un singolo strato Transformer. Ciò contrasta con i modelli precedenti (es. KAN) che iniettano la conoscenza solo dopo un passaggio separato di fusione bimodale, permettendo a KITE di rilevare le contraddizioni semantiche prima nel processo di elaborazione.
• Codifica GAT Consapevole del Contesto: Invece di utilizzare embedding di entità fissi o Graph Convolutional Networks (GCN) statiche, KITE costruisce un grafo della conoscenza dinamico e specifico per l'articolo. La GAT apprende i pesi relazionali in modo contestuale, fornendo rappresentazioni più ricche e fondate sui fatti.
• Attenzione Cross-Modale a Tre Vie: Ispirato alla Cross-Modal Augmentation (CMA), il meccanismo di attenzione di KITE opera su tutte e tre le modalità simultaneamente all'interno dello stesso strato, catturando inconsistenze che i modelli bimodali o a fusione statica perdono.
• Punteggio di Confidenza Interpretabile: Il modello restituisce punteggi di confidenza per ogni modalità insieme alla previsione finale, offrendo intuizioni sul fatto che la decisione sia stata guidata da indizi visivi, contenuto testuale o conoscenza fattuale.

Risultati Sperimentali
KITE è stato valutato su due dataset benchmark della suite FakeNewsNet: GossipCop (notizie di intrattenimento) e PolitiFact (notizie politiche). Il modello è stato confrontato con baseline unimodali (BERT, XLNet, CNN) e baseline multimodali allo stato dell'arte (MCAN, MCAN-A, SpotFake+, QMFND, KAN).

• Performance: KITE ha raggiunto risultati allo stato dell'arte su entrambi i dataset. Su GossipCop, ha raggiunto un'accuratezza di 0,885, un recall di 0,959 e un F1 score di 0,93, superando la migliore baseline multimodale (QMFND) e superando significativamente le baseline basate sulla conoscenza come KAN. Su PolitiFact, KITE ha ottenuto un'accuratezza di 0,868 e un F1 score di 0,889, superando nuovamente tutti i modelli confrontati.
• Analisi dei Guadagni: Gli autori attribuiscono questi guadagni all'architettura di fusione tri-modale, che migliora il recall intercettando coppie testo-immagine che contrastano con Wikidata, e migliora la precisione rinforzando l'autenticità quando tutte e tre le modalità concordano. Anche la codifica dinamica GAT e il fine-tuning end-to-end degli ultimi strati di RoBERTa e CLIP hanno contribuito ai miglioramenti delle prestazioni.

Significatività e Limitazioni
Il documento afferma che la significatività di KITE risiede nella sua capacità di rilevare fake news sofisticate dove linguaggio fuorviante, foto ritoccate e inconsistenze fattuali sono intrecciati. Integrando la conoscenza esterna direttamente nel processo di fusione centrale invece di un controllo post-hoc, il modello offre una maggiore robustezza e interpretabilità.

Tuttamente, gli autori riconoscono specifiche limitazioni:

• Modalità di Fallimento: Il modello può avere difficoltà con contenuti testuali fuorvianti che coinvolgono sarcasmo o satira, e segnali visivi di bassa qualità o irrilevanti possono introdurre rumore.
• Vincoli dei Dati: La dipendenza dal dataset FakeNewsNet ha richiesto un filtraggio manuale esteso per rimuovere gli articoli solo testuali, il che potrebbe limitarne la generalizzabilità.
• Sovrappeso Computazionale: Gli esperimenti sono stati condotti esclusivamente su hardware CPU a causa di vincoli di risorse, portando a tempi di addestramento significativi (circa 20 ore) a causa della latenza nel recupero di Wikidata.

Il documento conclude che, sebbene KITE dimostri una performance superiore, il lavoro futuro dovrebbe concentrarsi sull'aumento automatico dei dati, sul rilevamento cross-lingua e su strategie di apprendimento consapevole della deformazione (deception-aware learning) per migliorare ulteriormente efficienza e robustezza.