KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Technische Samenvatting: KITE – Een Tri-Modale Transformer voor Detectie van Fake News

Probleemstelling
De snelle evolutie van digitale media heeft de verspreiding van geraffineerde desinformatie gefaciliteerd die misleidende tekst, gemanipuleerde beelden en feitelijk onjuiste claims naadloos met elkaar vermengt. Traditionele detectiemethoden vertrouwen vaak op unimodale analyse (alleen tekst of alleen beeld) of maken gebruik van bimodale fusiestrategieën waarbij externe kennis wordt behandeld als een post-processing stap of een aparte verificatielaag. Deze benaderingen falen vaak in het detecteren van diepe semantische inconsistenties, met name wanneer kwaadwillende actoren tekst of afbeeldingen doelbewust aanpassen om detectie te omzeilen, of wanneer subtiele tegenstrijdigheden bestaan tussen de inhoud en geverifieerde feiten uit de echte wereld. Bestaande frameworks missen het vermogen om tekstuele, visuele en feitelijke kennisrepresentaties gezamenlijk te modelleren binnen een verenigd kernfusieproces.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs KITE (Knowledge-Integrated Text–Image Encoder) voor, een verenigd tri-modaal framework dat ontworpen is om tekstuele inhoud, visuele aanwijzingen en externe feitelijke kennis gezamenlijk te coderen. De architectuur bestaat uit vier primaire fasen:

1. Inputverwerking:

   • Tekstcodering: De tekst van het nieuwsartikel wordt verwerkt met behulp van RoBERTa om rijke semantische embeddings te genereren die de contextuele betekenis vastleggen.
   • Beeldcodering: Visuele inhoud wordt gecodeerd met behulp van CLIP (Contrastive Language-Image Pretraining) om visuele kenmerken af te stemmen op tekstuele concepten in een gedeelde embedding-ruimte.

2. Kennisintegratie:

   • Entiteitsextractie: Een Named Entity Recognition (NER) module (met behulp van spaCy) extraheert belangrijke entiteiten (personen, organisaties, locaties) uit de tekst.
   • Feitenretrieval: Deze entiteiten worden bevraagd bij Wikidata om relevante feitelijke triples op te halen.
   • Graafcodering: De opgehaalde entiteit-feit relaties worden geconstrueerd tot een artikel-specifieke mini-kennisgraaf. Deze graaf wordt gecodeerd met behulp van een twee-laagse Graph Attention Network (GAT). In tegenstelling tot statische embedding-methoden leert de GAT dynamisch pairwise attention-gewichten tussen knooppunten, waarbij de edge-gewichten specif specifiek worden geoptimaliseerd voor het doel van fake-news classificatie. De output is een 256-dimensionale kennis-embedding.

3. Tri-Modale Fusie:

   • De tekst-, beeld- en kennis-embeddings worden behandeld als afzonderlijke tokens en gevoed aan een lichtgewicht Cross-Modal Transformer (CMT).
   • Binnen deze enkele Transformer-laag zorgt een self-attention mechanisme ervoor dat alle drie de modaliteiten direct op elkaar kunnen attenderen. Deze dynamische uitlijning maakt het mogelijk om inconsistenties te detecteren, niet alleen tussen tekst en afbeeldingen, maar ook tussen de inhoud en externe feitelijke kennis.

4. Classificatie en Interpreteerbaarheid:

   • De gefuseerde representatie wordt door een lineaire laag met een sigmoid-activatie geleid voor binaire classificatie (Echt/Nep).
   • Tegelijkertijd genereert het model modaliteit-specifieke betrouwbaarheidsscores voor de tekst-, beeld- en kennisstromen. Deze scores worden gezamenlijk met de hoofdclassifier getraind onder een focal-loss objectief, wat interpreteerbaarheid biedt door aan te geven welk type input de uiteindelijke beslissing het meest heeft beïnvloed.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

• Verenigde Tri-Modale Fusie: KITE wordt gepresenteerd als het eerste framework waarbij tekst-, beeld- en kennisgraaf-tokens direct op elkaar attenderen binnen een enkele Transformer-laag. Dit staat in contrast met eerdere modellen (bijv. KAN) die kennis pas injecteren na een aparte bimodale fusiestap, waardoor KITE semantische tegenstrijdigheden eerder in het verwerkingsproces kan detecteren.
• Context-bewuste GAT-codering: In plaats van vaste entiteit-embeddings of statische Graph Convolutional Networks (GCNs), construeert KITE een dynamische, artikel-specifieke kennisgraaf. De GAT leert relationele gewichten contextueel, wat rijkere, op feiten gebaseerde representaties oplevert.
• Drieweg Cross-Modality Attention: Geïnspireerd door Cross-Modal Augmentation (CMA), opereert het attention-mechanisme van KITE simultaan over alle drie de modaliteiten binnen dezelfde laag, waardoor inconsistenties worden gevangen die bimodale of statische fusiemodellen missen.
• Interpreteerbare Betrouwbaarheidsscore: Het model geeft betrouwbaarheidsscores voor elke modaliteit naast de uiteindelijke voorspelling, wat inzichten biedt in of de beslissing werd gedreven door visuele aanwijzingen, tekstuele inhoud of feitelijke kennis.

Experimentele Resultaten
KITE werd geëvalueerd op twee benchmark-datasets uit de FakeNewsNet-suite: GossipCop (entertainmentnieuws) en PolitiFact (politiek nieuws). Het model werd vergeleken met unimodale baselines (BERT, XLNet, CNN) en state-of-the-art multimodale baselines (MCAN, MCAN-A, SpotFake+, QMFND, KAN).

• Prestaties: KITE behaalde state-of-the-art resultaten op beide datasets. Op GossipCop bereikte het een accuratesse van 0,885, een recall van 0,959 en een F1-score van 0,93, waarmee het de beste multimodale baseline (QMFND) overtrof en de kennis-bewuste baselines zoals KAN aanzienlijk versloeg. Op PolitiFact behaalde KITE een accuratesse van 0,868 en een F1-score van 0,889, waarmee het opnieuw alle vergeleken modellen overtrof.
• Analyse van Winsten: De auteurs schrijven deze winsten toe aan de tri-modale fusie-architectuur, die de recall verbetert door tekst-beeld paren te vangen die conflicteren met Wikidata, en de precisie verbetert door authenticiteit te versterken wanneer alle drie de modaliteiten overeenstemmen. De dynamische GAT-codering en de end-to-end fine-tuning van de laatste lagen van RoBERTa en CLIP droegen eveneens bij aan de prestatieverbeteringen.

Betekenis en Beperkingen
Het artikel stelt dat de betekenis van KITE ligt in het vermogen om geraffineerde fake news te detecteren waarbij misleidende taal, gefotoshopte afbeeldingen en feitelijke inconsistenties met elkaar verweven zijn. Door externe kennis direct in het kernfusieproces te integreren in plaats van als een post-hoc controle, biedt het model verbeterde robuustheid en interpreteerbaarheid.

De auteurs erkennen echter specifieke beperkingen:

• Foutmodi: Het model kan moeite hebben met misleidende tekstuele inhoud die sarcasme of satire bevat, en kwalitatief lage of irrelevante visuele signalen kunnen ruis introduceren.
• Databeperkingen: De afhankelijkheid van de FakeNewsNet-dataset vereiste uitgebreide handmatige filtering om tekst-only artikelen te verwijderen, wat de generaliseerbaarheid mogelijk beperkt.
• Computationele Overhead: De experimenten werden uitsluitend uitgevoerd op CPU-hardware vanwege middelenbeperkingen, wat leidde tot aanzienlijke trainingstijden (ongeveer 20 uur) door de latentie van de Wikidata-retrieval.

Het artikel concludeert dat hoewel KITE superieure prestaties demonstreert, toekomstig werk zich moet richten op automatische data-augmentatie, cross-linguale detectie en deceptie-bewuste leerstrategieën om de efficiëntie en robuustheid verder te vergroten.