KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Technische Zusammenfassung: KITE – Ein tri-modaler Transformer zur Erkennung von Fake News

Problemstellung
Die rasante Entwicklung digitaler Medien hat die Verbreitung raffinierter Desinformation begünstigt, die täuschend echte Texte, manipulierte visuelle Inhalte und faktisch falsche Behauptungen nahtlos miteinander vermischt. Traditionelle Erkennungsmethoden verlassen sich oft auf eine einmodale Analyse (nur Text oder nur Bild) oder verwenden bimodale Fusionsstrategien, bei denen externes Wissen als ein Post-Processing-Schritt oder eine separate Verifizierungsebene behandelt wird. Diese Ansätze scheitern häufig daran, tiefe semantische Inkonsistenzen zu erkennen, insbesondere wenn böswillige Akteure Text oder Bilder gezielt verändern, um die Erkennung zu umgehen, oder wenn subtile Widersprüche zwischen dem Inhalt und verifizierten realweltlichen Fakten bestehen. Bestehende Frameworks verfügen nicht über die Fähigkeit, textuelle, visuelle und faktische Wissensreprsentationen innerhalb eines einheitlichen Kern-Fusionsprozesses gemeinsam zu modellieren.

Methodik
Um diese Einschränkungen zu adressieren, schlagen die Autoren KITE (Knowledge-Integrated Text–Image Encoder) vor, ein einheitliches tri-modales Framework, das darauf ausgelegt ist, textuelle Inhalte, visuelle Hinweise und externes faktisches Wissen gemeinsam zu kodieren. Die Architektur besteht aus vier primären Phasen:

1. Input-Verarbeitung:

   • Text-Kodierung: Der Text des Nachrichtenartikels wird mittels RoBERTa verarbeitet, um reichhaltige semantische Embeddings zu generieren, die den kontextuellen Sinn erfassen.
   • Bild-Kodierung: Der visuelle Inhalt wird mittels CLIP (Contrastive Language-Image Pretraining) kodiert, um visuelle Merkmale mit textuellen Konzepten in einem gemeinsamen Embedding-Raum abzugleichen.

2. Wissensintegration:

   • Entitätsextraktion: Ein Modul zur Erkennung benannter Entitäten (Named Entity Recognition, NER, unter Verwendung von spaCy) extrahiert Schlüsselentitäten (Personen, Organisationen, Orte) aus dem Text.
   • Faktenabruf: Diese Entitäten werden gegen Wikidata abgefragt, um relevante faktische Tripel abzurufen.
   • Graph-Kodierung: Die abgerufenen Entitäts-Fakten-Beziehungen werden zu einem artikelspezifischen Mini-Wissensgraphen konstruiert. Dieser Graph wird mithilfe eines zweischichtigen Graph Attention Networks (GAT) kodiert. Im Gegensatz zu statischen Embedding-Methoden lernt das GAT dynamisch paarweise Aufmerksamkeitsgewichte zwischen den Knoten und optimiert die Kantengewichte spezifisch für das Ziel der Fake-News-Klassifizierung. Das Ergebnis ist ein 256-dimensionales Wissens-Embedding.

3. Tri-modale Fusion:

   • Die Text-, Bild- und Wissens-Embeddings werden als distinkte Token behandelt und in einen leichtgewichtigen Cross-Modal Transformer (CMT) eingespeist.
   • Innerhalb dieser einzelnen Transformer-Schicht ermöglicht ein Self-Attention-Mechanismus, dass alle drei Modalitäten direkt aufeinander aufmerksam nehmen können. Diese dynamische Ausrichtung ermöglicht es dem Modell, Inkonsistenzen nicht nur zwischen Text und Bildern zu erkennen, sondern auch Widersprüche zwischen dem Inhalt und externem faktischem Wissen.

4. Klassifizierung und Interpretierbarkeit:

   • Die fusionierte Repräsentation wird durch eine lineare Schicht mit einer Sigmoid-Aktivierungsfunktion zur binären Klassifizierung (Echt/Gefälscht) geleitet.
   • Gleichzeitig generiert das Modell modalitätsspezifische Konfidenzwerte für die Text-, Bild- und Wissensströme. Diese Scores werden unter einem Focal-Loss-Ziel gemeinsam mit dem Hauptklassifikator trainiert und bieten Interpretierbarkeit, indem sie angeben, welcher Input-Typ die Entscheidung am stärksten beeinflusst hat.

Zentrale Beiträge
Das Paper skizziert vier primäre Beiträge:

• Einheitliche tri-modale Fusion: KITE wird als das erste Framework präsentiert, in dem Text-, Bild- und Wissensgraph-Token innerhalb einer einzigen Transformer-Schicht direkt aufeinander aufmerksam werden. Dies steht im Gegensatz zu vorherigen Modellen (z. B. KAN), die Wissen erst nach einem separaten bimodalen Fusionsschritt injizieren, wodurch KITE in der Lage ist, semantische Widersprüche früher im Verarbeitungsprozess zu erkennen.
• Kontextsensitive GAT-Kodierung: Anstatt fester Entitäts-Embeddings oder statischer Graph Convolutional Networks (GCNs) konstruiert KITE einen dynamischen, artikelspezifischen Wissensgraphen. Das GAT lernt relationale Gewichte kontextuell, was reichhaltigere, faktengestützte Repräsentationen liefert.
• Drei-Wege-Cross-Modalität-Attention: Inspiriert von Cross-Modal Augmentation (CMA), operiert der Attention-Mechanismus von KITE gleichzeitig über alle drei Modalitäten innerhalb derselben Schicht und erfasst so Inkonsistenzen, die bimodale oder statische Fusionsmodelle übersehen.
• Interpretierbare Konfidenzbewertung: Das Modell gibt neben der endgültigen Vorhersage Konfidenzwerte für jede Modalität aus und bietet somit Einblicke darüber, ob die Entscheidung durch visuelle Hinweise, textuelle Inhalte oder faktisches Wissen getrieben wurde.

Experimentelle Ergebnisse
KITE wurde auf zwei Benchmark-Datensätzen aus der FakeNewsNet-Suite evaluiert: GossipCop (Unterhaltungsnachrichten) und PolitiFact (politische Nachrichten). Das Modell wurde gegen unimodale Baselines (BERT, XLNet, CNN) und State-of-the-Art-multimodale Baselines (MCAN, MCAN-A, SpotFake+, QMFND, KAN) verglichen.

• Leistung: KITE erzielte State-of-the-Art-Ergebnisse auf beiden Datensätzen. Auf GossipCop erreichte es eine Genauigkeit (Accuracy) von 0,885, einen Recall von 0,959 und einen F1-Score von 0,93, womit es die beste multimodale Baseline (QMFND) übertraf und die wissensbasierten Baselines wie KAN deutlich übertraf. Auf PolitiFact erreichte KITE eine Genauigkeit von 0,868 und einen F1-Score von 0,889 und übertraf damit erneut alle verglichenen Modelle.
• Analyse der Gewinne: Die Autoren führen diese Zuwächse auf die tri-modale Fusionsarchitektur zurück, welche den Recall verbessert, indem sie Text-Bild-Paare abfängt, die mit Wikidata kollidieren, und die Präzision erhöht, indem sie die Authentizität verstärkt, wenn alle drei Modalitäten übereinstimmen. Die dynamische GAT-Kodierung und das End-to-End-Fine-Tuning der finalen Schichten von RoBERTa und CLIP trugen ebenfalls zu den Leistungsverbesserungen bei.

Bedeutung und Limitationen
Das Paper behauptet, dass die Bedeutung von KITE in seiner Fähigkeit liegt, raffinierte Fake News zu erkennen, bei denen irreführende Sprache, Photoshop-Bilder und faktische Inkonsistenzen miteinander verwoben sind. Durch die direkte Integration externen Wissens in den Kern des Fusionsprozesses anstatt als Post-hoc-Prüfung bietet das Modell eine verbesserte Robustheit und Interpretierbarkeit.

Die Autoren räumen jedoch spezifische Limitationen ein:

• Fehlermodi: Das Modell kann bei irreführenden textuellen Inhalten, die Sarkasmus oder Satire beinhalten, sowie bei qualitativ minderwertigen oder irrelevanten visuellen Signalen, die Rauschen einführen, Schwierigkeiten haben.
• Datenbeschränkungen: Die Abhängigkeit vom FakeNewsNet-Datensatz erforderte eine umfangreiche manuelle Filterung, um rein textbasierte Artikel zu entfernen, was die Generalisierbarkeit potenziell einschränkt.
• Rechenaufwand: Die Experimente wurden aufgrund von Ressourcenbeschränkungen ausschließlich auf CPU-Hardware durchgeführt, was aufgrund der Latenz beim Wikidata-Abruf zu erheblichen Trainingszeiten (ca. 20 Stunden) führte.

Das Paper schließt mit dem Hinweis, dass zukünftige Arbeiten zwar die Leistung von KITE demonstrieren, sich die zukünftige Forschung jedoch auf automatische Datenaugmentation, kreisprachige Erkennung und Täuschungs-bewusste Lernstrategien konzentrieren sollte, um Effizienz und Robustheit weiter zu steigern.