KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Résumé Technique : KITE – Un Transformer Tri-Modal pour la Détection de Fausses Informations

Énoncé du Problème
L'évolution rapide des médias numériques a facilité la propagation de la désinformation sophistiquée qui mélange de manière fluide des textes trompeurs, des visuels manipulés et des affirmations factuellement incorrectes. Les méthodes de détection traditionnelles reposent souvent sur une analyse unimodale (texte uniquement ou image uniquement) ou emploient des stratégies de fusion bimodale qui traitent la connaissance externe comme une étape de post-traitement ou une couche de vérification distincte. Ces approches échouent fréquemment à détecter les incohérences sémantiques profondes, particulièrement lorsque des acteurs malveillants modifient délibérément le texte ou les images pour contourner la détection, ou lorsqu'il existe des contradictions subtiles entre le contenu et les faits réels vérifiés. Les cadres existants manquent de la capacité de modéliser conjointement les représentations textuelles, visuelles et de connaissances factuelles au sein d'un processus de fusion central unifié.

Méthodologie
Pour répondre à ces limites, les auteurs proposent KITE (Knowledge-Integrated Text–Image Encoder), un cadre tri-modal unifié conçu pour encoder conjointement le contenu textuel, les indices visuels et les connaissances factuelles externes. L'architecture se compose de quatre étapes principales :

1. Traitement des Entrées :

   • Encodage Textuel : Le texte de l'article de presse est traité via RoBERTa pour générer des plongements (embeddings) sémantiques riches qui capturent la signification contextuelle.
   • Encodage Visuel : Le contenu visuel est encodé à l'aide de CLIP (Contrastive Language-Image Pretraining) afin d'aligner les caractéristiques visuelles avec les concepts textuels dans un espace de plongement partagé.

2. Intégration des Connaissances :

   • Extraction d'Entités : Un module de reconnaissance d'entités nommées (NER) utilisant spaCy extrait les entités clés (personnes, organisations, lieux) du texte.
   • Récupération de Faits : Ces entités sont interrogées auprès de Wikidata pour récupérer des triplets factuels pertinents.
   • Encodage de Graphe : Les relations entité-fait récupérées sont construites sous la forme d'un mini-graphe de connaissances spécifique à l'article. Ce graphe est encodé à l'aide d'un Réseau d'Attention sur Graphe (GAT) à deux couches. Contrairement aux méthodes d'encodage statique, le GAT apprend dynamiquement des poids d'attention par paire entre les nœuds, optimisant les poids des arêtes spécifiquement pour l'objectif de classification de la fausse information. La sortie est un plongement de connaissance de 256 dimensions.

3. Fusion Tri-Modale :

   • Les plongements textuels, visuels et de connaissance sont traités comme des jetons (tokens) distincts et injectés dans un Transformer Cross-Modal (CMT) léger.
   • Au sein de cette couche unique de Transformer, un mécanisme d'auto-attention permet aux trois modalités de s'attendre directement les unes aux autres. Cet alignement dynamique permet de détecter les incohérences non seulement entre le texte et les images, mais aussi les contradictions entre le contenu et les connaissances factuelles externes.

4. Classification et Interprétabilité :

   • La représentation fusionnée est transmise à une couche linéaire avec une activation sigmoïde pour une classification binaire (Réel/Faux).
   • Simultanément, le modèle génère des scores de confiance spécifiques à la modalité pour les flux textuel, visuel et de connaissance. Ces scores sont entraînés conjointement avec le classificateur principal sous un objectif de perte focale (focal-loss), offrant une interprétabilité en indiquant quel type d'entrée a le plus influencé la décision finale.

Contributions Clés
Le document souligne quatre contributions principales :

• Fusion Tri-Modale Unifiée : KITE est présenté comme le premier cadre où les jetons de texte, d'image et de graphe de connaissances s'attendent directement les uns aux autres au sein d'une seule couche Transformer. Cela contraste avec les modèles précédents (ex. KAN) qui injectent la connaissance uniquement après une étape de fusion bimodale séparée, permettant à KITE de détecter les contradictions sémantiques plus tôt dans le pipeline de traitement.
• Encodage GAT Sensible au Contexte : Au lieu d'utiliser des plongements d'entités fixes ou des réseaux de convolution sur graphes (GCN) statiques, KITE construit un graphe de connaissances dynamique et spécifique à l'article. Le GAT apprend les poids relationnels de manière contextuelle, fournissant des représentations plus riches et fondées sur les faits.
• Attention Cross-Modale à Trois Voies : Inspiré par l'augmentation cross-modale (CMA), le mécanisme d'attention de KITE opère sur les trois modalités simultanément au sein de la même couche, capturant les incohérences que les modèles bimodaux ou de fusion statique manquent.
• Score de Confiance Interprétable : Le modèle produit des scores de confiance pour chaque modalité aux côtés de la prédiction finale, offrant des informations sur la question de savoir si la décision a été dictée par les indices visuels, le contenu textuel ou les connaissances factuelles.

Résultats Expérimentaux
KITE a été évalué sur deux ensembles de données de référence issus de la suite FakeNewsNet : GossipCop (actualités de divertissement) et PolitiFact (actualités politiques). Le modèle a été comparé à des bases unimodales (BERT, XLNet, CNN) et à des bases multimodales de pointe (MCAN, MCAN-A, SpotFake+, QMFND, KAN).

• Performance : KITE a atteint des résultats de pointe sur les deux ensembles de données. Sur GossipCop, il a atteint une précision (accuracy) de 0,885, un rappel (recall) de 0,959 et un score F1 de 0,93, surpassant la meilleure base multimodale (QMFND) et dépassant significativement les bases fondées sur la connaissance comme KAN. Sur PolitiFact, KITE a atteint une précision de 0,868 et un score F1 de 0,889, surpassant à nouveau tous les modèles comparés.
• Analyse des Gains : Les auteurs attribuent ces gains à l'architecture de fusion tri-modale, qui améliore le rappel en détectant les paires texte-image qui entrent en conflit avec Wikidata, et améliore la précision en renforçant l'authenticité lorsque les trois modalités concordent. L'encodage dynamique par GAT et le réglage fin (fine-tuning) de bout en bout des dernières couches de RoBERTa et CLIP ont également contribué aux améliorations de performance.

Signification et Limites
Le papier affirme que la signification de KITE réside dans sa capacité à détecter des fausses informations sophistiquées où le langage trompeur, les photos montages et les incohérences factuelles sont entrelacés. En intégrant les connaissances externes directement dans le processus de fusion central plutôt que comme une vérification a posteriori, le modèle offre une robustesse et une interprétabilité accrues.

Cependant, les auteurs reconnaissent des limites spécifiques :

• Modes d'Échec : Le modèle peut éprouver des difficultés face à des contenus textuels trompeurs impliquant du sarcasme ou de la satire, et des signaux visuels de faible qualité ou non pertinents peuvent introduire du bruit.
• Contraintes de Données : La dépendance à l'ensemble de données FakeNewsNet a nécessité un filtrage manuel important pour supprimer les articles textuels seuls, ce qui pourrait limiter la généralisabilité.
• Surcharge de Calcul : Les expériences ont été menées exclusivement sur du matériel CPU en raison de contraintes de ressources, ce qui a entraîné des temps d'entraînement importants (environ 20 heures) dus à la latence de récupération de Wikidata.

Le papier conclut que bien que KITE démontre une performance supérieure, les travaux futurs devraient se concentrer sur l'augmentation automatique des données, la détection translingue et les stratégies d'apprentissage sensibles à la tromperie pour améliorer davantage l'efficacité et la robustesse.