KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Resumo Técnico: KITE – Um Transformer Tri-Modal para Detecção de Fake News

Definição do Problema
A rápida evolução da mídia digital facilitou a disseminação de desinformação sofisticada que combina perfeitamente textos enganosos, visuais manipulados e alegações factualmente incorretas. Os métodos de detecção tradicionais frequentemente dependem de análise de modalidade única (apenas texto ou apenas imagem) ou empregam estratégias de fusão bimodal que tratam o conhecimento externo como uma etapa de pós-processamento ou uma camada de verificação separada. Essas abordagens frequentemente falham em detectar inconsistências semânticas profundas, particularmente quando atores maliciosos alteram deliberadamente o texto ou as imagens para burlar a detecção, ou quando existem contradições sutis entre o conteúdo e os fatos reais verificados. Os frameworks existentes carecem da capacidade de modelar conjuntamente representações de conteúdo textual, visual e de conhecimento factual dentro de um processo central de fusão unificado.

Metodologia
Para abordar essas limitações, os autores propõem o KITE (Knowledge-Integrated Text–Image Encoder), um framework tri-modal unificado projetado para codificar conjuntamente o conteúdo textual, pistas visuais e conhecimento factual externo. A arquitetura consiste em quatro estágios primários:

1. Processamento de Entrada:

   • Codificação de Texto: O texto do artigo de notícia é processado usando RoBERTa para gerar embeddings semânticos ricos que capturam o significado contextual.
   • Codificação de Imagem: O conteúdo visual é codificado usando CLIP (Contrastive Language-Image Pretraining) para alinhar características visuais com conceitos textuais em um espaço de embedding compartilhado.

2. Integração de Conhecimento:

   • Extração de Entidades: Um módulo de Reconhecimento de Entidades Nomeadas (NER) (usando spaCy) extrai entidades-chave (pessoas, organizações, locais) do texto.
   • Recuperação de Fatos: Essas entidades são consultadas na Wikidata para recuperar triplas factuais relevantes.
   • Codificação de Grafo: As relações entidade-fato recuperadas são construídas em um mini-grafo de conhecimento específico do artigo. Este grafo é codificado usando uma Rede de Atenção de Grafos (GAT) de duas camadas. Diferente dos métodos de embedding estáticos, a GAT aprende dinamicamente pesos de atenção par a par entre os nós, otimizando os pesos das arestas especificamente para o objetivo de classificação de fake news. O resultado é um embedding de conhecimento de 256 dimensões.

3. Fusão Tri-Modal:

   • Os embeddings de texto, imagem e conhecimento são tratados como tokens distintos e alimentados em um Transformer Cross-Modal (CMT) leve.
   • Dentro desta única camada de Transformer, um mecanismo de autoatenção permite que as três modalidades atentem diretamente umas às outras. Esse alinhamento dinâmico permite ao modelo detectar inconsistências não apenas entre texto e imagens, mas também contradições entre o conteúdo e o conhecimento factual externo.

4. Classificação e Interpretabilidade:

   • A representação fundida é passada por uma camada linear com uma ativação sigmoid para classificação binária (Real/Falso).
   • Simultaneamente, o modelo gera pontuações de confiança específicas por modalidade para os fluxos de texto, imagem e conhecimento. Essas pontuações são treinadas conjuntamente com o classificador principal sob um objetivo de focal-loss, proporcionando interpretabilidade ao indicar qual tipo de entrada mais influenciou a decisão final.

Principais Contribuições
O artigo descreve quatro contribuições primárias:

• Fusão Tri-Modal Unificada: O KITE é apresentado como o primeiro framework onde os tokens de texto, imagem e grafo de conhecimento atentam diretamente entre si dentro de uma única camada de Transformer. Isso contrasta com modelos anteriores (ex: KAN) que injetam conhecimento apenas após uma etapa de fusão bimodal separada, permitindo que o KITE detecte contradições semânticas mais cedo no pipeline de processamento.
• Codificação GAT Sensível ao Contexto: Em vez de usar embeddings de entidades fixos ou Redes Convolucionais de Grafos (GCNs) estáticas, o KITE constrói um grafo de conhecimento dinâmico e específico do artigo. A GAT aprende pesos relacionais contextualmente, fornecendo representações mais ricas e fundamentadas em fatos.
• Atenção Cross-Modality de Três Vias: Inspirado pela Augmentação Cross-Modal (CMA), o mecanismo de atenção do KITE opera através de todas as três modalidades simultaneamente na mesma camada, capturando inconsistências que modelos bimodais ou de fusão estática perdem.
• Pontuação de Confiança Interpretável: O modelo gera pontuações de confiança para cada modalidade junto com a previsão final, oferecendo insights sobre se a decisão foi impulsionada por pistas visuais, conteúdo textual ou conhecimento factual.

Resultados Experimentais
O KITE foi avaliado em dois conjuntos de dados de referência do suíte FakeNewsNet: GossipCop (notícias de entretenimento) e PolitiFact (notícias políticas). O modelo foi comparado contra baselines unimodais (BERT, XLNet, CNN) e baselines multimodais de estado da arte (MCAN, MCAN-A, SpotFake+, QMFND, KAN).

• Desempenho: O KITE alcançou resultados de estado da arte em ambos os datasets. No GossipCop, atingiu uma acurácia de 0,885, recall de 0,959 e F1 score de 0,93, superando o melhor baseline multimodal (QMFND) e superando significativamente os baselines conscientes de conhecimento como o KAN. No PolitiFact, o KITE alcançou uma acurácia de 0,868 e um F1 score de 0,889, novamente superando todos os modelos comparados.
• Análise de Ganhos: Os autores atribuem esses ganhos à arquitetura de fusão tri-modal, que melhora o recall ao capturar pares texto-imagem que conflitam com a Wikidata, e melhora a precisão ao reforçar a autenticidade quando as três modalidades concordam. A codificação dinâmica da GAT e o ajuste fino de ponta a ponta das camadas finais do RoBERTa e CLIP também contribuíram para as melhorias de desempenho.

Significância e Limitações
O artigo afirma que a significância do KITE reside em sua capacidade de detectar fake news sofisticadas onde linguagem enganosa, fotos montagens e inconsistências factuais estão entrelaçadas. Ao integrar o conhecimento externo diretamente no processo central de fusão, em vez de como uma verificação post-hoc, o modelo oferece maior robustez e interpretabilidade.

No entanto, os autores reconhecem limitações específicas:

• Modos de Falha: O modelo pode ter dificuldades com conteúdos textuais enganosos envolvendo sarcasmo ou sátira, e sinais visuais de baixa qualidade ou irrelevantes podem introduzir ruído.
• Restrições de Dados: A dependência do dataset FakeNewsNet exigiu filtragem manual extensiva para remover artigos apenas de texto, o que pode restringir a generalização.
• Sobrecarga Computacional: Os experimentos foram conduzidos exclusivamente em hardware de CPU devido a restrições de recursos, levando a tempos de treinamento significativos (aprox. 20 horas) devido à latência de recuperação da Wikidata.

O artigo conclui que, embora o KITE demonstre desempenho superior, trabalhos futuros devem focar em aumento de dados automático, detecção cross-lingual e estratégias de aprendizado consciente de decepção para aumentar ainda mais a eficiência e a robustez.