KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

Resumen Técnico: KITE – Un Transformador Tri-Modal para la Detección de Noticias Falsas

Planteamiento del Problema
La rápida evolución de los medios digitales ha facilitado la propagación de desinformación sofisticada que combina de manera fluida texto engañoso, elementos visuales manipulados y afirmaciones fácticamente incorrectas. Los métodos de detección tradicionales suelen depender del análisis de una sola modalidad (solo texto o solo imagen) o emplean estrategias de fusión bimodal que tratan el conocimiento externo como un paso de post-procesamiento o una capa de verificación separada. Estos enfoques suelen fallar al detectar inconsistencias semánticas profundas, particularmente cuando los actores malintencionados alteran deliberadamente el texto o las imágenes para evadir la detección, o cuando existen contradicciones sutiles entre el contenido y los hechos reales verificados. Los marcos existentes carecen de la capacidad de modelar conjuntamente las representaciones de texto, visuales y de conocimiento factual dentro de un proceso de fusión central unificado.

Metodología
Para abordar estas limitaciones, los autores proponen KITE (Knowledge-Integrated Text–Image Encoder), un marco tri-modal unificado diseñado para codificar conjuntamente el contenido textual, las señales visuales y el conocimiento factual externo. La arquitectura consta de cuatro etapas primarias:

1. Procesamiento de Entrada:

   • Codificación de Texto: El texto del artículo de noticias se procesa utilizando RoBERTa para generar incrustaciones (embeddings) semánticas ricas que capturan el significado contextual.
   • Codificación de Imagen: El contenido visual se codifica utilizando CLIP (Contrastive Language-Image Pretraining) para alinear las características visuales con los conceptos textuales en un espacio de incrustación compartido.

2. Integración de Conocimiento:

   • Extracción de Entidades: Un módulo de Reconocimiento de Entidades Nombradas (NER) (usando spaCy) extrae entidades clave (personas, organizaciones, ubicaciones) del texto.
   • Recuperación de Hechos: Estas entidades se consultan en Wikidata para recuperar triples de hechos relevantes.
   • Codificación de Grafo: Las relaciones entidad-hecho recuperadas se construyen en un mini grafo de conocimiento específico del artículo. Este grafo es codificado mediante una Red de Atención de Grafos (GAT) de dos capas. A diferencia de los métodos de incrustación estática, la GAT aprende dinámicamente los pesos de atención por pares entre nodos, optimizando los pesos de las aristas específicamente para el objetivo de clasificación de noticias falsas. El resultado es una incrustación de conocimiento de 256 dimensiones.

3. Fusión Tri-Modal:

   • Las incrustaciones de texto, imagen y conocimiento son tratadas como tokens distintos y se introducen en un Transformador de Intercambio de Modalidades (CMT) ligero.
   • Dentro de esta única capa de Transformador, un mecanismo de auto-atención permite que las tres modalidades se atiendan directamente entre sí. Esta alineación dinámica permite al modelo detectar inconsistencias no solo entre texto e imágenes, sino también contradicciones entre el contenido y el conocimiento factual externo.

4. Clasificación e Interpretabilidad:

   • La representación fusionada se pasa a través de una capa lineal con una activación sigmoide para la clasificación binaria (Real/Falso).
   • Simultáneamente, el modelo genera puntuaciones de confianza específicas de la modalidad para las corrientes de texto, imagen y conocimiento. Estas puntuaciones se entrenan conjuntamente con el clasificador principal bajo un objetivo de pérdida focal (focal-loss), proporcionando interpretabilidad al indicar qué tipo de entrada influyó más en la decisión final.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

• Fusión Tri-Modal Unificada: KITE se presenta como el primer marco donde los tokens de texto, imagen y grafo de conocimiento se atienden directamente entre sí dentro de una sola capa de Transformador. Esto contrasta con modelos previos (por ejemplo, KAN) que inyectan el conocimiento solo después de un paso de fusión bimodal separado, permitiendo que KITE detecte contradicencias semánticas más temprano en el proceso de procesamiento.
• Codificación GAT Sensible al Contexto: En lugar de utilizar incrustaciones de entidades fijas o Redes Convolucionales de Grafos (GCN) estáticas, KITE construye un grafo de conocimiento dinámico y específico de cada artículo. La GAT aprende pesos relacionales de forma contextual, proporcionando representaciones más ricas y fundamentadas en hechos.
• Atención de Intercambio de Tres Vías: Inspirado en el Aumento de Intercambio de Modalidades (CMA), el mecanismo de atención de KITE opera a través de las tres modalidades simultáneamente dentro de la misma capa, capturando inconsistencias que los modelos bimodales o de fusión estática pasan por alto.
• Puntuación de Confianza Interpretable: El modelo emite puntuaciones de confianza para cada modalidad junto con la predicción final, ofreciendo información sobre si la decisión fue impulsada por señales visuales, contenido textual o conocimiento factual.

Resultados Experimentales
KITE fue evaluado en dos conjuntos de datos de referencia de la suite FakeNewsNet: GossipCop (noticias de entretenimiento) y PolitiFact (noticias políticas). El modelo se comparó contra líneas base unimodales (BERT, XLNet, CNN) y líneas base multimodales de vanguardia (MCAN, MCAN-A, SpotFake+, QMFND, KAN).

• Desempeño: KITE alcanzó resultados de vanguardia en ambos conjuntos de datos. En GossipCop, alcanzó una precisión de 0.885, un recall de 0.959 y una puntuación F1 de 0.93, superando a la mejor línea base multimodal (QMFND) y superando significativamente a las líneas base conscientes del conocimiento como KAN. En PolitiFact, KITE logró una precisión de 0.868 y una puntuación F1 de 0.889, superando nuevamente a todos los modelos comparados.
• Análisis de Ganancias: Los autores atribuyen estas ganancias a la arquitectura de fusión tri-modal, que mejora el recall al detectar pares de texto-imagen que entran en conflicto con Wikidata, y mejora la precisión al reforzar la autenticidad cuando las tres modalidades coinciden. La codificación dinámica de la GAT y el ajuste fino de extremo a extremo de las últimas capas de RoBERTa y CLIP también contribuyeron a las mejoras de rendimiento.

Significancia y Limitaciones
El artículo afirma que la importancia de KITE radica en su capacidad para detectar noticias falsas sofisticadas donde el lenguaje engañoso, las fotos manipuladas y las inconsistencias fácticas están entrelazados. Al integrar el conocimiento externo directamente en el proceso de fusión central en lugar de como una verificación post-hoc, el modelo ofrece una mayor robustez e interpretabilidad.

Sin embargo, los autores reconocen limitaciones específicas:

• Modos de Fallo: El modelo puede tener dificultades con contenido textual engañoso que involucre sarcasmo o sátira, y las señales visuales de baja calidad o irrelevantes pueden introducir ruido.
• Restricciones de Datos: La dependencia del conjunto de datos FakeNewsNet requirió un filtrado manual extensivo para eliminar artículos de solo texto, lo que podría restringir la generalizabilidad.
• Sobrecarga Computacional: Los experimentos se realizaron exclusivamente en hardware de CPU debido a restricciones de recursos, lo que derivó en tiempos de entrenamiento significativos (aproximadamente 20 horas) debido a la latencia de recuperación de Wikidata.

El artículo concluye que, si bien KITE demuestra un desempeño superior, el trabajo futuro debería centrarse en el aumento automático de datos, la detección multilingüe y las estrategias de aprendizaje conscientes del engaño para mejorar aún más la eficiencia y la robustez.