Reliable News or Propagandist News? A Neurosymbolic Model Using Genre, Topic, and Persuasion Techniques to Improve Robustness in Classification

Resumen Técnico: Detección de Noticias Propagandísticas mediante un Modelo Neurosimbólico

1. El Problema

La proliferación de la "desorden informativa" (news disorder), y en particular de las noticias propagandísticas, representa un desafío crítico. A diferencia de la desinformación pura, la propaganda es insidiosa porque mezcla mensajes orientados con reportes factuales, imitando las convenciones del periodismo legítimo para parecer noticias fiables.

Los enfoques actuales basados en Modelos de Lenguaje (LLMs) como BERT o RoBERTa muestran un alto rendimiento en conjuntos de datos específicos, pero sufren de:

• Sobreajuste (Overfitting): Aprenden artefactos del conjunto de datos en lugar de patrones generales.
• Baja robustez: Fallan al generalizar a nuevas fuentes, géneros o contextos políticos no vistos durante el entrenamiento.
• Falta de interpretabilidad: Es difícil entender por qué un modelo de "caja negra" clasifica un artículo como propaganda.

2. Metodología

Los autores proponen un enfoque neurosimbólico híbrido que combina representaciones neuronales densas con características simbólicas interpretables.

• Datos: Se utilizaron dos corpus principales (versión en inglés):
  • PPN (Propagandist Pseudo-News): 3.219 artículos de fuentes identificadas como propagandistas (creadas tras la invasión rusa de Ucrania).
  • MAINSTREAM: 1.004 artículos de prensa legítima sobre el mismo conflicto.
• Arquitectura del Modelo:
  1. Componente Neuronal (Texto): Se utilizan embeddings de texto no contextuales (fastText) para generar un vector de 300 dimensiones que captura las características léxicas distribucionales.
  2. Componente Simbólico (Conceptos): Se extraen y codifican características estructurales y semánticas:
     • Género: Codificación one-hot (3 dimensiones: Reportaje, Opinión, Sátira).
     • Tema: Codificación one-hot (9 dimensiones basadas en distribuciones temáticas).
     • Técnicas de Persuasión: Conteo de técnicas específicas (23 dimensiones finas) o agrupadas (6 dimensiones gruesas), basadas en la taxonomía de SemEval-2023.
  3. Fusión: Los vectores se concatenan (300 + 3 + 9 + 23 = 335 dimensiones) y se alimentan a un perceptrón de dos capas (Dense + ReLU + Sigmoid) para obtener una puntuación de probabilidad de propaganda.
• Estrategia de Evaluación (Robustez):
  Para evitar el sobreajuste y medir la generalización, se diseñaron cuatro tipos de particiones de datos (Train/Valid/Test) que introducen sesgos intencionales:
  • Aleatorio: Muestreo estándar (80/10/10).
  • Fuentes: El modelo entrena con un conjunto de medios y se prueba en medios totalmente nuevos.
  • Político: Entrenamiento con medios de una tendencia política y prueba en la opuesta.
  • Credibilidad: Entrenamiento con fuentes de alta credibilidad y prueba en fuentes de baja credibilidad (incluyendo toda la propaganda).

3. Contribuciones Clave

1. Modelo Híbrido Neurosimbólico: Integración exitosa de embeddings de texto estáticos con características simbólicas extraídas (género, tema, persuasión) para mejorar la generalización.
2. Análisis de Robustez: Demostración de que los modelos puramente textuales colapsan cuando se enfrentan a nuevas fuentes o cambios de credibilidad, mientras que el modelo híbrido mantiene su rendimiento.
3. Explicabilidad: Al utilizar una arquitectura simple y características simbólicas explícitas, el modelo permite análisis de explicabilidad (usando SHAP) para entender qué factores (texto vs. concepto) impulsan la decisión.
4. Identificación de Sesgos: Se evidencia que la diversidad política en el conjunto de entrenamiento es crucial; sin ella, incluso los modelos híbridos sufren.

4. Resultados

Los experimentos compararon tres variantes: Solo Texto (fastText), Híbrido Lite (con técnicas de persuisión gruesas) y Híbrido (con técnicas finas).

• Rendimiento General: El método Híbrido superó consistentemente al método "Solo Texto" en términos de robustez, logrando un promedio de F1 = 86.12 con la menor varianza.
• Análisis por Partición:
  • En particiones Aleatorias, el modelo "Solo Texto" funcionó bien (incluso mejor que el híbrido en algunos casos), sugiriendo que el texto es suficiente cuando las distribuciones de entrenamiento y prueba son similares.
  • En particiones Fuentes y Credibilidad, el modelo "Solo Texto" falló catastróficamente (F1 = 0.0 en Credibilidad), mientras que el modelo Híbrido mantuvo un F1 alto (~86-88%).
  • En la partición Política, ambos modelos tuvieron dificultades, indicando que la diversidad política en el entrenamiento es un requisito previo indispensable.
• Análisis SHAP:
  • En casos aleatorios, los embeddings de texto fueron los principales contribuyentes a la decisión.
  • En casos de Credibilidad y Fuentes nuevas, las características de persuasión y género (componentes simbólicos) se volvieron dominantes, demostrando que el modelo aprendió a confiar en estas señales estructurales cuando el texto por sí solo no era informativo o era engañoso.

5. Significado e Impacto

Este trabajo demuestra que para detectar propaganda de manera robusta, no basta con analizar el contenido textual; es necesario incorporar conocimiento estructural y contextual (género, técnicas retóricas).

• Implicación Práctica: Los sistemas de detección de desinformación deben evolucionar hacia arquitecturas híbridas que no dependan exclusivamente de la semántica profunda de los LLMs, sino que integren señales simbólicas para resistir la adaptación de los actores maliciosos a nuevos contextos.
• Limitaciones y Futuro: El estudio se centró en el conflicto Rusia-Ucrania y en inglés. Se sugiere extender el enfoque a otros temas (elecciones, otros conflictos) y lenguas, así como explorar la integración de estimaciones de fiabilidad de fuentes como una característica adicional.

En conclusión, la combinación de representaciones neuronales y características simbólicas ofrece una vía prometedora para crear detectores de propaganda más fiables, explicables y resistentes a la manipulación de fuentes y contextos.