Conspiracy Frame: a Semiotically-Driven Approach for Conspiracy Theories Detection

Resumen Técnico: Enfoque Semiótico para la Detección de Teorías de la Conspiración

1. El Problema

Las teorías de la conspiración (TC) son narrativas anti-autoritarias que fomentan el conflicto social y distorsionan la percepción de la información política. A pesar de su impacto en la desinformación, la detección automática mediante Procesamiento del Lenguaje Natural (NLP) enfrenta dos desafíos principales:

• Definición y Anotación Computacional: La mayoría de los corpus existentes utilizan clasificación binaria (conspiración vs. no conspiración) o multietiqueta. Este enfoque carece de granularidad, no distingue la estructura interna de las narrativas y tiene dificultades para diferenciar TC de otros desórdenes informativos (como la propaganda o la desinformación general). Además, la subjetividad en la definición de TC hace que las etiquetas binarias sean poco fiables.
• Falta de Generalización: Los recursos actuales suelen estar restringidos a temas específicos (ej. COVID-19, vacunas, 5G), lo que limita la capacidad de los modelos para reconocer patrones conspirativos en nuevos dominios o contextos geopolíticos.

2. Metodología

Los autores proponen un enfoque basado en la semántica de marcos (frame semantics) y la semiótica para capturar la estructura narrativa de las TC, más allá de su contenido temático.

• El "Conspiracy Frame" (Marco de Conspiración):
  Se define una representación semántica de alto nivel derivada de la literatura semiótica (Birchall, Leone et al.). Este marco identifica cinco elementos estructurales clave en una narrativa conspirativa:

  1. Plan (Core): El evento o acción malévola ejecutada por un grupo.
  2. Secreto (Core): La naturaleza oculta o encubierta del plan.
  3. Grupo Interno (No Core): Las víctimas ("nosotros").
  4. Grupo Externo (No Core): El enemigo ("ellos").
  5. Llamada a la Acción (No Core): Lo que se debe hacer para evitar la catástrofe.

• Creación del Dataset Con.Fra.:

  • Recolección: Se extrajeron mensajes de Telegram (plataforma clave para la difusión de TC) de 35 canales principales seleccionados para diversificar temas y demografía.
  • Anotación: Se realizó un taller de anotación participativo con estudiantes y investigadores. Se anotaron 2,077 mensajes a nivel de fragmento (span-level) identificando los elementos del marco.
  • Evaluación: Se calculó el acuerdo inter-anotador (Kappa de Cohen), mostrando acuerdo moderado en la clasificación binaria (0.41) y acuerdo sustancial en la detección de fragmentos (ej. Plan $\kappa=0.808$).
  • Mapeo a FrameNet: Los fragmentos anotados se alinearon léxicamente con el corpus FrameNet para identificar patrones semánticos abstractos (ej. Kinship, Ingest_substance, EXECUTE_PLAN).

• Experimentos con LLMs:
  Se evaluó la capacidad de modelos de lenguaje grandes (LLaMA-3.3 de 8B y 70B) para detectar TC y sus fragmentos en escenarios in-domain (datos de entrenamiento) y out-of-domain (canales no vistos). Se compararon tres estrategias de prompting:

  1. Zero-shot: Sin ejemplos.
  2. Few-shot: Con ejemplos de anotación.
  3. Frame-guided: Inyección de pistas semánticas basadas en los marcos de FrameNet en el contexto.

3. Contribuciones Clave

1. Marco Teórico-Computacional: Introducción del "Conspiracy Frame", que traduce definiciones semióticas abstractas en una estructura de anotación operativa para NLP.
2. Dataset Con.Fra.: Un corpus de Telegram anotado a nivel de fragmento, diseñado para ser generalizable y no limitado a temas específicos (salud, política actual), centrado en la estructura narrativa.
3. Análisis de Generalización: Evaluación rigurosa de LLMs fuera del dominio de entrenamiento, utilizando un sistema de puntuación ELO para comparar la preferencia humana entre diferentes estrategias de inferencia.
4. Análisis Semántico: Descubrimiento de patrones abstractos en las TC mediante la alineación con FrameNet, revelando cómo las TC utilizan metáforas de invasión, contagio y guerra (Ingest_substance, Firefighting) independientemente del tema.

4. Resultados

• Rendimiento de Modelos:

  • El tamaño del modelo (70B vs 8B) tuvo un impacto moderado pero positivo (mejora de ~3 puntos en F-score).
  • Estrategias de Prompting: No hubo una mejora clara en el F-score general al inyectar marcos semánticos (frame-guided) en comparación con few-shot. De hecho, el enfoque zero-shot tuvo mayor precisión, mientras que few-shot y frame-guided mejoraron la recuperación (recall).
  • Detección de Fragmentos: El enfoque zero-shot fue el peor en detectar todos los elementos del marco. El enfoque frame-guided superó a few-shot en la detección de "Grupo Interno" y "Llamada a la acción", pero few-shot fue mejor detectando "Grupo Externo".

• Análisis de Errores y Preferencias Humanas:

  • Los anotadores humanos prefirieron el modelo frame-guided cuando este capturaba la completitud narrativa y mecanismos específicos (ej. detalles sobre cómo se activa un patógeno), mientras que el modelo few-shot a veces extraía solo palabras clave fragmentadas.
  • Sin embargo, el modelo frame-guided a veces cometía falsos positivos al forzar estructuras semánticas en textos simples o confundir elementos (ej. fusionar "plan" y "secreto").
  • En la evaluación out-of-domain, el modelo frame-guided superó al few-shot en clasificación de texto (830/1000 victorias ELO), pero perdió en la detección de fragmentos (213/1000).

• Hallazgos Semánticos:

  • Los marcos más recurrentes en las TC no son los obvios (como Secret o Plan en FrameNet), sino marcos relacionados con el poder institucional (Political_Locales) y la comunicación engañosa (Statement).
  • Las TC utilizan frecuentemente marcos de ingestión de sustancias y lucha contra incendios, reforzando la retórica de invasión y amenaza existencial.

5. Significado y Conclusiones

El trabajo demuestra que, aunque la inyección directa de marcos semánticos en prompts de LLMs no mejora drásticamente las métricas de precisión estándar de inmediato, es crucial para la explicabilidad y la comprensión estructural de las TC.

• Generalización: El enfoque basado en la estructura (marcos) en lugar del contenido temático permite una mejor generalización a nuevos contextos.
• Futuro: Los autores proponen que el verdadero potencial reside en integrar la semántica de marcos mediante el ajuste fino (fine-tuning) o el pre-entrenamiento de modelos sobre grafos de conocimiento construidos a partir de FrameNet. Esto permitiría a los modelos internalizar las relaciones semánticas profundas de las narrativas conspirativas, superando las limitaciones de los enfoques superficiales basados en prompts.

En resumen, el artículo establece un nuevo paradigma para la detección de teorías de la conspiración, moviéndose desde la clasificación temática hacia un análisis estructural y semiótico que puede ser más robusto y generalizable en el futuro.