Conspiracy Frame: a Semiotically-Driven Approach for Conspiracy Theories Detection

1. O Problema

As teorias da conspiração (TCs) são narrativas anti-autoritárias que geram conflito social e distorcem a percepção da realidade política. Apesar do avanço na detecção automática de desinformação, existem dois desafios principais na área de Processamento de Linguagem Natural (NLP):

• Definição e Anotação Computacional: A maioria dos conjuntos de dados existentes trata as TCs como uma classe binária (conspiratório vs. não conspiratório) ou tópicos específicos (ex: COVID-19, vacinas). Essa abordagem não captura a estrutura narrativa interna das TCs, dificultando a distinção entre conspiração, propaganda e desinformação geral.
• Falta de Generalização: Os recursos atuais são frequentemente restritos a domínios temáticos específicos, limitando a capacidade dos modelos de reconhecerem padrões conspiratórios em novos contextos ou tópicos.

2. Metodologia

A proposta do trabalho é uma abordagem semioticamente orientada que combina Semântica de Frames (Frame Semantics) e Semiótica para criar uma representação semântica fina das narrativas conspiratórias.

A. O "Conspiracy Frame" (Con.Fra.)

Os autores definem um esquema de anotação baseado em cinco elementos de frame, derivados da definição semiótica de TC (Birchall, 2006; Leone et al., 2021):

1. Plan (Plano): O evento ou ação tomada para atingir um fim maligno (elemento central).
2. Secret (Segredo): A conotação de que o plano é oculto ou realizado à revelia (elemento central).
3. In-group (Grupo Interno): As vítimas ("nós").
4. Out-group (Grupo Externo): Os inimigos/agressores ("eles").
5. Call-to-action (Chamada para Ação): O que deve ser feito para evitar a catástrofe.

B. Criação do Dataset (Con.Fra.)

• Coleta de Dados: Coleta massiva de mensagens do Telegram (plataforma conhecida por disseminar desinformação), selecionando os 35 canais com maior número de assinantes para garantir diversidade demográfica e geopolítica.
• Processo de Anotação: Realizado em duas sessões com estudantes e pesquisadores:
  1. Criação do Corpus: 2.077 mensagens anotadas em nível de span (trecho de texto) pelos 5 elementos do frame.
  2. Avaliação de Generalização: 500 mensagens de canais não vistos anteriormente para avaliar a capacidade de generalização de LLMs.
• Alinhamento com FrameNet: Os trechos anotados (spans) foram mapeados lexicamente para o FrameNet (um banco de dados de frames semânticos) para identificar padrões semânticos abstratos (ex: Kinship, Ingest_substance, EXECUTE_PLAN).

C. Configuração Experimental

• Modelos: Uso de LLaMA-3.3 (versões 8B e 70B).
• Abordagens de Prompting:
  • Zero-shot: Sem exemplos.
  • Few-shot: Com exemplos de anotação.
  • Frame-guided: Injeção de dicas de frames do FrameNet no prompt para guiar a detecção.
• Métricas: Precisão, Recall, F-score para tarefas in-domain e sistema de classificação ELO para avaliação out-of-domain (comparação humana de preferências entre modelos).

3. Contribuições Principais

1. Conspiracy Frame: Uma nova representação semântica que estrutura as TCs não pelo conteúdo temático, mas pela sua estrutura narrativa (plano, segredo, grupos, ação).
2. Dataset Con.Fra.: Um corpus de 2.577 mensagens do Telegram anotadas em nível de span, focado na estrutura das TCs, permitindo análise mais granular do que classificações binárias.
3. Análise de Generalização: Avaliação robusta de como LLMs performam na detecção de TCs em domínios não vistos, testando a utilidade da injeção de conhecimento semântico (frames).
4. Mapeamento Semântico: Demonstração de como a anotação de spans pode ser alinhada com o FrameNet, revelando padrões abstratos recorrentes nas narrativas conspiratórias.

4. Resultados

• Desempenho dos Modelos (In-Domain):
  • O tamanho do modelo (70B vs 8B) teve impacto moderado, com o 70B superando ligeiramente.
  • Estratégia de Prompt: O Zero-shot teve maior precisão, enquanto Few-shot e Frame-guided melhoraram significativamente o Recall.
  • Injeção de Frames: A adição de dicas de frames (Frame-guided) não aumentou claramente o desempenho geral na classificação binária em comparação ao Few-shot, sugerindo que exemplos de contexto já transmitem a informação necessária.
• Detecção de Spans:
  • O Zero-shot teve o pior desempenho na detecção de elementos do frame.
  • O Frame-guided superou o Few-shot na detecção de elementos como In-group e Call-to-action, mas o Few-shot foi melhor para Out-group.
• Desempenho Out-of-Domain:
  • Modelos maiores (70B) foram consistentemente superiores.
  • Na comparação ELO, a abordagem Frame-guided venceu na classificação de texto, mas perdeu na detecção de spans.
• Análise de Erros (Qualitativa):
  • Anotadores humanos preferiram o modelo Frame-guided quando ele capturava a completude narrativa (mecanismos detalhados) e resolveu ambiguidades semânticas (ex: identificar "tentativa de colocar na cabeça" como segredo, em vez de apenas adjetivos).
  • No entanto, o modelo Frame-guided às vezes foi muito agressivo, incluindo contextos não conspiratórios ou truncando declarações causais completas, enquanto o Few-shot foi mais preciso em textos simples.
• Padrões Semânticos: O alinhamento com FrameNet revelou que frames como EXECUTE_PLAN e SECRECY_STATUS (centrais para a teoria) não foram os mais frequentes. Em vez disso, frames como POLITICAL_LOCALES, STATEMENT, INGEST_SUBSTANCE e FIREFIGHTING foram recorrentes, indicando que as TCs operam através de metáforas de invasão, contágio e guerra, e não apenas através de definições literais de "plano secreto".

5. Significância e Conclusão

O trabalho demonstra que, embora a injeção direta de frames semânticos em prompts de in-context learning não garanta um aumento automático de métricas quantitativas, ela é crucial para a explicabilidade e para a compreensão da estrutura profunda das narrativas conspiratórias.

A principal descoberta é que a detecção de TCs deve ir além do conteúdo temático e focar na estrutura discursiva (relação entre grupos, ocultação de planos e chamadas para ação). O alinhamento com o FrameNet abre caminho para modelos que entendem os padrões semânticos abstratos (como "guerra" ou "contágio") que sustentam as teorias da conspiração.

Trabalhos Futuros: Os autores sugerem a integração mais profunda da semântica de frames através de fine-tuning ou pré-treinamento de LLMs em grafos de conhecimento construídos a partir do FrameNet, permitindo que os modelos internalizem essas relações semânticas estruturadas, em vez de depender apenas de dicas superficiais nos prompts.

Limitações: O estudo focou apenas na família de modelos Llama e o processo de mapeamento lexicográfico para FrameNet, embora tenha sido cuidadoso, ainda pode sofrer com ambiguidades lexicais que exigem verificação manual.