LLM-based Detection of Manipulative Political Narratives

Resumo Técnico: Detecção de Narrativas Políticas Manipuladoras Baseada em LLM

Enunciado do Problema
O artigo aborda o desafio crítico de detectar Manipulação e Interferência de Informação Estrangeira (FIMI) em grandes conjuntos de dados de mídias sociais não filtrados. A principal dificuldade reside em distinguir entre crítica política legítima, ainda que controversa, e narrativas estratégicas coordenadas e manipuladoras. Abordagens tradicionais, como modelagem de tópicos padrão ou verificação de fatos para veracidade, frequentemente falham porque o conteúdo manipulador depende com frequência da reestruturação maliciosa de eventos factuais (maldição) em vez de falsidades puras. Além disso, os métodos existentes lutam para separar campanhas coordenadas alinhadas ao Estado de genuínas opiniões populistas ou políticas pessoais, muitas vezes negligenciando as nuances retóricas específicas e a intenção que definem narrativas estratégicas.

Metodologia
Os autores propõem um pipeline de processamento de dados impulsionado por Modelos de Linguagem de Grande Escala (LLM) projetado para detectar, filtrar e agrupar narrativas manipuladoras sem depender de uma lista pré-definida de categorias-alvo. A metodologia consiste em quatro etapas sequenciais:

1. Filtragem Baseada em Prompt:

   • Objetivo: Isolar postagens manipuladoras de críticas legítimas e conteúdo não relacionado.
   • Mecanismo: Um modelo de raciocínio (Qwen3.5-122B) é guiado por um prompt detalhado com poucos exemplos (few-shot). Este prompt define características de FIMI (por exemplo, transferência de culpa, inversão moral, vitimização) e instrui explicitamente o modelo a diferenciar entre manipulação coordenada e ceticismo político padrão.
   • Restrições: O prompt inclui "motivos conhecidos" específicos (por exemplo, Doppelgänger, Storm-1516) e exclui explicitamente falsos positivos, como críticas normais ao governo ou frustração econômica pessoal. O modelo produz uma classificação booleana e uma string de raciocínio no formato JSON.
   • Estratégia: O sistema prioriza alta recuperação (0,92) em detrimento da precisão nesta etapa, aceitando uma taxa mais alta de falsos positivos para garantir que nenhum fragmento de narrativa potencial seja descartado.

2. Embedding Orientado a Intenção:

   • Objetivo: Mapear as postagens filtradas em um espaço de embedding onde a proximidade reflete intenção manipuladora em vez de apenas similaridade temática.
   • Mecanismo: Os autores utilizam o modelo Qwen3-Embedding-8B. Diferentemente dos transformadores de sentença padrão, este modelo é instruído com orientações específicas para "Identificar a narrativa estratégica, a intenção manipuladora e o motivo subjacente de desinformação". Isso garante que postagens que compartilham estratégias retóricas e intenções maliciosas semelhantes sejam agrupadas próximas umas das outras.

3. Redução de Dimensionalidade e Agrupamento:

   • Mecanismo: Os embeddings de alta dimensionalidade (4096 dimensões) são reduzidos usando UMAP (Aproximação e Projeção de Variedade Uniforme) para cinco dimensões.
   • Agrupamento: HDBSCAN (Agrupamento Espacial Hierárquico Baseado em Densidade de Aplicações com Ruído) é aplicado ao espaço reduzido. Este algoritmo não supervisionado determina o número de clusters dinamicamente com base na densidade.
   • Otimização: Os hiperparâmetros foram ajustados (especificamente min_cluster_size) para equilibrar a redução de ruído com a distinção semântica. Um tamanho mínimo de cluster de 400 foi selecionado, resultando em 41 clusters distintos, mantendo os níveis de ruído gerenciáveis (~29,7%).

4. Extração de Narrativa Estratégica:

   • Objetivo: Gerar rótulos legíveis por humanos para cada cluster que descrevam a história subjacente.
   • Mecanismo: Um modelo de raciocínio maior (Qwen3.5-397B) é empregado. Ele recebe os documentos do cluster e as palavras-chave c-TF-IDF. Usando um prompt com poucos exemplos, o modelo sintetiza um rótulo de narrativa completo, incluindo a alegação central, o adversário visado e o ângulo manipulador.

Principais Contribuições
O artigo delineia três contribuições técnicas primárias:

1. Raciocínio Baseado em Prompt: Indo além da classificação baseada em BERT tradicional, os autores introduzem uma abordagem de raciocínio guiada por características explícitas de FIMI e exemplos com poucos exemplos. Isso isola com sucesso conteúdo manipulador estratégico de críticas legítimas com base em nuances retóricas.
2. Embedding Orientado a Intenção: O pipeline desloca o foco do modelo de embedding de tópicos gerais para intenções manipuladoras específicas. Ao configurar explicitamente o modelo de embedding via prompt, histórias relacionadas são posicionadas mais próximas no espaço vetorial, facilitando um agrupamento mais preciso.
3. Extração de Narrativa Estratégica: Os autores substituem a extração de tópicos padrão (listas de palavras-chave) por um prompt especializado que força o modelo a produzir histórias completas. Essas narrativas capturam explicitamente a alegação central, o inimigo e o ângulo manipulador, proporcionando uma compreensão mais rica da estrutura da campanha.

Resultados
Aplicado a um conjunto de dados de 1.255.895 postagens em mídias sociais (de X, Reddit e Telegram) coletadas antes das eleições federais alemãs de 2025, o pipeline identificou com sucesso 41 clusters distintos de narrativas manipuladoras.

• Desempenho de Filtragem: A filtragem inicial alcançou uma pontuação F1 de 0,77, caracterizada por alta recuperação (0,92) e precisão mais baixa (0,66). Os autores observam que o modelo é mais rigoroso que avaliadores humanos, frequentemente sinalizando opiniões populistas individuais como manipuladoras; no entanto, o agrupamento HDBSCAN a jusante filtra efetivamente esses falsos positivos como ruído, pois eles não formam clusters densos e coerentes.
• Temas Narrativos: Os clusters extraídos foram agrupados em quatro pilares temáticos principais:
  1. A "Grande Substituição": Narrativas que enquadram a migração como uma arma para destruir a população nativa.
  2. A Guerra por Procuração: Histórias que retratam a Alemanha como uma colônia dos EUA sacrificando a paz nacional por interesses estrangeiros (especificamente em relação à Rússia).
  3. A Ditadura Climática: Enquadrar a política climática como uma farsa fabricada por globalistas para controlar e empobrecer os cidadãos.
  4. O AfD como Salvador: Posicionar o partido de direita AfD e atores externos (por exemplo, Elon Musk) como os únicos salvadores contra um "estado profundo" corrupto.

Significado e Alegações
O artigo afirma que sua abordagem conecta efetivamente a lacuna entre detectar desinformação coordenada e entender as narrativas estratégicas subjacentes. Ao integrar filtragem baseada em prompt com agrupamento não supervisionado, o sistema pode descobrir novos grupos de narrativas sem depender de uma taxonomia pré-definida.

Uma descoberta significativa é a sinergia entre a etapa de filtragem de alta recuperação e a etapa de agrupamento baseado em densidade. O pipeline aproveita a capacidade do LLM de aplicar seu conhecimento interno (por exemplo, reconhecer domínios específicos como rtde.media como proxies para mídia estatal) para avaliar postagens, mesmo quando essas entidades específicas não são listadas explicitamente no prompt. Os autores argumentam que este método é superior à modelagem de tópicos tradicional porque captura a intenção e a história da manipulação, em vez de apenas o assunto.

O artigo mantém uma postura modesta quanto às suas limitações, reconhecendo a "linha tênue" entre manipulação coordenada e visões políticas radicais pessoais. Enfatiza que as narrativas extraídas são saídas não editadas destinadas à transparência e não refletem as opiniões políticas dos autores. O trabalho conclui que, embora a abordagem atual seja eficaz, iterações futuras poderiam se beneficiar da otimização programática de prompts e da integração de modelos de linguagem visual para lidar com conteúdo multimodal.