Reliable News or Propagandist News? A Neurosymbolic Model Using Genre, Topic, and Persuasion Techniques to Improve Robustness in Classification

1. O Problema

O artigo aborda o desafio crescente da detecção de notícias propagandistas, um tipo de "desordem de informação" particularmente insidioso. Diferente de notícias falsas óbvias, a propaganda mistura mensagens orientadas (parciais) com relatórios factuais, tentando imitar o estilo de notícias confiáveis para moldar a opinião pública.

• Limitação das abordagens atuais: Modelos baseados em Linguagem (como BERT e outros Transformers) demonstram alto desempenho em conjuntos de dados específicos, mas tendem a sobreajustar (overfit) devido a vieses na coleta de dados. Eles falham ao generalizar para novas fontes, gêneros ou contextos políticos, pois aprendem artefatos do conjunto de treinamento em vez de conceitos fundamentais de propaganda.
• Objetivo: Desenvolver um modelo robusto que generalize bem para novos cenários, reduzindo a dependência de padrões superficiais nos dados de texto.

2. Metodologia

Os autores propõem uma abordagem neurosimbólica híbrida, combinando representações neurais densas com características conceituais simbólicas extraídas do texto.

A. Dados e Análise Preliminar

O estudo utiliza dois corpora (focados na parte em inglês):

1. PPN (Propagandist Pseudo-News): 12.427 artigos de fontes identificadas como propagandistas (ex: RRN, TribunalUkraine), cobrindo o conflito Rússia-Ucrânia.
2. MAINSTREAM: 2.371 artigos de jornais estabelecidos (ex: AP, CNN, The Guardian), servindo como controle.

Análises prévias mostraram diferenças significativas:

• Gênero: A propaganda tende a ser classificada como "Opinião" (>75%) ou "Sátira", enquanto a mídia mainstream é majoritariamente "Reportagem".
• Técnicas de Persuasão: A propaganda utiliza mais frequentemente linguagem carregada, repetição, exagero/minimização e apelo ao preconceito.

B. Arquitetura do Modelo (Neurosimbólica)

O modelo integra duas camadas de informação:

1. Embeddings Neurais (Texto): Utiliza fastText (embeddings não-contextuais) para capturar características lexicais distribucionais do texto (vetor de 300 dimensões).
2. Características Simbólicas (Conceitos): Extraídas automaticamente via APIs (GATE Cloud) e codificadas como vetores:
   • Gênero: One-hot encoding (3 dimensões: Reportagem, Opinião, Sátira).
   • Tópico: One-hot encoding (9 dimensões).
   • Técnicas de Persuasão: Contagem de técnicas (23 dimensões para granularidade fina ou 6 para granularidade grossa).

Processo de Classificação:
Os vetores de texto (300d) e os vetores conceituais (35d ou 18d) são concatenados, passando por uma rede neural simples (MLP de duas camadas com ativação ReLU e sigmoid) para gerar uma pontuação de probabilidade de propaganda (0 a 1).

C. Avaliação de Robustez

Para testar a generalização, os autores criaram quatro tipos de divisões (splits) nos dados de treino/validação/teste, evitando a divisão aleatória padrão:

1. Aleatório (Random): Divisão padrão 80/10/10.
2. Fontes (Sources): O modelo treina em um conjunto de fontes e é testado em fontes totalmente novas.
3. Político (Political): O modelo treina em fontes de um espectro político e é testado em outro.
4. Credibilidade (Credibility): O modelo treina em fontes de alta credibilidade e é testado em fontes de baixa credibilidade (e vice-versa para a propaganda).

3. Contribuições Chave

1. Modelo Neurosimbólico Híbrido: Demonstração de que a combinação de embeddings de texto com características estruturadas (gênero, tópico, persuasão) supera métodos puramente baseados em texto na detecção de propaganda.
2. Protocolo de Avaliação Rigoroso: Introdução de divisões de dados enviesadas (Sources, Political, Credibility) para medir a verdadeira robustez do modelo, em vez de apenas a precisão em dados aleatórios.
3. Análise de Explicabilidade: Uso de SHAP para demonstrar que, em cenários de dados não vistos (novas fontes), o modelo passa a depender mais das características conceituais (simbólicas) do que apenas do texto, validando a hipótese de que esses sinais são cruciais para a generalização.

4. Resultados Principais

• Desempenho Geral: O método híbrido (Hybrid) superou consistentemente o método "Apenas Texto" (Text Only) em cenários desafiadores.
  • Em média, o método híbrido melhorou a precisão em +26,89% e o F1-score em +41,85% comparado ao texto apenas, considerando todos os splits.
• Robustez em Novas Fontes:
  • No split Sources, o método "Apenas Texto" colapsou (F1-score de 0,0), falhando completamente em classificar novas fontes. O método híbrido manteve um F1-score de 88,37.
  • No split Credibility, o método "Apenas Texto" também falhou (F1-score de 0,0), enquanto o híbrido atingiu 86,95.
• Granularidade das Técnicas: O uso de técnicas de persuasão de granularidade fina (23 dimensões) foi superior ao uso de categorias grossas (6 dimensões) na maioria dos casos, especialmente onde o modelo "Lite" teve dificuldades.
• Análise SHAP: Confirmou que, em divisões aleatórias, o texto domina a decisão. No entanto, em divisões de Credibilidade e Fontes, as embeddings de persuasão tornaram-se o fator mais importante para a classificação correta, permitindo que o modelo generalizasse onde o texto puro falhava.

5. Significado e Conclusão

O artigo conclui que a detecção de propaganda não pode depender exclusivamente de modelos de linguagem grandes (LLMs) treinados apenas em texto, pois eles são vulneráveis a vieses de domínio e não generalizam bem para novas fontes ou contextos políticos.

A abordagem neurosimbólica oferece uma solução mais robusta e interpretável:

• Resiliência: Ao incorporar conhecimento estruturado sobre como a propaganda é construída (gênero, técnicas retóricas), o modelo torna-se menos sensível a mudanças na distribuição dos dados.
• Interpretabilidade: A simplicidade da arquitetura permite analisar por que o modelo tomou uma decisão, algo difícil em LLMs complexos.
• Aplicabilidade Prática: O modelo é particularmente eficaz para identificar notícias suspeitas vindas de fontes desconhecidas ou com baixa credibilidade, onde os padrões textuais sozinhos são insuficientes.

O trabalho sugere que futuras pesquisas devem expandir esses corpora para outros idiomas e temas (além do conflito Ucrânia-Rússia) e integrar ainda mais fontes de conhecimento externo (como estimativas de confiabilidade de fontes) para aprimorar ainda mais a detecção.