Robust Fake News Detection using Large Language Models under Adversarial Sentiment Attacks

Resumo Técnico: Detecção Robusta de Fake News usando Grandes Modelos de Linguagem sob Ataques Adversários de Sentimento

Declaração do Problema
A desinformação e as fake news representam um desafio social significativo, exigindo métodos de detecção automatizados confiáveis. Embora pesquisas anteriores tenham estabelecido o sentimento como um sinal crítico para distinguir notícias falsas de reais, essa dependência cria uma vulnerabilidade. Adversários podem manipular o tom emocional do texto para evitar a detecção, um risco exacerbado pelo advento dos Grandes Modelos de Linguagem (LLMs), capazes de reescrever conteúdos com sentimento controlado enquanto preservam a precisão factual. Embora alguns estudos tenham explorado ataques adversários em detectores de fake news, eles se concentraram primariamente em características estilísticas (ex: estilo de escrita) em vez de sentimento. Consequentemente, a vulnerabilidade específica dos detectores de fake news à manipulação de sentimento gerada por LLMs permanece amplamente inexplorada.

Metodologia
O artigo propõe o AdSent, um framework de detecção robusta ao sentimento projetado para manter previsões de veracidade consistentes entre artigos de notícias originais e com o sentimento alterado. O framework consiste em dois componentes principais:

1. Benchmarking Adversário Direcionado ao Sentimento:

   • Os autores utilizam LLMs como "falsificadores" para gerar ataques adversários controlados.
   • Para cada documento de notícia, o LLM reescreve o texto para transmitir um sentimento positivo, negativo ou neutro, preservando estritamente o conteúdo factual e a coerência.
   • Este processo cria um benchmark para avaliar a robustez dos detectores de última geração contra mudanças de sentimento, tratando os detectores como classificadores de caixa-preta (black-box).

2. Estratégia de Treinamento Agnóstica ao Sentimento:

   • Para mitigar o viés introduzido por pistas de sentimento, os autores propõem uma estratégia de treinamento onde o modelo de detecção é ajustado (fine-tuned) em variantes de dados de treinamento neutralizadas de sentimento.
   • Um LLM (especificamente o LLaMA-3.1-8B-Instruct) é usado para reescrever os artigos de treinamento em um tom neutro.
   • O modelo de detecção é então treinado nessas versões neutralizadas, forçando-o a depender do conteúdo factual em vez do tom emocional para determinar a veracidade.
   • Durante a inferência, os artigos de entrada são primeiro neutralizados pelo falsificador antes de serem passados ao detector.

Principais Contribuições

1. Benchmarking Adversário: Os autores introduzem um conjunto de ataques baseados em sentimento controlados usando LLMs. Eles demonstram que os detectores atuais de última geração sofrem uma degradação significativa de desempenho quando confrontados com a manipulação de sentimento.
2. Descoberta de Viés do Modelo: O estudo revela um viés crítico nos modelos existentes: eles tendem a classificar artigos de tom neutro como "reais" e artigos não neutros (emocionais) como "falsos". Esta descoberta contradiz a hipótese inicial de que a fake news é inerentemente mais negativa; em vez disso, a manipulação do sentimento para um tom neutro prova ser o cenário adversário mais desafiador.
3. Framework AdSent: O artigo introduz o AdSent, uma abordagem inovadora que aumenta a robustez ao treinar em dados neutralizados de sentimento. Isso garante a consistência da previsão, independentemente do enquadramento emocional do artigo.

Resultados Experimentais
Os autores avaliaram o AdSent em três conjuntos de dados de referência: PolitiFact, GossipCop e Labeled Unreliable News (LUN).

• Vulnerabilidade das Linhas de Base (Baselines): Sob manipulação de sentimento, os detectores padrão (incluindo RoBERTa ajustado e SheepDog) experimentaram quedas substanciais de desempenho, com F1-scores diminuindo em até 21,51% no conjunto de dados PolitiFact. LLMs de zero-shot também mostraram degradação significativa.
• Impacto de Mudanças de Sentimento: A análise de inversões de predição indicou que converter fake news para um tom neutro causou a maior taxa de classificação incorreta (falsos negativos), onde a fake news era incorretamente rotulada como real. Inversamente, notícias reais foram menos propensas a serem classificadas incorretamente como falsas quando neutralizadas.
• Desempenho do AdSent: O AdSent superou significativamente todas as linhas de base em conjuntos de teste neutralizados, alcançando F1-scores macro de 87,76 no PolitiFact e 78,56 no GossipCop.
• Generalização:
  • Ataque Cruzado (Cross-Attack): O AdSent demonstrou robustez não apenas contra ataques de sentimento, mas também generalizou efetivamente para ataques adversários baseados em estilo (ex: imitar editores específicos), superando a linha de base especializada SheepDog nesses cenários.
  • Conjunto de Dados Cruzado (Cross-Dataset): Quando treinado no PolitiFact e testado no conjunto de dados não visto LUN, o AdSent manteve desempenho superior em comparação ao SheepDog, indicando que o treinamento de sentimento adversário gera características transferíveis.

Significância e Alegações
O artigo alega que a dependência dos detectores de fake news atuais em pistas de sentimento é uma fraqueza crítica que os LLMs podem facilmente explorar. Ao demonstrar que o sentimento neutro é a perturbação adversária mais eficaz, os autores destacam um viés fundamental nos modelos existentes. A significância do AdSent reside em sua capacidade de desacoplar a detecção de veracidade do tom emocional, criando assim uma defesa mais robusta contra campanhas de desinformação sofisticadas e impulsionadas por LLMs. Os autores concluem que sua abordagem melhora significativamente tanto a precisão quanto a robustez, generalizando bem para conjuntos de dados não vistos e diversos cenários adversários.

Direções Futuras
Os autores observam que trabalhos futuros focarão em estender o AdSent para a detecção de desinformação multimodal, investigando como sinais visuais (ex: expressões emocionais em imagens) interagem com o sentimento textual. Eles também planejam explorar perturbações adversárias visando outros valores jornalísticos, como proximidade, novidade e proeminência.