Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse

Resumo Técnico: Prestando Atenção às Deflexões: Minerando Nuances Pragmáticas para a Detecção de Whataboutism no Discurso Online

Definição do Problema
O artigo aborda o desafio subexplorado de detectar o "whataboutism" (o recurso do "e quanto a...") em Processamento de Linguagem Natural (PLN) quantitativo. O whataboutism é definido como uma manobra discursiva usada para desviar críticas ou evitar questões desfavoráveis ao levantar um assunto diferente, frequentemente mais favorável, ou ao fazer uma contra-acusação. Embora frequentemente associado à falácia tu quoque e à propaganda, os autores argumentam que os métodos de detecção atuais dependem excessivamente da presença lexical explícita da expressão "what about" (e quanto a). Essa abordagem falha em distinguir entre:

1. Deflexão propagandística: Usar o construto para descarrilar narrativas e semear a desconfiança.
2. Argumentação válida: Usar o construto para desafiar afirmações, sugerir soluções ou adicionar especificidade dentro de um discurso razoável.

A dificuldade central reside na "flexibilidade pragmática" do construto. Sentenças sintaticamente e semanticamente semelhantes podem funcionar como propaganda prejudicial ou argumentação válida, dependendo inteiramente do contexto discursivo (a Pergunta Sob Discussão ou QUD - Question Under Discussion). Os modelos atuais de última geração para detecção de propaganda e similaridade semântica falham em capturar essas nuances pragmáticas, muitas vezes classificando erroneamente a argumentação válida como propaganda ou perdendo deflexões sutis.

Metodologia
Os autores propõem um novo framework envolvendo novos conjuntos de dados, uma análise temática e uma inovação arquitetural específica para mineração de amostras negativas.

1. Construção do Conjunto de Dados (TQ+):
   Os autores introduzem dois novos conjuntos de dados, TQ+ (Tu Quoque and beyond), compreendendo:

   • TQ+YT: 1.642 comentários do YouTube rotulados em seis tópicos socialmente divisivos.
   • TQ+TW: 1.202 pares de tweet-resposta do Twitter em oito tópicos.
     Ao contrário de corpora anteriores que assumiam que todas as instâncias eram propagandísticas, esses conjuntos de dados distinguem entre argumentação válida e whataboutism. As anotações foram realizadas por três falantes nativos de inglês com alta concordância inter-anotador ($\kappa = 0,65$ para o YouTube, $\kappa = 0,75$ para o Twitter), exigindo que os anotadores revisassem o contexto completo do vídeo ou as threads de conversa para compreender o cenário pragmático.

2. Experimentos de Linha de Base (Baselines):
   O estudo avalia primeiro abordagens padrão:

   • Aprendizado por Transferência (Transfer Learning): Ajuste fino (fine-tuning) de BERT e RoBERTa (incluindo uma variante de detecção de ironia) nos dados rotulados.
   • Similaridade Semântica: Utilizando SBERT, Aprendizado Contrastivo com "Correct and Smooth" (C&S) e SimCSE. Esses modelos dependem da similaridade de cosseno para diferenciar amostras positivas e negativas.
   • Resultados: Esses baselines apresentam um desempenho pobre, particularmente nos dados do YouTube. Eles exibem um forte viés para a classe majoritária (não-whataboutism) e falham em distinguir diferenças pragmáticas, muitas vezes dependendo de similaridade semântica de superfície, o que é insuficiente para esta tarefa.

3. Método Proposto: MINA (Mining Negatives with Attention):
   Para superar as limitações da similaridade de cosseno em espaços de alta dimensão (onde os vetores tendem a ser quase ortogonais) e a incapacidade de capturar mudanças pragmáticas, os autores propõem o MINA.

   • Mecanismo: Em vez de usar a similaridade de cosseno para selecionar amostras negativas, o MINA emprega pesos de atenção cruzada (cross-attention weights) de um codificador Transformer.
   • Processo: Para um comentário alvo $t$, o modelo constrói uma tupla de contexto contendo $t$ e $c$ comentários da mesma thread/vídeo. O modelo usa atenção cruzada para identificar o comentário dentro do contexto que é pragmaticamente mais dissimilar (ou seja, a amostra negativa mais eficaz para contraste).
   • Arquitetura: O texto do comentário alvo e o comentário de contexto selecionado ("mais dissimilar") são concatenados e alimentados em um Perceptron Multicamadas (MLP) para classificação. Isso permite que o modelo aprenda o embasamento pragmático dentro do discurso social ambiente, em vez de depender apenas da semântica distributiva global.

Principais Resultados
Os autores relatam melhorias significativas sobre os métodos anteriores de última geração usando a abordagem MINA:

• YouTube (TQ+YT): O MINA alcançou uma melhoria de 10% no F1 score sobre o segundo melhor resultado. Especificamente, aplicar o MINA ao SBERT aumentou o F1 de 0,07 para 0,58, e aplicar o MINA ao modelo de ironia do RoBERTa aumentou o F1 de 0,30 para 0,52.
• Twitter (TQ+TW): O MINA alcançou uma melhoria de 4% sobre o melhor baseline. O SBERT com MINA atingiu um F1 de 0,75, superando o SBERT vanilla (0,69) e o RoBERTa (0,71).
• Estudos de Ablação: A configuração ideal foi encontrada com 2 camadas de encoder, 32 cabeças de atenção e um tamanho de contexto de 1. O estudo também descobriu que aumentar as camadas do encoder ou as cabeças de atenção além desses valores não trazia benefícios.
• Desempenho de LLMs: Os autores testaram grandes modelos de linguagem (Llama-2, GPT-3.5-turbo) e descobriram que eles performam mal (F1 scores inferiores aos baselines do BERT), tendo dificuldade com instâncias de whataboutism refraseadas e sutis, apesar de suas capacidades gerais.

Significância e Alegações
O artigo alega que a detecção de whataboutism requer uma mudança da análise puramente semântica ou sintática para uma análise pragmática.

• Distinção de Propaganda: O trabalho demonstra que o whataboutism não é sinônimo de propaganda; ele se sobrepõe, mas serve a funções distintas, incluindo ferramentas de argumentação válidas, como desafiar ou centralizar a atenção.
• Limitações de Medidas de Similaridade: O estudo fornece evidência empírica de que as medidas convencionais de similaridade semântica (como a similaridade de cosseno) são inadequadas para capturar as diferenças pragmáticas necessárias para detectar a deflexão no discurso das redes sociais.
• Novidade do MINA: A introdução do uso de pesos de atenção para mineração de amostras negativas é apresentada como uma contribuição inovadora que implementa com sucesso o contraste pragmático. Essa abordagem sugere que fundamentar o texto no discurso social circundante (via atenção ao contexto mais dissimilar) é mais eficaz do que o aprendizado contrastivo padrão para tarefas envolvendo manobras discursivas complexas.
• Contribuição de Recursos: A liberação dos conjuntos de dados TQ+, que são maiores e mais sutis do que os corpora de propaganda anteriores, tem o objetivo de estimular novas pesquisas sobre o papel da pragmática na detecção de desinformação e falácias.

Os autores mantêm-se modestos quanto às limitações, observando que os conjuntos de dados são desbalanceados (refletindo cenários do mundo real), que tópicos emotivos podem influenciar a rotulagem e que a dependência de lotes de tuplas randomizadas no MINA pode causar uma leve variância nos modelos retreinados. Eles concluem que, embora os modelos atuais enfrentem dificuldades, o framework MINA proposto oferece um caminho viável para a compreensão de discursos complexos em torno da desinformação.