Assessing How Hate, Counterspeech, and Toxicity Affect Hate Group Newcomers

1. Problema e Contexto

O discurso de ódio online é prevalente e contagioso, representando uma ameaça ao bem-estar de grupos marginalizados e correlacionando-se com crimes de ódio offline. Embora a moderação de conteúdo (banimentos, quarentenas) seja uma estratégia comum, ela apresenta limitações, como migração de usuários para plataformas alternativas e debates sobre liberdade de expressão.

A contrapalavra (counterspeech — fala que se opõe ao discurso de ódio) surge como uma alternativa promissora. Estudos anteriores sugerem que a contrapalavra pode reduzir a produção futura de discurso de ódio. No entanto, existem lacunas críticas:

• Pouco se sabe sobre o efeito da contrapalavra na retenção de usuários (se eles continuam participando da comunidade de ódio).
• A maioria dos estudos foca em contextos de mídia social geral, não em comunidades dedicadas ao ódio.
• Há uma falta de compreensão sobre o papel da toxicidade na contrapalavra. Respostas hostis podem escalar conflitos e endurecer as posições dos adeptos do ódio, em vez de dissuadi-los.

O estudo foca especificamente em novatos (newcomers) em comunidades de ódio, pois eles são menos inurecidos a críticas e têm identidades menos consolidadas nesses grupos, tornando-os o alvo mais sensível para intervenções.

2. Metodologia

Os autores empregaram uma abordagem mista, combinando detecção baseada em Grandes Modelos de Linguagem (LLMs), inferência causal e modelagem estatística.

A. Dados e Pré-processamento

• Conjunto de Dados: Dados do Reddit extraídos via Pushshift, cobrindo 104 subreddits de ódio (ex: racistas, misóginos, transfóbicos) e 104 subreddits não-ódio pareados.
• Foco: 16.513 novatos que usaram discurso de ódio em sua primeira postagem em um desses subreddits.
• Tripletas de Usuários: Os novatos foram categorizados em três grupos para comparação:
  1. Receberam nenhuma resposta.
  2. Receberam uma resposta com contrapalavra.
  3. Receberam uma resposta sem contrapalavra (ou com discurso de ódio).

B. Detecção de Contrapalavra (Counterspeech Detection)

O estudo desenvolveu e comparou métodos para identificar contrapalavra, superando modelos tradicionais treinados em datasets existentes:

• Abordagem com LLM: Utilizaram o LLaMA 3.3 70B para rotular milhões de comentários. Para garantir alta precisão (minimizar falsos positivos), utilizaram uma estratégia de amostragem múltipla (prompting 5 vezes por comentário) e ajustaram a temperatura do modelo.
• Modelos de Distilação: Treinaram um modelo RoBERTa usando rótulos gerados pelo GPT-4o.
• Validação: Um conjunto de validação manual (336 pares) e testes de precisão em diferentes limiares de confiança confirmaram que o modelo LLaMA 3.3 70B (com temperatura 1.2) alcançou a melhor precisão (0,88 para contrapalavra), superando significativamente modelos baseados em datasets anteriores (que tiveram precisão de ~0,26-0,34).

C. Inferência Causal e Modelagem

• Emparelhamento (Matching): Para controlar variáveis de confusão, utilizaram métodos de emparelhamento causal para triplas de usuários (tratamento: sem resposta, resposta com contrapalavra, resposta sem contrapalavra). As variáveis de controle incluíam similaridade semântica (embeddings MPNet), nível de aninhamento, valência de sentimento, pontuação do post, atividade prévia do usuário e atividade do thread.
• Análise de Retenção: Utilizaram um modelo de regressão logística de efeitos mistos para estimar a probabilidade de um usuário continuar engajado no subreddit (definido como postar em outros threads além do original).
• Medição de Toxicidade: Utilizaram a Perspective API (Google Jigsaw) para classificar a toxicidade das respostas.
• Subreddits Pareados: Realizaram um emparelhamento entre subreddits de ódio e não-ódio para comparar o impacto geral das respostas.

3. Contribuições Principais

1. Novo Método de Detecção: Desenvolvimento de um pipeline baseado em LLM (LLaMA 3.3 70B) para detecção de contrapalavra que supera modelos supervisionados tradicionais em generalização e precisão em comunidades de ódio.
2. Análise de Retenção de Novatos: Primeiro estudo a quantificar causalmente o efeito da contrapalavra na decisão de novatos de permanecerem em comunidades de ódio, em vez de apenas medir a redução na produção de discurso de ódio.
3. Caracterização da Toxicidade: Avaliação detalhada da toxicidade da contrapalavra em comparação com o discurso de ódio e outras falas dentro e fora de comunidades de ódio.
4. Distinção entre Efeitos de Retenção e Escalada de Conflito: Separação clara entre o impacto da contrapalavra na retenção do usuário e seu impacto na toxicidade subsequente da discussão.

4. Resultados Chave

RQ1: A Toxicidade da Contrapalavra

• A contrapalavra é significativamente mais tóxica do que o discurso comum dentro dos subreddits de ódio.
• Estatísticas: A contrapalavra é 88% mais tóxica do que outras falas não-ódio dentro dos subreddits de ódio e 330% mais tóxica do que a média de respostas em subreddits não-ódio.
• Embora menos tóxica que o próprio discurso de ódio, a contrapalavra ainda carrega um nível elevado de hostilidade.

RQ2: Efeito na Retenção de Usuários

• Dissuasão de Novatos: Novatos que recebem contrapalavra têm menor probabilidade de continuar participando do subreddit de ódio em comparação com aqueles que não recebem resposta ou recebem apenas discurso de ódio.
  • Efeito médio de tratamento (ATE) da contrapalavra: -2,0% (redução na retenção, p=0.001).
  • Efeito do discurso de ódio (respostas de outros membros): +3,1% (aumento na retenção).
• Papel da Toxicidade na Retenção: A toxicidade da contrapalavra não teve um efeito significativo adicional na retenção do usuário. Ou seja, tanto a contrapalavra tóxica quanto a não-tóxica parecem dissuadir a participação futura, embora a análise seja complexa devido à baixa significância estatística em subgrupos específicos de toxicidade.
• Hipótese: Os autores especulam que muitos novatos podem estar apenas "brincando" com ideias proibidas em outros contextos, e a contrapalavra os dissuade antes que a ideologia se torne parte de sua identidade.

RQ3: Toxicidade e Escalada de Conflito

• Embora a toxicidade não afete a retenção do novato, ela aumenta a probabilidade de respostas hostis subsequentes dentro do mesmo thread.
• Respostas de contrapalavra tóxica geram mais toxicidade de volta dos usuários do grupo de ódio do que respostas não-tóxicas, corroborando a teoria de que "toxicidade gera toxicidade".

5. Significado e Implicações

• Para Pesquisadores: Os resultados desafiam a noção de que a contrapalavra hostil é ineficaz ou prejudicial para a dissuasão imediata de novatos. No entanto, alertam que a toxicidade da contrapalavra pode degradar o ambiente online e escalar conflitos locais, mesmo que o usuário alvo saia.
• Para Moderadores e Políticas de Plataforma:
  • A contrapalavra é uma ferramenta eficaz para reduzir a participação de novatos em comunidades de ódio, sugerindo que intervenções focadas nesse grupo são promissoras.
  • A alta prevalência de toxicidade na contrapalavra indica a necessidade de ferramentas que ajudem os usuários a formular respostas construtivas, evitando a escalada de hostilidade.
  • A moderação e a contrapalavra não devem ser vistas como estratégias concorrentes, mas complementares: a moderação lida com violações claras, enquanto ferramentas de contrapalavra bem projetadas podem contestar o ódio com menor dano colateral.
• Limitações: O estudo não mede mudanças de crença internas (apenas comportamento de postagem) e não rastreia migração para outras plataformas (efeito de deslocamento). Além disso, modelos de IA podem ter viés na detecção de toxicidade em certos dialetos.

Em suma, o estudo demonstra que a contrapalavra é eficaz em dissuadir novatos de comunidades de ódio, mas a natureza tóxica dessa resposta pode ser contraproducente para a saúde geral do discurso online, exigindo um equilíbrio cuidadoso entre eficácia e civilidade.