When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech

1. Problema e Motivação

O conteúdo online hostil (discurso de ódio) frequentemente utiliza informações com aparência factual, mas que são incorretas ou enganosas, especialmente em campanhas coordenadas de assédio e propaganda extremista.

• A Lacuna: Trabalhos anteriores trataram o discurso de ódio (HS) e a desinformação como fenômenos separados. No entanto, eles estão intrinsecamente ligados como formas de "desordem informacional".
• O Desafio: Mensagens que combinam ódio com alegações factuais exigem um esforço muito maior dos moderadores de conteúdo, que precisam avaliar simultaneamente a nocividade e a veracidade (fact-checking).
• A Necessidade: Identificar quais alegações merecem verificação de fatos ("check-worthiness") é crucial para interromper a conexão entre desinformação e ódio, permitindo intervenções direcionadas.

2. Metodologia

Os autores propõem uma abordagem inovadora que combina a criação de um novo dataset com um framework de anotação assistido por IA.

A. O Dataset: WSF-ARG+

• Base: O dataset estende o WSF-ARG (White Supremacy Forum Argumentative), que continha apenas mensagens de ódio.
• Expansão: Foram adicionadas 294 mensagens não ofensivas para permitir a comparação e o estudo da relação entre check-worthiness e ódio.
• Estrutura: O dataset totaliza 521 mensagens (227 de ódio, 294 não de ódio) com alegações (claims) extraídas e anotadas em nível de componente argumentativo (premissas e conclusões).
• Anotação: As mensagens foram rotuladas quanto à "check-worthiness" em três categorias:
  1. CFS (Checkworthy Factual Statement): Alegação factual importante que merece verificação.
  2. UFS (Unimportant Factual Statement): Alegação factual, mas sem interesse público relevante.
  3. NFS (Non-Factual Statement): Opinião, crença ou retórica sem alegação factual verificável.

B. Framework "LLM-in-the-Loop"

Para mitigar o custo e o esforço humano na anotação de tarefas subjetivas, os autores desenvolveram um framework onde LLMs atuam como anotadores auxiliares, mas sob supervisão humana rigorosa:

1. Anotação Paralela: Um anotador humano e um LLM anotam o dataset simultaneamente.
2. Consistência do LLM: O LLM gera três anotações independentes por instância (com temperatura 1.0). A etiqueta provisória é definida por votação majoritária.
3. Resolução de Conflitos (Juiz):
   • Se a etiqueta majoritária do LLM coincidir com a do humano: Aceita-se.
   • Se houver discordância ou se as três anotações do LLM forem diferentes: Um "juiz" humano (cego à fonte da anotação) decide a etiqueta final.
4. Validação: O framework foi testado com 12 LLMs de código aberto (famílias Mistral, Llama, Qwen, Olmo, Command-r) variando de 7B a 104B parâmetros, comparando configurações zero-shot e one-shot.

3. Contribuições Principais

1. WSF-ARG+: O primeiro dataset público que combina discurso de ódio real com anotações de check-worthiness em nível de alegação, incluindo tanto mensagens de ódio quanto não-ofensivas.
2. Framework LLM-in-the-Loop: Uma metodologia validada para reduzir o esforço humano na anotação de tarefas subjetivas sem comprometer a qualidade, utilizando estratégias de mitigação de erros (votação majoritária, anotação cega, juiz humano).
3. Análise de Interseção: Evidências empíricas de que mensagens de ódio contendo alegações check-worthy são percebidas como mais nocivas e assediantes.
4. Melhoria na Detecção: Demonstração de que incorporar rótulos de check-worthiness como input melhora significativamente a detecção automática de discurso de ódio por LLMs.

4. Resultados Chave

Desempenho do Framework de Anotação

• Qualidade: O modelo OLMo2-32B (zero-shot) apresentou o melhor acordo com anotadores humanos.
• Acordo Humano vs. LLM: O acordo (Cohen's κ) entre o framework LLM-in-the-loop e a anotação humana completa ("platinum labels") foi de 0.800 (multiclasse) e 0.815 (binária), indicando alta qualidade.
• Redução de Esforço: O framework reduziu a necessidade de intervenção humana (juiz) para apenas 46,69% das alegações, mantendo a qualidade.
• Estabilidade: O uso de one-shot prompting geralmente reduziu a variabilidade das previsões do LLM, embora o zero-shot tenha funcionado bem para modelos específicos como o Olmo2.

Análise de Conteúdo e Detecção

• Correlação com Ódio: Mensagens de ódio contendo pelo menos uma alegação check-worthy (CFS) apresentaram pontuações significativamente mais altas em assédio e ódio (avaliadas pela ferramenta de moderação da OpenAI) em comparação com mensagens sem tais alegações.
  • Efeito: Tamanho de efeito pequeno a moderado, mas estatisticamente significativo (p < 0.05).
• Impacto na Detecção de Ódio: Ao fornecer os rótulos de check-worthiness como contexto adicional para os LLMs na tarefa de classificação de ódio:
  • Modelos Grandes (≥70B): Todos os modelos grandes melhoraram seu desempenho (F1 macro), com ganhos de até 0.213 em modelos específicos e uma média de 0.154 para modelos grandes.
  • Modelos Pequenos: Apenas alguns modelos menores (Olmo2-7B e Qwen2.5-7B) mostraram melhoria, sugerindo que a complexidade da tarefa exige capacidade de raciocínio de modelos maiores para aproveitar o contexto adicional.

5. Significado e Conclusão

O trabalho demonstra que a interseção entre discurso de ódio e desinformação é crítica: o uso de alegações factuais (mesmo que falsas ou enganosas) intensifica a percepção de ódio e assédio.

• Prática: O framework proposto oferece um caminho viável para escalar a anotação de dados complexos, reduzindo custos sem sacrificar a qualidade, o que é vital para a pesquisa em ciências sociais computacionais.
• Futuro: O dataset WSF-ARG+ abre novas oportunidades para a geração de contra-discurso (counterspeech) direcionado a alegações específicas e para o desenvolvimento de ferramentas de verificação de fatos que priorizem o conteúdo que alimenta o ódio.
• Ética: Os autores enfatizam que o dataset é anonimizado e destinado apenas à pesquisa, visando desenvolver estratégias de combate ao ódio (como contra-discurso) em vez de censura, reconhecendo os riscos emocionais para os anotadores.

Em resumo, o artigo valida que a integração de verificação de fatos na detecção de ódio não apenas melhora a precisão dos modelos de IA, mas também revela a natureza mais perniciosa do discurso de ódio que se disfarça de informação factual.