Hate Speech Detection using Large Language Models with Data Augmentation and Feature Enhancement

Este artigo avalia técnicas de aumento de dados e aprimoramento de recursos para detecção de discurso de ódio, demonstrando que o modelo de linguagem aberto gpt-oss-20b alcança os melhores resultados gerais, enquanto o Delta TF-IDF se destaca em conjuntos específicos, e confirmando que a eficácia dessas estratégias depende da interação entre o conjunto de dados, a arquitetura do modelo e a técnica aplicada.

O essencial

Imagine que a internet é uma enorme praça pública, cheia de pessoas conversando. Infelizmente, alguns grupos usam essa praça para espalhar ódio e ideias extremistas. O problema é que, às vezes, eles não gritam "Eu odeio você!" (o ódio explícito); às vezes, eles usam piadas, códigos ou frases sutis que só fazem sentido para quem está "por dentro" (o ódio implícito).

Este artigo é como um manual de instruções para construir guardiões digitais (inteligências artificiais) capazes de identificar esse ódio, seja ele gritado ou sussurrado.

Aqui está a explicação do que os pesquisadores fizeram, usando analogias do dia a dia:

1. O Desafio: Encontrar a Agulha no Palheiro

Os pesquisadores tinham quatro "caixas de areia" (conjuntos de dados) diferentes para treinar seus guardiões:

• O Stormfront: Um fórum antigo onde o ódio é gritado bem alto e claro (fácil de detectar).
• O Gab & Reddit: Conversas em redes sociais onde o ódio se mistura com discussões normais.
• O Hate Corpus: O nível mais difícil. Aqui, o ódio é "implícito", como um código secreto ou uma piada de duplo sentido. É como tentar achar uma agulha num palheiro onde a agulha está pintada da mesma cor do palha.
• O Merged: Uma mistura de tudo isso.

2. Os "Guardiões" (Os Modelos)

Eles testaram diferentes tipos de "cérebros" para ver quem era melhor em pegar o ódio:

• O Velho e Sábio (Delta TF-IDF): Um método antigo e simples. Ele conta palavras. É como um professor que só olha para a frequência de palavras específicas. Não é muito inteligente, mas é rápido.
• Os Estudantes de Pós-Graduação (DistilBERT, RoBERTa, DeBERTa): Modelos de IA modernos que entendem contexto. Eles são como alunos que leram milhões de livros e entendem a diferença entre "isso é uma piada" e "isso é um ataque".
• Os Gêniós (Gemma-7B e gpt-oss-20b): Modelos gigantes de Inteligência Artificial (LLMs). São como detetives superpoderosos que conseguem ler entrelinhas e entender nuances complexas. O gpt-oss-20b foi o campeão absoluto, agindo como o "Sherlock Holmes" definitivo.

3. Os Truques de Treinamento (Aumentação de Dados e Melhorias)

Só dar um livro de regras para o guarda não é suficiente. Os pesquisadores usaram truques para melhorar o treinamento:

• SMOTE (O Fotógrafo de Fake): Como há muito mais gente "boa" do que gente "mala" nas caixas de areia, o modelo tendia a ignorar o mal. O SMOTE cria "cópias falsas" (mas inteligentes) de exemplos de ódio para equilibrar a balança. É como se o professor criasse 100 exemplos extras de "agressão" para o aluno estudar, para que ele não esqueça de identificar o perigo.

  • Resultado: Funcionou bem para alguns, mas em casos de ódio sutil (implícito), às vezes confundiu os modelos, como se o aluno estivesse estudando exemplos falsos demais e começasse a achar que tudo é perigoso.

• Rótulos Gramaticais (POS Tagging): Eles ensinaram os modelos a olhar não só para as palavras, mas para a "gramática" (quem é o verbo, quem é o adjetivo). É como ensinar o guarda a analisar a estrutura da frase, não apenas o conteúdo.

  • Resultado: Foi um truque seguro. Funcionou bem para quase todos, sem causar grandes estragos, mas não foi o "milagre" que todos esperavam.

• Aumento de Dados (Data Augmentation): Aqui foi o mais divertido. Eles pegaram as frases de ódio e as "reescritaram" de várias formas: trocaram sinônimos, mudaram a ordem das palavras, simularam erros de digitação. É como se o professor dissesse: "Vou te mostrar 100 maneiras diferentes de dizer a mesma coisa ofensiva, para você não ser pego de surpresa".

  • Resultado: O grande vencedor para o método antigo! O "Velho e Sábio" (Delta TF-IDF) ficou incrível com esse treino, chegando a 98,2% de precisão no Stormfront. Mas, para os "Gêniós" (LLMs), às vezes esse treino extra os confundiu, como se eles estivessem estudando demais e esquecendo o essencial.

4. As Descobertas Principais

1. O Ódio Sutil é o Vilão: Detectar ódio explícito (gritado) é fácil. Detectar ódio implícito (sussurrado/código) é muito difícil para qualquer modelo, mesmo os mais inteligentes.
2. O Tamanho Importa (mas nem sempre): O modelo gigante gpt-oss-20b foi o melhor em quase tudo. Ele entende o contexto melhor que ninguém. Porém, o modelo RoBERTa (menor e mais leve) foi um "cavalo de batalha" muito eficiente, quase tão bom quanto o gigante, mas usando menos energia.
3. Não existe "Tamanho Único": O que funciona para um modelo pode estragar o outro.
   • Se você tem um modelo simples, crie mais exemplos variados (Aumento de Dados).
   • Se você tem um modelo gigante, tenha cuidado para não "sobre-treinar" com dados falsos (SMOTE), pois isso pode confundir a inteligência dele.
4. O Método Antigo ainda tem valor: O Delta TF-IDF, que parecia obsoleto, mostrou que, com os truques certos (como o aumento de dados), ele pode ser extremamente preciso em cenários específicos.

Conclusão Simples

A pesquisa nos diz que não existe uma "bala de prata" mágica para parar o ódio na internet. A solução ideal depende de quem você está tentando detectar (o ódio gritado ou o sussurrado) e qual ferramenta você está usando.

Para os sistemas do futuro, a recomendação é: use os "Gêniós" (LLMs) para entender o contexto complexo, mas não descarte os métodos mais simples se eles forem bem treinados. E, acima de tudo, lembre-se de que o ódio mais perigoso é aquele que se esconde nas entrelinhas, exigindo uma atenção muito mais cuidadosa do que apenas procurar palavras proibidas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Resumo Técnico: Detecção de Discurso de Ódio com Grandes Modelos de Linguagem, Aumento de Dados e Aprimoramento de Recursos

1. Problema e Contexto

O aumento do conteúdo extremista e de discurso de ódio em plataformas online representa um desafio significativo para a moderação automática. Embora os sistemas atuais consigam filtrar grande parte do conteúdo explícito, existem lacunas críticas na detecção de:

• Discurso de ódio implícito: Conteúdo sutil, dependente de contexto e que utiliza táticas de comunicação sofisticadas para evitar filtros.
• Desequilíbrio de Classes (Class Imbalance): O discurso de ódio representa uma minoria pequena em relação ao conteúdo normal, levando a modelos com baixa recall (capacidade de identificar a classe minoritária).
• Falta de Avaliação Abrangente: A maioria dos estudos foca em famílias específicas de modelos, faltando comparações sistemáticas entre classificadores tradicionais, arquiteturas Transformer e Grandes Modelos de Linguagem (LLMs) modernos.
• Limitações de Dados: Escassez de conjuntos de dados abertos, bem anotados e diversificados, além da dificuldade de acesso a dados restritos (como bases de dados de crimes extremistas).

2. Metodologia

O estudo propõe uma avaliação empírica rigorosa comparando diferentes arquiteturas de modelos e técnicas de aprimoramento.

A. Conjuntos de Dados Utilizados:

• Hate Corpus: Focado em discurso de ódio implícito (34.183 tweets).
• Gab & Reddit: Dados conversacionais de plataformas alternativas e de discussão.
• Stormfront: Fóruns de supremacia branca com discurso de ódio explícito.
• Conjunto Mesclado (Merged): Combinação de mais de 54.680 amostras dos datasets acima.

B. Arquiteturas de Modelos Avaliadas:

• Clássico: Delta TF-IDF (Term Frequency-Inverse Document Frequency com seleção de recursos discriminativos).
• Transformers: DistilBERT, RoBERTa, DeBERTaV3.
• LLMs Modernos: Gemma-7B e gpt-oss-20b (um modelo de raciocínio open-source de 20 bilhões de parâmetros com capacidades de Chain-of-Thought).

C. Técnicas de Aprimoramento (Enhancement Techniques):
Os modelos foram testados sob quatro configurações distintas:

1. Linha de Base: Treinamento padrão sem técnicas adicionais.
2. Ajuste de Desequilíbrio: Aplicação de SMOTE (Synthetic Minority Over-sampling Technique) combinada com Função de Perda Ponderada (Weighted Loss) baseada nas proporções inversas das classes.
3. Integração de Recursos Linguísticos: Adição de Rótulos de Parte do Discurso (POS Tagging) como recursos extras para capturar padrões gramaticais.
4. Aumento de Dados (Data Augmentation): Técnicas multi-camadas (substituição de sinônimos, troca de palavras, inserção aleatória, correção de erros de digitação e parafraseamento contextual) para diversificar o conjunto de treinamento.

D. Métricas de Avaliação:
Além da Acurácia, foram utilizadas métricas robustas para dados desbalanceados: Macro F1, F0.5 (foco em precisão), F2 (foco em recall), AUC, F1 Ponderado, Precisão Ponderada e Recall Ponderado.

3. Principais Contribuições

• Benchmarking Abrangente: Primeira comparação direta e detalhada entre classificadores tradicionais, Transformers e LLMs de última geração (incluindo o gpt-oss-20b) para detecção de discurso de ódio.
• Análise de Interação: Investigação profunda de como técnicas de aumento de dados e aprimoramento de recursos interagem com diferentes arquiteturas de modelos e tipos de dados (explícito vs. implícito).
• Código Aberto: Disponibilização de toda a implementação e métricas detalhadas em repositório público, promovendo reprodutibilidade.
• Insights sobre Discurso Implícito: Evidência empírica de que o discurso de ódio implícito é significativamente mais difícil de detectar do que o explícito, exigindo abordagens específicas.

4. Resultados Chave

• Desempenho Geral: O modelo gpt-oss-20b obteve consistentemente os melhores resultados em todas as métricas e datasets, estabelecendo-se como a arquitetura mais robusta.
• Desempenho por Dataset:
  • Stormfront (Explícito): Todos os modelos tiveram alto desempenho. O Delta TF-IDF, com aumento de dados, atingiu 98,2% de acurácia, superando sua linha de base de 89,7%.
  • Hate Corpus (Implícito): O desafio foi maior, com acurácias de linha de base variando de 65,5% a 75,7%. O gpt-oss-20b liderou com 75,7%.
• Eficácia das Técnicas de Aprimoramento:
  • Aumento de Dados: Foi altamente benéfico para o modelo tradicional (Delta TF-IDF), mas teve efeitos mistos nos Transformers. Em alguns casos (ex: DistilBERT no Hate Corpus), o aumento de dados degradou o desempenho (queda de 69,4% para 55,1%), sugerindo que variações sintéticas podem introduzir ruído em modelos complexos.
  • SMOTE e Perda Ponderada: Produziram resultados divergentes. Em datasets complexos (implícitos), o SMOTE frequentemente degradou a acurácia, introduzindo amostras sintéticas ruidosas.
  • POS Tagging: Geralmente resultou em ganhos marginais ou estáveis com baixo risco de overfitting, sendo considerado a estratégia mais segura e universalmente aplicável.
• Comparação de Modelos: O RoBERTa mostrou-se uma alternativa competitiva de baixo custo computacional, enquanto o Gemma-7B apresentou desempenho flutuante.

5. Significado e Conclusão

O estudo conclui que não existe uma "solução única" para a detecção de discurso de ódio. A eficácia das estratégias de aprimoramento depende fortemente da interação entre:

1. Características do Dataset: Discurso explícito beneficia-se mais de aumento de dados e modelos tradicionais; discurso implícito exige modelos com maior capacidade de contexto (LLMs).
2. Arquitetura do Modelo: Modelos clássicos respondem excepcionalmente bem a técnicas de aumento de dados, enquanto LLMs e Transformers podem ser sensíveis a variações sintéticas.
3. Técnica de Aprimoramento: O POS tagging é uma estratégia de baixo risco, enquanto SMOTE e aumento de dados agressivo devem ser aplicados com cautela e validação empírica.

A pesquisa destaca que, embora os LLMs (especificamente o gpt-oss-20b) sejam superiores, a combinação de arquiteturas tradicionais com técnicas de engenharia de recursos adequadas (como aumento de dados para modelos clássicos) ainda oferece soluções altamente eficazes, especialmente para conteúdo explícito. O trabalho sugere futuras direções para a criação de datasets anotados com raciocínio Chain-of-Thought e modelos híbridos que combinem as forças de diferentes abordagens.