Challenger at MultiPRIDE: Is It Hate Speech or Reclaimed?

Resumo Técnico: Distinguindo Discurso de Ódio de Linguagem Reivindicada no MultiPRIDE

Declaração do Problema
O artigo aborda um desafio crítico na detecção automatizada de discurso de ódio: diferenciar o discurso de ódio genuíno da "linguagem reivindicada" (reclaimed language). Enquanto o discurso de ódio visa indivíduos com base em identidade (religião, raça, orientação sexual, etc.), membros de grupos marginalizados (como a comunidade LGBTQ+) frequentemente reapropriam termos tradicionalmente ofensivos para promover a solidariedade intragrupal por meio da "reivindicação semântica" ou "impolidez simulada". Sistemas automatizados frequentemente classificam erroneamente essas expressões reivindicadas como odiosas, gerando falsos positivos que restringem a autoexpressão. Esta tarefa é complicada pela natureza dependente do contexto da linguagem, onde o significado depende fortemente da identidade do falante e do contexto de uso, sendo ainda exacerbada pelo desequilíbrio extremo de classes nos conjuntos de dados disponíveis.

Metodologia
Os autores propõem um pipeline agnóstico à língua projetado para operar eficientemente sob recursos computacionais limitados, mantendo a interpretabilidade. A abordagem consiste em quatro estágios primários:

1. Pré-processamento e Aumento de Dados:

   • Limpeza: O texto bruto é limpo usando expressões regulares para remover URLs, menções de usuários e caracteres não-ASCII (incluindo emojis). Crucialmente, o símbolo # é removido das hashtags para preservar seu conteúdo textual semântico.
   • Aumento (Augmentation): Para lidar com o severo desequilíbrio de classes, os autores utilizam uma estratégia de tradução reversa (back-translation). Amostras da classe minoritária são traduzidas para línguas pivô (francês, alemão, russo, persa) via API do Google Translate e traduzidas de volta para a língua de origem. Isso gera amostras positivas sintéticas para enriquecer a distribuição de treinamento.

2. Extração de Características e Limpeza de Rótulos:

   • Embeddings: As amostras de texto são convertidas em vetores semânticos densos de 1024 dimensões usando o modelo de Sentence Transformer de última geração intfloat/e5-large-v2.
   • Filtragem de Ruído: Os autores utilizam o framework Cleanlab (especificamente Confident Learning) para identificar e remover ruídos de rotulagem. Um classificador de Regressão Logística é ajustado aos embeddings para detectar instâncias com alta probabilidade de erros de rótulo. Essas instâncias ruidosas são filtradas antes da fase final de treinamento para garantir um sinal de treinamento mais limpo.

3. Arquitetura do Modelo:

   • O classificador central é um Perceptron Multicamadas (MLP) leve construído sobre TensorFlow/Keras.
   • Estrutura: O MLP aceita os embeddings de sentenças e os passa por duas camadas densas ocultas (16 e 8 unidades, respectivamente) usando ativação ReLU. A camada de saída utiliza uma função de ativação Sigmoid para pontuação de probabilidade binária.
   • Treinamento: O modelo é treinado usando o otimizador Adam e perda de Entropia Cruzada Binária (Binary Crossentropy). Para mitigar o desequilíbrio de classes, pesos de classe são computados para penalizar as classificações errôneas da classe minoritária de forma mais severa.

4. Validação e Ajuste de Limiar (Threshold Tuning):

   • Os dados são divididos usando amostragem estratificada (80/20) para preservar as proporções de rótulos.
   • Em vez de uma fronteira de decisão fixa de 0,5, o sistema emprega um método de otimização de limiar ajustado. Ele busca em um intervalo de fronteiras de decisão (0,1 a 0,9) para selecionar o limiar que maximiza o F1-score no conjunto de validação.

Principais Contribuições
O artigo descreve as seguintes contribuições específicas para a tarefa compartilhada MultiPRIDE:

• Limpeza sistemática de texto que preserva a semântica de hashtags enquanto remove ruídos.
• Implementação de amostragem estratificada para garantir uma avaliação confiável em dados altamente desequilibrados.
• Aplicação de aumento por tradução reversa para equilibrar a distribuição de treinamento.
• Extração de características semânticas profundas usando o modelo intfloat/e5-large-v2.
• Melhoria da qualidade do sinal de treinamento via Cleanlab para filtragem de ruído de rótulo.
• Design de uma Rede Neural leve e otimizada para a tarefa, que equilibra desempenho com eficiência computacional.

Resultados
O sistema foi avaliado no conjunto de dados MultiPRIDE, que inclui tweets em inglês, italiano e espanhol. As métricas de avaliação incluíram Precisão, Recall e F1-score, com foco em métricas médias macro (macro-averaged).

• Italiano: Alcançou o melhor desempenho com um F1-score médio macro de 0,8815 (F1 Classe 0: 0,9570; F1 Classe 1: 0,8060).
• Espanhol: Alcançou um F1-score médio macro de 0,6773 (F1 Classe 0: 0,8361; F1 Classe 1: 0,5185).
• Inglês: Apresentou o menor desempenho com um F1-score médio macro de 0,6203 (F1 Classe 0: 0,9318; F1 Classe 1: 0,3089).

Os autores observam que o desempenho inferior na classe minoritária (Linguagem Reivindicada) em todos os idiomas, particularmente em inglês, é consistente com os desafios do desequilíbrio extremo de classes no conjunto de dados, e não com instabilidade do modelo.

Significância e Alegações
O artigo alega que sua metodologia demonstra que algoritmos leves podem aprender efetivamente relações de classe mesmo com pequenos conjuntos de treinamento e recursos computacionais limitados. Os autores posicionam sua abordagem como uma "alternativa mínima" que oferece um equilíbrio entre eficácia e eficiência.

A significância do trabalho reside em sua capacidade de operar em um ambiente multilíngue sem depender de modelos computacionais pesados, tornando-o acessível para cenários de recursos limitados. Os autores concluem modestamente que, embora seu sistema tenha um bom desempenho, a variação de desempenho entre as línguas (especificamente os resultados mais baixos para o inglês) destaca a dificuldade da tarefa. Eles sugerem que melhorias futuras poderiam ser alcançadas utilizando modelos de embedding maiores, pré-processamento mais avançado e abordagens de aprendizado complexas, mas enfatizam que sua abordagem atual fornece um ponto de partida robusto para distinguir discurso de ódio de linguagem reivindicada.