Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks

O artigo apresenta o RoBERTa-OTA, um modelo inovador que integra mecanismos de atenção guiados por ontologia e Redes Neurais de Grafos ao RoBERTa para detectar discurso de ódio multiclasse com maior precisão e eficiência, superando os métodos existentes ao combinar compreensão contextual com conhecimento semântico estruturado.

O essencial

Imagine que a internet é uma enorme praça pública onde milhões de pessoas conversam, riem e compartilham ideias. Infelizmente, às vezes, algumas pessoas usam essa praça para atacar outros grupos (como mulheres, idosos, pessoas de certas religiões ou etnias). O grande desafio para os computadores é: como distinguir um insulto grave de uma brincadeira ou de um ataque sutil que usa "código" para não ser detectado?

Este artigo apresenta uma nova solução chamada RoBERTa-OTA. Para entender como ela funciona, vamos usar algumas analogias simples:

1. O Problema: O Detetive Cego

Antes dessa nova tecnologia, os computadores usavam "detetives" (modelos de inteligência artificial) que liam apenas o texto. Eles eram bons, mas tinham um problema: eles não tinham um manual de instruções sobre como o ódio funciona na sociedade.

• Eles sabiam que "X é ruim", mas não entendiam por que um ataque contra uma mulher é diferente de um ataque contra uma religião.
• Eles falhavam quando o ataque era "sutil" (usando gírias ou metáforas) em vez de óbvio.

2. A Solução: O Detetive com um Mapa e um Guia

Os autores criaram o RoBERTa-OTA. Pense nele como um detetive superinteligente que tem duas ferramentas extras:

• O "RoBERTa" (O Leitor): É um cérebro artificial muito esperto que já leu quase toda a internet. Ele entende o contexto, o humor e a ironia. É como um tradutor que entende não apenas as palavras, mas o sentimento por trás delas.
• O "OTA" (O Guia de Ontologia): Aqui está a mágica. Os pesquisadores criaram um mapa de conexões (um grafo) que ensina ao computador as regras do jogo.
  • Imagine que esse mapa é um organograma de uma escola. Ele diz ao computador: "Se alguém ataca 'Mulheres', isso tem a ver com 'Gênero' e 'Estereótipos'. Se ataca 'Religião', envolve 'Teologia' e 'Crenças'".
  • O computador não apenas lê o texto; ele consulta esse mapa de conhecimento para entender a estrutura do ataque.

3. Como Funciona a "Dança" das Redes (A Arquitetura)

O sistema funciona como uma equipe de dois especialistas trabalhando juntos:

1. Stream de Texto: O "Leitor" (RoBERTa) analisa a frase e diz: "Essa palavra aqui parece ofensiva".
2. Stream de Conhecimento: O "Mapa" (Rede Neural de Grafos) olha para a categoria do ataque e diz: "Lembre-se, ataques de gênero costumam usar certas palavras-chave e têm um padrão específico".
3. A Fusão: O sistema junta as duas informações. É como se o detetive dissesse: "O texto parece ofensivo, e o meu mapa confirma que esse padrão de ofensa é exatamente o que usamos para classificar 'discurso de ódio contra mulheres'".

4. Os Resultados: Por que isso importa?

Os autores testaram isso em quase 40.000 tweets. O resultado foi impressionante:

• Precisão: O novo sistema acertou 96% das vezes, enquanto os sistemas antigos acertavam cerca de 95%. Parece pouco? Na internet, onde há milhões de mensagens, essa diferença significa milhares de mensagens de ódio a mais sendo detectadas e removidas.
• Onde brilha mais: O sistema ficou especialmente melhor em detectar os ataques mais difíceis, como os contra mulheres e outros grupos menos óbvios. Antes, o computador perdia esses ataques sutis; agora, o "Mapa" ajuda a vê-los.
• Eficiência: O sistema ficou apenas um pouquinho mais pesado (como adicionar uma página extra a um livro gigante), mas o ganho em segurança vale muito a pena.

5. Resistência ao Caço (Robustez)

A internet é bagunçada. As pessoas escrevem errado, usam abreviações ("vc", "pq") e gírias.

• O sistema antigo, quando via um texto cheio de erros, ficava confuso.
• O novo sistema, graças ao seu "Mapa de Conhecimento", consegue entender a intenção mesmo quando as palavras estão "quebradas". É como um professor experiente que entende o que o aluno quis dizer mesmo com a caligrafia ruim e erros de português.

Resumo Final

Pense no RoBERTa-OTA como a evolução de um guarda de segurança.

• O velho guarda olhava apenas para a roupa da pessoa (o texto bruto).
• O novo guarda olha para a roupa, mas também consulta um manual de comportamento que explica como criminosos específicos agem.

Essa combinação permite que a internet seja um lugar mais seguro, identificando não apenas os gritos óbvios, mas também os sussurros perigosos que tentam se esconder.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks", apresentado em português:

1. Definição do Problema

O crescimento exponencial das mídias sociais criou desafios complexos para a moderação de conteúdo, especificamente na detecção de discurso de ódio. O problema central abordado é a detecção multiclasse de discurso de ódio direcionado a categorias demográficas específicas (Idade, Etnia, Gênero, Religião e "Outros").

As abordagens existentes enfrentam duas principais dificuldades:

• Estratégias de Alvo Implícitas: O discurso de ódio muitas vezes utiliza linguagem codificada ou referências implícitas que modelos padrão (baseados apenas em aprendizado de dados brutos) falham em capturar.
• Falta de Conhecimento Estruturado: A maioria dos modelos baseados em Transformers (como BERT e RoBERTa) opera puramente sobre representações aprendidas dos dados de treinamento, sem integrar explicitamente frameworks ontológicos ou conhecimento de domínio estruturado que poderiam auxiliar na classificação.

2. Metodologia: Arquitetura RoBERTa-OTA

Os autores propõem o RoBERTa-OTA (RoBERTa com Atenção Guiada por Ontologia), uma arquitetura híbrida que combina o poder de compreensão contextual dos Transformers com o conhecimento estruturado de redes neurais gráficas.

A arquitetura opera em dois fluxos paralelos (Dual-Stream):

A. Fluxo de Processamento de Texto

• Base: Utiliza o modelo pré-treinado RoBERTa-base (124,6M parâmetros) para gerar embeddings contextuais robustos.
• Atenção Escalada: Adiciona camadas de atenção scaled dot-product otimizadas especificamente para padrões de discurso de ódio, permitindo que o modelo foque em características relevantes sem perder a compreensão contextual.
• Saída: Gera representações textuais de 768 dimensões.

B. Fluxo de Processamento de Ontologia

• Grafo de Ontologia: Cria um grafo estruturado com 5 nós, correspondendo às categorias demográficas de ódio.
• Vetores de Características: Cada nó possui um vetor de 6 dimensões codificando atributos semânticos derivados de análise linguística e pesquisa existente (ex: direcionamento demográfico, identidade cultural, complexidade linguística, diversidade de ataque).
• GCN (Redes Neurais de Grafos): Um GCN de 3 camadas processa as relações estruturadas entre as categorias de ódio.
  • Camada 1: 6 → 64 dimensões.
  • Camada 2: 64 → 64 dimensões.
  • Camada 3: 64 → 32 dimensões.
• Saída: Gera representações de conhecimento estruturado de 32 dimensões.

C. Integração e Classificação

• Concatenação: As saídas dos dois fluxos são concatenadas, resultando em um vetor de 800 dimensões (768 do texto + 32 da ontologia).
• Rede Classificadora Profunda: Uma rede linear com três camadas (800→400→200→5) com normalização de lote, normalização de camada e taxas de dropout progressivas classifica o texto nas 5 categorias de ódio.

3. Contribuições Chave

1. Integração Ontológica: É a primeira abordagem a integrar explicitamente conhecimento ontológico estruturado (via GCN) com mecanismos de atenção de Transformers para detecção multiclasse de discurso de ódio.
2. Arquitetura Híbrida Eficiente: Demonstra que é possível melhorar significativamente a precisão com um custo computacional marginal (apenas 0,33% de sobrecarga de parâmetros).
3. Resolução de Ambiguidade: O modelo é projetado especificamente para lidar com categorias difíceis onde o direcionamento é implícito (como ódio baseado em gênero), superando as limitações de modelos puramente baseados em texto.

4. Resultados Experimentais

O modelo foi avaliado em um conjunto de dados balanceado de 39.747 amostras (extraído do framework SOSNet) utilizando validação cruzada de 5 dobras.

• Desempenho Geral:

  • RoBERTa-OTA: 96,04% de precisão (Accuracy) e 96,06% de F1-score ponderado.
  • RoBERTa Baseline: 95,02% de precisão e 95,04% de F1-score.
  • SOSNet (Estado da Arte anterior): 94,38% de precisão e 94,44% de F1-score.
  • Melhoria: O RoBERTa-OTA superou o estado da arte em 1,66 pontos percentuais de precisão.

• Desempenho por Categoria (Pontos Críticos):

  • As maiores melhorias ocorreram nas categorias mais desafiadoras:
    • Ódio Baseado em Gênero: Aumentou de 90,70% para 93,06% de F1 (+2,36 pontos).
    • Outros Ódios: Aumentou de 88,94% para 91,32% de F1 (+2,38 pontos).
  • Categorias mais explícitas (Religião, Idade, Etnia) já tinham alto desempenho, mas também apresentaram ganhos consistentes.

• Eficiência Computacional:

  • Parâmetros: Aumentou apenas de 124,65M para 125,06M (+0,33%).
  • Memória GPU: Aumento de 2,6GB para 3,1GB.
  • Tempo de Treinamento: Aumento de 12,2% (24,5 para 27,5 min/dobra), mas com convergência mais rápida (menos épocas totais necessárias).

• Robustez:

  • Sob perturbações de texto típicas de redes sociais (erros de digitação, abreviações, gírias), o RoBERTa-OTA manteve-se mais robusto que o baseline, especialmente em cenários de exclusão de caracteres (15% de exclusão), onde superou o baseline em 3,47 pontos de F1.

5. Significado e Conclusão

O artigo demonstra que a integração de conhecimento de domínio estruturado (ontologias) com aprendizado contextual profundo (Transformers) é uma estratégia superior para a detecção de discurso de ódio multiclasse.

A principal implicação prática é que, para aplicações de moderação de conteúdo em larga escala, o RoBERTa-OTA oferece um equilíbrio ideal:

1. Alta Precisão em Casos Difíceis: Melhora drasticamente a detecção de ódio implícito (gênero e outros), que é onde os sistemas atuais mais falham.
2. Viabilidade de Implantação: A sobrecarga computacional é mínima, permitindo a implementação em hardware padrão sem custos proibitivos.

Os autores concluem que essa abordagem abre caminho para sistemas de moderação mais inteligentes e adaptáveis, capazes de entender não apenas a superfície do texto, mas também as relações semânticas e demográficas subjacentes ao discurso de ódio. Trabalhos futuros visam expandir essa ontologia para contextos multilíngues e culturas diversas.