A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

Resumo Técnico: Um Estudo Comparativo de PyCaret AutoML e CNN-BiLSTM para Detecção Binária de Discurso de Ódio no Twitter Indonésio

Declaração do Problema
O artigo aborda o desafio da detecção automática de discurso de ódio no Twitter indonésio. A tarefa é caracterizada por textos curtos, ruidosos e informais, onde a intenção prejudicial frequentemente surge do contexto, da negação ou da estrutura pragmática, e não apenas de insultos explícitos. Os autores visam determinar se uma abordagem de aprendizado profundo sensível à sequência (CNN-BiLSTM) oferece uma vantagem significativa em relação a um ramo de aprendizado de máquina convencional fortalecido, quando ambos são avaliados sob condições idênticas de pré-processamento e benchmark. O estudo utiliza o rótulo de discurso de ódio (HS) do corpus de Ibrohim e Budi [1], reformulando o conjunto de dados multirrótulo em um problema de classificação binária controlado (Discurso de Ódio vs. Não Discurso de Ódio).

Metodologia
O estudo emprega um design de benchmark controlado onde os ramos convencional e neural compartilham um pipeline de pré-processamento idêntico para garantir que as diferenças de desempenho reflitam a capacidade de modelagem e não inconsistências na preparação dos dados.

1. Dados e Pré-processamento:

   • Conjunto de Dados: Um subconjunto de 13.130 tweets do corpus de Ibrohim e Budi, com uma distribuição de classes de aproximadamente 58% de não discurso de ódio e 42% de discurso de ódio.
   • Pré-processamento: Inclui conversão para minúsculas, remoção de URLs/nomes de usuário, normalização de símbolos, normalização de gírias usando mapeamentos fornecidos pelo corpus e remoção de stopwords.
   • Engenharia de Recursos: Um recurso compartilhado de "contagem de palavras abusivas" é derivado do léxico abusivo do corpus.

2. Ramo Convencional (PyCaret AutoML):

   • Representação: Os tweets são vetorizados usando TF-IDF (unigramas e bigramas, vocabulário máximo de 5.000) concatenados com a contagem de palavras abusivas.
   • Fluxo de Trabalho: O PyCaret AutoML é utilizado não como um único classificador, mas como uma camada de benchmarking para padronizar a comparação entre múltiplos estimadores.
   • Modelos: O fluxo de trabalho avalia e classifica SVM linear, Naive Bayes e Random Forest. O Random Forest emerge como o candidato convencional mais forte.

3. Ramo Neural (CNN-BiLSTM):

   • Arquitetura: Uma arquitetura compacta projetada para textos curtos.
     • Embedding: Embeddings de palavras treináveis de 100 dimensões.
     • Camada CNN: Extrai padrões de frases locais (tamanho do kernel 3) para capturar fragmentos abusivos e intensificadores.
     • Camada BiLSTM: Codifica contexto bidirecional para interpretar pistas locais dentro do texto circundante.
     • Saída: Ativação sigmoide para probabilidade binária.
   • Treinamento: Otimizado com perda de entropia cruzada binária, usando uma taxa de aprendizado de $10^{-3}$, tamanho de lote de 64 e dropout de 0,2.

Principais Contribuições
O artigo faz quatro contribuições específicas:

1. Reformulação do Benchmark: Converte o corpus multirrótulo lançado em um benchmark binário controlado de HS.
2. Baseline Convencional Operacionalizada: Em vez de uma única baseline fraca, utiliza o PyCaret AutoML para estabelecer um benchmark convencional forte e sistemático.
3. Avaliação Neural Compacta: Avalia uma arquitetura CNN-BiLSTM sob medida especificamente para texto contextual indonésio curto.
4. Interpretação Abrangente: Analisa os resultados por meio de estatísticas do corpus, curvas de aprendizado e matrizes de confusão para distinguir entre qualidade de representação e estabilidade de treinamento.

Resultados
O estudo compara os modelos em uma divisão de teste retida de 20% (2.626 tweets).

• Métricas de Desempenho:

  • CNN-BiLSTM: Alcançou 83,8% de Acurácia, 79,8% de Precisão, 82,7% de Revocação e 81,2% de Pontuação F1.
  • PyCaret-Random Forest (Convencional Mais Forte): Alcançou 77,2% de Acurácia, 75,8% de Precisão, 78,3% de Revocação e 77,0% de Pontuação F1.
  • PyCaret-SVM: 72,3% de Acurácia (mais fraco).
  • PyCaret-Naive Bayes: 75,8% de Acurácia.

• Ganho Comparativo: O ramo neural melhorou a acurácia em 6,6 pontos percentuais e a pontuação F1 em 4,2 pontos percentuais sobre o modelo convencional mais forte.

• Análise de Erros:

  • O CNN-BiLSTM apresentou sinais de sobreajuste (perda de validação aumentando após épocas iniciais), sugerindo que os ganhos poderiam ser ainda mais otimizados via parada antecipada e regularização.
  • A matriz de confusão indicou que o modelo é um pouco agressivo, mas equilibrado, com erros concentrados em casos limítrofes envolvendo hostilidade implícita ou referências a grupos, em vez de tokens tóxicos explícitos.
  • Uma tarefa auxiliar sobre "linguagem abusiva" (mais ampla que discurso de ódio) mostrou curvas de aprendizado mais estáveis, confirmando que a detecção estrita de HS é um limite mais difícil e dependente de contexto.

Significado e Alegações
O artigo conclui com uma distinção matizada entre a utilidade das duas abordagens:

1. PyCaret AutoML como Framework: O estudo valida o PyCaret como um framework eficaz para estabelecer benchmarks convencionais fortes e reproduzíveis. Demonstra que, mesmo com uma baseline lexical robusta (TF-IDF + contagens abusivas) e otimização AutoML, o ramo convencional não consegue capturar totalmente as nuances do discurso de ódio indonésio.
2. CNN-BiLSTM como Modelo Final Superior: Os resultados confirmam que, para este benchmark específico, a arquitetura CNN-BiLSTM oferece uma vantagem significativa. Os autores atribuem isso à capacidade do modelo de capturar tanto padrões lexicais locais (via CNN) quanto interações contextuais de curto alcance (via BiLSTM), que são críticas para tweets indonésios onde a intenção frequentemente depende da estruturação.
3. Implicações Práticas: O artigo postula que o PyCaret é preferível para triagem rápida, experimentação de baixo custo e estabelecimento de baseline reproduzível. Por outro lado, o CNN-BiLSTM é a escolha recomendada quando o objetivo principal é maximizar o equilíbrio preditivo no limite do discurso de ódio e quando o custo computacional do aprendizado profundo é aceitável.

Os autores afirmam explicitamente que essas descobertas são específicas à configuração do benchmark (um conjunto de dados, um pipeline de pré-processamento, uma divisão) e não reivindicam superioridade universal para todas as formas de discurso de ódio online. Eles sugerem que trabalhos futuros poderiam explorar espaços de busca AutoML mais ricos, regularização mais forte e modelos baseados em transformadores como o IndoBERT.