Resumo Técnico: Treinamento Multi-Estágio para Detecção de Comentários Abusivos em Línguas Indic

Declaração do Problema

O artigo aborda o desafio crítico de detectar conteúdo abusivo em plataformas de mídia social, especificamente no contexto de línguas indicas. Embora a mídia social facilite a comunicação, ela também hospeda conteúdo prejudicial que requer moderação automatizada. Os autores destacam que essa tarefa é inerentemente difícil devido à subjetividade da anotação, nuances linguísticas (como ironia, humor e variações ortográficas) e à escassez de recursos para línguas indianas.

Um conjunto de dados específico utilizado para este estudo compreende 700.000 comentários do aplicativo "Moj", cobrindo mais de 15 línguas indianas. O conjunto de dados apresenta desafios significativos:

• Ruído de Rótulo: Os autores estimam que aproximadamente 9–10% dos dados de treinamento contêm erros de anotação (por exemplo, comentários sarcásticos marcados como abusivos ou comentários tóxicos marcados como não abusivos).
• Complexidade Linguística: Os comentários frequentemente contêm mistura de códigos (por exemplo, Hinglish) ou são escritos em script latino em vez de scripts nativos.
• Escassez de Recursos: Modelos de linguagem pré-treinados para línguas indicas são frequentemente treinados em corpora pequenos, limitando sua eficácia.

Metodologia

Os autores propõem um pipeline multi-estágio envolvendo pré-processamento de dados, treinamento de modelo e pós-processamento para minimizar falsos positivos e lidar com ruído de rótulo.

1. Pré-processamento de Dados

• Limpeza e Transliteração: O conjunto de dados bruto foi limpo para remover entidades não textuais (por exemplo, tags HTML). Crucialmente, comentários escritos em script latino (por exemplo, Hinglish) foram transliterados para suas línguas indicas nativas atribuídas usando a biblioteca indic-trans.
• Mesclagem de Dados: Um experimento foi conduzido onde o texto bruto original e o texto limpo/transliterado foram concatenados para fornecer ao modelo informações sintáticas e semânticas mais ricas.
• Redução de Dimensionalidade: Análise de Componentes Principais (PCA) foi aplicada para reduzir os embeddings do XLM-R de 768 dimensões para 200, a fim de otimizar o desempenho.

2. Arquitetura do Modelo e Treinamento

A abordagem utiliza um ensemble de modelos de aprendizado profundo e boosting de gradiente:

• Transformadores Base: Os autores ajustaram finamente o XLM-R (um modelo RoBERTa multilíngue) e o Muril (uma variante BERT especificamente para línguas indicas). O XLM-R consistentemente superou o Muril em pontuações de validação cruzada (CV).
• Engenharia de Recursos: Embeddings contextuais dos modelos transformadores foram concatenados com metadados de feedback explícito (número de curtidas e denúncias) do conjunto de dados.
• Boosting de Gradiente: As saídas agrupadas (embeddings) dos modelos transformadores foram usadas como recursos de entrada para treinar classificadores LightGBM (LGBM).
• Modelagem por Língua: Em vez de um único modelo global, modelos LGBM separados foram treinados para cada língua dentro de uma configuração de validação cruzada de 10 dobras. Isso produziu melhorias significativas de desempenho em relação ao treinamento agnóstico à língua.
• Pseudo-Rotulagem: Para lidar com o ruído de rótulo, os autores implementaram uma técnica iterativa de pseudo-rotulagem. Previsões do modelo de melhor desempenho foram usadas como metadados adicionais para treinar modelos subsequentes. Esse processo foi repetido até que o desempenho estagnasse.

3. Pós-processamento

O estágio final envolveu a aplicação de limiares específicos por língua às previsões do modelo. Esse ajuste simples permitiu o ajuste fino do equilíbrio entre precisão e recall para cada língua indiana específica.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Improvisação do Conjunto de Dados: Criação de uma versão limpa e transliterada do conjunto de dados bruto, convertendo comentários para suas línguas nativas atribuídas.
2. Pipeline Robusto: Desenvolvimento de um pipeline de treinamento eficaz, específico por língua, que integra embeddings de transformadores, metadados e boosting de gradiente.
3. Tratamento de Ruído: Demonstração de um pipeline que gerencia efetivamente o ruído de rótulo através de pseudo-rotulagem e limiarização específica por língua, visando reduzir falsos positivos sem comprometer a liberdade de expressão.

Resultados

Os autores relatam uma progressão de pontuações (pontuação F1) através de várias etapas de experimentação:

• Linha de Base: O ajuste fino do XLM-R alcançou uma pontuação CV de 0,8804.
• Aumento de Recursos: Adicionar metadados e concatenar texto bruto/transliterado melhorou a pontuação para 0,8822.
• Integração LGBM: Usar embeddings do XLM-R com LGBM elevou a pontuação para 0,89481.
• Treinamento Específico por Língua: Treinar modelos LGBM separados por língua aumentou a pontuação para 0,89801.
• Pseudo-Rotulagem: Pseudo-rotulagem iterativa com LGBM específico por língua alcançou uma pontuação de modelo único de 0,89934.
• Ensemble Final: Um ensemble ponderado de modelos de alta pontuação, combinado com limiares de pós-processamento específicos por língua, alcançou uma pontuação final de 0,90000 no leaderboard (LB).

Significado e Alegações

O artigo afirma que seu pipeline proposto minimiza com sucesso a taxa de falsos positivos, um fator crucial para prevenir a supressão de discurso legítimo enquanto detecta abuso. Os autores enfatizam que sua abordagem lida efetivamente com o "ruído" inerente a conjuntos de dados anotados por humanos, uma questão comum na detecção de conteúdo abusivo.

O estudo conclui que, embora procedimentos de modelagem inovadores (como pseudo-rotulagem e limiares específicos por língua) tenham produzido resultados fortes, ainda há espaço para melhoria. Os autores modestamente sugerem que trabalhos futuros poderiam focar em otimizar modelos com agendadores de taxa de aprendizado e desenvolver métodos mais sofisticados para lidar diretamente com o ruído de rótulo. Eles não afirmam ter resolvido o problema inteiramente, mas forneceram um framework robusto que avança significativamente o desempenho na detecção de comentários abusivos em línguas indicas.