ToxSyn-PT: A Synthetic Fine-Grained Dataset of Minority-Targeted Toxic Language in Portuguese

Resumo Técnico: ToxSyn-PT

Declaração do Problema
O desenvolvimento de sistemas robustos de detecção de discurso de ódio é atualmente dificultado pela escassez de dados de treinamento em larga escala e de granularidade fina, particularmente para idiomas fora do inglês. Os corpora existentes em português sofrem de três limitações primárias: (1) eles dependem predominantemente de rótulos binários tóxico/não-tóxico em vez de anotações multilabel para grupos protegidos específicos; (2) carecem de contraexemplos positivos (textos benignos ou de apoio que referenciam minorias), tornando difícil distinguir o ódio genuíno de uma mera discussão; e (3) estão confinados ao domínio das redes sociais, falhando em capturar os padrões linguísticos de toxicidade em outros contextos, como comentários de notícias ou diálogos formais. Além disso, os conjuntos de dados existentes exibem um desequilíbrio de classe severo e frequentemente omitem referências neutras ou de apoio a grupos minoritários, impedindo que os modelos aprendam a distinção entre a ausência de ódio e a presença de endosso.

Metodologia
Para abordar essas lacunas, os autores introduzem o ToxSyn-PT, um conjunto de dados sintético de larga escala composto por 53.274 amostras geradas por meio de um pipeline controlável de quatro estágios utilizando Grandes Modelos de Linguagem (LLMs). O pipeline é projetado para garantir uma representação equilibrada entre nove grupos minoritários protegidos (pessoas negras, judeus, muçulmanos, indígenas brasileiros, mulheres, indivíduos LGBTQIA+, idosos, pessoas com deficiência e imigrantes) e inclui amostras tóxicas e não-tóxicas (positivas/neutras).

O processo de geração consiste em:

1. Conjunto de Dados Semente: Um conjunto compacto de 160 exemplos escritos por humanos (40 tóxicos/não-tóxicos cada para pessoas negras e mulheres) servindo como demonstrações de contexto (in-context demonstrations).
2. Expansão Baseada em Prompts: Utilizando o GPT-4o Mini com few-shot prompting e 26 templates distintos de tipos de discurso (14 não-tóxicos, 12 tóxicos) para gerar 10.790 sentenças únicas em todos os nove grupos alvo.
3. Aumentação por Paráfrase: Cada sentença gerada é parafraseada duas vezes (uma via transformação tóxica, outra via não-tóxica) usando um novo conjunto de estratégias retóricas (ex: culpabilização da vítima, negação positiva). Este estágio também envolve a troca de alvos minoritários e a normalização das saídas, resultando em 20.799 instâncias adicionais.
4. Enriquecimento: Uma rodada final de geração usando o corpus expandido como semente, introduzindo dois novos tipos de discurso de ódio implícito ("Preconceito Ambíguo" e "Preconceito de Justificação") para aumentar a complexidade linguística.
5. Amostras Neutras: Um módulo de aumentação separado gera 3.212 sentenças neutras não relacionadas à identidade de minorias para melhorar a generalização.

Um conjunto de teste anotado por humanos de 5.208 exemplos foi criado por anotadores cegos para validar os rótulos sintéticos. Os autores relatam que os anotadores humanos modificaram apenas cerca de 6% dos rótulos de toxicidade e menos de 1% dos rótulos de grupo alvo, confirmando a alta fidelidade do pipeline.

Principais Contribuições

1. Conjunto de Dados: O ToxSyn-PT é o primeiro corpus em português disponível publicamente, explicitamente projetado para detecção de discurso de ódio multilabel em nove grupos protegidos. Ele inclui unicamente contraexemplos não-tóxicos (referências positivas e neutras a minorias) e anotações de tipo de discurso (ex: sarcasmo, desumanização, apreciação cultural).
2. Pipeline de Geração: Os autores apresentam um framework controlável baseado em LLM capaz de equilibrar distribuições de classe, injetar expressões de baixa frequência e aplicar restrições de segurança para gerar diversas estratégias retóricas.
3. Avaliação: O artigo fornece uma avaliação rigorosa da detecção de toxicidade em português, demonstrando que os modelos atuais são altamente dependentes de domínio.

Resultos
Experimentos de ajuste fino (fine-tuning) do modelo BERTimbau revelam uma "falha de generalização mútua catastrófica" entre conjuntos de dados de redes sociais gerais (ex: ToLD-BR, HateBR) e o conjunto de dados ToxSyn focado em minorias:

• Desempenho In-Domain: Modelos treinados em dados de redes sociais performam bem em conjuntos de teste de redes sociais similares (Macro F1: 0,60–0,95). O modelo treinado no ToxSyn performa bem em seu próprio conjunto de teste e generaliza efetivamente para o conjunto de dados ToxiGen traduzido (F1: 0,69).
• Falha Out-of-Domain: Modelos treinados em dados gerais de redes sociais falham em detectar toxicidade em contextos específicos de minorias (ex: o modelo ToLD-BR identifica apenas 10 de 2.472 amostras tóxicas no ToxSyn). Por outro lado, o modelo treinado no ToxSyn falha em generalizar para corpora gerais de redes sociais (Recall de Classe-Tóxica de 0,17 no ToLD-BR).
• Classificação Específica de Grupo: Em tarefas específicas de grupo, o modelo treinado no ToxSyn atinge um Macro Recall médio de 0,70 no conjunto ToxiGen traduzido e 0,64 no conjunto Merged em português, demonstrando a capacidade de transferir conhecimento para contextos ruidosos e fora de domínio (out-of-domain).

Significância e Alegações
O artigo afirma que o ToxSyn-PT aborda uma lacuna crítica de recursos ao permitir o treinamento e a avaliação de modelos de detecção de toxicidade conscientes de minorias em português, uma tarefa anteriormente impossível devido à falta de contraexemplos não-tóxicos em conjuntos de dados públicos.

Um achado central do trabalho é que a detecção de toxicidade não é um problema monolítico; os padrões retóricos e contextuais do ódio direcionado a minorias são fundamentalmente diferentes das pistas lexicais explícitas de insultos gerais de redes sociais. Consequentemente, os autores argumentam que métricas de resumo como Macro F1 podem ser perigosamente enganosas, pois podem mascarar a falha completa de um modelo em detectar classes alvo específicas. O artigo postula que os benchmarks futuros devem incorporar métricas mais granulares e conjuntos de dados diversos e conscientes de minorias para construir classificadores verdadeiramente robustos. Os autores disponibilizam o ToxSyn-PT para apoiar a pesquisa reproduzível sobre geração de dados sintéticos e para servir de benchmark para o progresso na detecção de discurso de ódio para línguas de recursos baixos e médios.