ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

Resumo Técnico: ChildGuard: Um Conjunto de Dados Especializado para Combater o Discurso de Ódio Direcionado a Crianças

Problema
A indústria da saúde mental enfrenta preocupações crescentes em relação ao discurso de ódio direcionado a crianças nas redes sociais. A exposição a tal conteúdo durante estágios de desenvolvimento críticos pode levar a resultados psicológicos adversos, incluindo sofrimento emocional, ansiedade, isolamento social e redução da autoestima. No entanto, os sistemas de detecção de discurso de ódio e os conjuntos de dados existentes são predominantemente centrados em adultos. Eles tipicamente modelam a relação entre o conteúdo textual ($X$) e os rótulos de discurso de ódio ($Y \in \{0, 1\}$) sem considerar as características específicas de idade ($A$). Consequentemente, esses sistemas carecem das representações dedicadas necessárias para detectar efetivamente o discurso de ódio direcionado a crianças, cuja resiliência emocional e maturidade cognitiva diferem significamente das de adultos.

Metodologia
Os autores apresentam o ChildGuard, um conjunto de dados em inglês de larga escala projetado para preencher essa lacuna. A metodologia abrange coleta de dados, filtragem e anotação:

• Coleta de Dados: Aproximadamente 580.000 instâncias de texto bruto foram coletadas de três grandes plataformas onde crianças participam ativamente: Reddit, X (antigo Twitter) e YouTube. A coleta utilizou APIs públicas (PRAW, Tweepy, YouTube Data API v3) e, onde necessário, scripts personalizados (BeautifulSoup, Selenium) para navegar pelas restrições de profundidade de tópicos (threads). Um léxico de palavras-chave relacionadas a crianças (ex: "kid", "teenager", "diaper", "school") foi utilizado para filtrar o conteúdo relevante.
• Filtragem: Um pipeline de múltiplos estágios removeu textos que não fossem em inglês, spam, duplicatas (via hashing SHA-256) e instâncias com menos de 10 tokens ou excesso de emojis/URLs. Este processo reteve 469.910 instâncias para anotação.
• Anotação: Três anotadores experientes rotularam manualmente as instâncias retidas. Cada instância recebeu:
  • Um rótulo de discurso de ódio ($Y \in \{0, 1\}$).
  • Um rótulo de grupo de idade ($A \in \{\text{criança mais nova}, \text{pré-adolescente}, \text{adolescente}\}$), correspondendo a menores de 11 anos, 11–12 anos e 13–17 anos, respectivamente.
  • Uma categoria de subconjunto ($S \in \{\text{léxico}, \text{contextual}\}$). O subconjunto léxico (194 mil instâncias) foca em vocabulário e insultos diretos, enquanto o subconjunto contextual (157 mil instâncias) captura características de nível de discurso, sarcasmo e referências indiretas.
• Privacidade: Antes da anotação, todas as Informações de Identificação Pessoal (PII) foram anonimizadas usando o modelo NER do spaCy e regras de regex, substituindo identificadores por tokens com hash SHA-256.

Principais Contribuições

1. Conjunto de Dados ChildGuard: A introdução de um conjunto de dados de larga escala contendo 351.877 instâncias anotadas, sendo o primeiro a combinar conteúdo focado em crianças com anotações específicas de grupos de idade e uma distinção entre discurso de ódio léxico e contextual.
2. Benchmarking Empírico: O artigo fornece uma avaliação abrangente de modelos recentes baseados em transformadores (DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT) e Grandes Modelos de Linguagem (GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3) neste domínio específico.

Resultos
A avaliação no conjunto de teste reservado revela desafios significativos na detecção de discurso de ódio direcionado a crianças:

• Desempenho Geral: O melhor modelo, o GPT-4.5, alcançou uma pontuação Macro-F1 de 82,07% no conjunto de dados completo.
• Variância por Grupo de Idade: O desempenho declinou consistentemente à medida que a idade do alvo diminuía. As pontuações do GPT-4.5 caíram para 79,41% para pré-adolescentes e 79,24% para crianças mais novas, indicando que o discurso de ódio direcionado a demografias mais jovens contém características mais sutis e dependentes de contexto.
• Léxico vs. Contextual: Os modelos tiveram um desempenho significativamente melhor no subconjunto léxico (85,11% de Macro-F1 para o GPT-4.5) em comparação ao contextual (79,24%), destacando a dificuldade de detectar hostilidade indireta e abuso em nível de discurso.
• Análise de Erros: As principais fontes de classificação incorreta foram o ódio implícito (31,4%), dependência de contexto (25,8%) e ambiguidade de idade (18,9%).
• Generalização entre Subconjuntos: Os modelos tiveram dificuldade em generalizar entre os subconjuntos; ao transferir de instâncias léxicas para contextuais, o desempenho do GPT-4.5 caiu para 74,88%.

Significância e Alegações
O artigo afirma que o ChildGuard aborda uma escassez crítica de recursos para a indústria da saúde mental, fornecendo uma base necessária para o desenvolvimento de sistemas de detecção de discurso de ódio focados em crianças. Os autores enfatizam que os sistemas atuais de última geração, embora alcancem um sucesso moderado, permanecem insuficientes para esta aplicação específica devido à sua incapacidade de lidar com nuances de idade e contexto implícito. O conjunto de dados serve como um benchmark para motivar o desenvolvimento de modelos que possam melhor considerar a relação entre o conteúdo textual, informações de grupo de idade e rótulos de discurso de ódio, indo além das formulações tradicionais de $P(Y|X)$ para estruturas mais complexas e conscientes da idade.

Limitações
Os autores observam que o conjunto de dados é limitado a conteúdo em inglês de três plataformas específicas. As anotações de grupo de idade são inferidas de pistas textuais, em vez de dados demográficos verificados, e algumas instâncias envolvendo ódio implícito permanecem inerentemente ambíguas. Além disso, os resultados do benchmark são restritos aos modelos avaliados, deixando arquiteturas mais amplas e configurações multilíngues para pesquisas futuras.