Detecting LGBTQ+ Instances of Cyberbullying

Resumo Técnico: Detecção de Instâncias de Cyberbullying contra a Comunidade LGBTQ+

Definição do Problema
O cyberbullying representa uma ameaça significativa à saúde mental de adolescentes em nível global, com evidências que ligam a exposição à agressão de pares ao aumento da suicidalidade. Embora a detecção de cyberbullying geral seja um campo estabelecido, existe uma lacuna crítica no desenvolvimento de modelos especificamente sensíveis à comunidade LGBTQ+. Pesquisas indicam que indivíduos LGBTQ+ enfrentam taxas desproporcionalmente mais altas de assédio online em comparação com seus pares heterossexuais e cisgêneros. Além disso, os modelos existentes de detecção "tamanho único" frequentemente falham em capturar a natureza única, sutil e dependente de contexto do assédio direcionado a minorias sexuais e de gênero. Este estudo aborda a necessidade de modelos de aprendizado de máquina capazes de discernir com precisão incidentes de cyberbullying direcionados especificamente a indivíduos LGBTQ+ em ambientes de redes sociais em tempo real.

Metodologia
O estudo implementa e avalia três modelos de linguagem de transformadores pré-treinados — RoBERTa, BERT e GPT-2 — para classificar comentários do Instagram como contendo ou não cyberbullying relacionado à comunidade LGBTQ+.

• Dataset: A pesquisa utiliza um conjunto de dados de 1.083 comentários do Instagram, dos quais 217 foram especificamente anotados como direcionados à comunidade LGBTQ+. Os dados foram rotulados por uma equipe diversificada com expertise em psicologia e ciência da computação, capturando nuances no tipo de conteúdo, propósito e direcionalidade.
• Arquitetura do Modelo:
  • RoBERTa e BERT: Adaptados com cabeças de classificação de sequência e treinados usando perda de entropia cruzada binária (binary cross-entropy loss) e o otimizador AdamW.
  • GPT-2: Modificado usando GPT2ForSequenceClassification para adicionar uma camada linear sobre a saída agrupada (pooled output), permitindo tarefas de classificação de sequência apesar de seu design original para geração de texto.
  • Hiperparâmetros: Os modelos foram treinados por 3 épocas com um tamanho de lote (batch size) de 16 e uma taxa de aprendizado de $5 \times 10^{-5}$.
• Tratamento de Desbalanceamento de Classes: Para abordar o desbalanceamento entre a classe minoritária (cyberbullying LGBTQ+) e a classe majoritária (cyberbullying Não-LGBTQ+), os autores experimentaram três configurações: o dataset original, sobreamostragem (oversampling) usando SMOTE (Synthetic Minority Over-sampling Technique) e sobreamostragem usando ADASYN (Adaptive Synthetic Sampling).
• Avaliação: O desempenho foi avaliado por meio de validação cruzada de 5 dobras (5-fold cross-validation), medindo Acurácia, Precisão, Recall, Pontuação F1 e Área Sob a Curva de Característica de Operação do Receptor (AUROC).

Principais Resultados
Os resultados experimentais indicam que o RoBERTa superou consistentemente o BERT e o GPT-2 na maioria das configurações.

• Melhor Desempenho: O RoBERTa alcançou a maior acurácia (0.9456) e pontuação F1 (0.733) no dataset original sem sobreamostragem. A maior pontuação de AUROC (0.8926) foi alcançada pelo RoBERTa utilizando sobreamostragem ADASYN.
• Disparidades Específicas de Classe: Uma análise por classe revela uma lacuna significativa de desempenho. Enquanto os modelos demonstraram alta precisão e recall para identificar o bullying Não-LGBTQ+ (Verdadeiros Negativos), eles tiveram dificuldades significativas com o bullying LGBTQ+ (Verdadeiros Positivos).
  • Para o RoBERTa (Original), o recall para a classe LGBTQ+ foi de apenas 0.6372, comparado a 0.986 para a classe Não-LGBTQ+.
  • Essa tendência persistiu em todas as técnicas de sobreamostragem, indicando que os modelos frequentemente classificam comentários de bullying LGBTQ+ como Não-LGBTQ+ (Falsos Negativos).
• Impacto da Sobreamostragem: Embora o SMOTE e o ADASYN tenham aumentado o número de Verdadeiros Positivos em comparação ao dataset original, eles não resolveram totalmente o problema do baixo recall para a classe minoritária.

Limitações e Desafios
Os autores identificam desafios específicos no desempenho dos modelos:

1. Contexto e Nuance: Os modelos têm dificuldade com linguagem implícita, sarcasmo e expressões codificadas comuns no assédio contra LGBTQ+. Por exemplo, o modelo falhou em identificar o insulto homofóbico "dyke" em um exemplo de falso negativo, provavelmente devido à insuficiência de dados de treinamento para insultos específicos.
2. Falsos Negativos: A alta taxa de Falsos Negativos sugere que os modelos atuais são tendenciosos para classificar comentários ambíguos como não-bullying, potencialmente perdendo casos de assédio severo.
3. Restrições do Dataset: O estudo é limitado pelo tamanho e diversidade do dataset e pelo seu foco exclusivo em dados do Instagram.

Significância e Direções Futuras
O artigo afirma que, embora os modelos de transformadores de última geração mostrem promessa em distinguir entre bullying geral e específico para LGBTQ+, eles ainda não são robustos o suficiente para lidar com a natureza complexa e sutil de tal assédio sem apresentar falsos negativos significativos. O estudo ressalta a necessidade de ferramentas de segurança online personalizadas em vez de sistemas de detecção genéricos.

Os autores sugerem que trabalhos futuros devem focar em:

• Integrar dados multimodais (imagens, vídeos, métricas de redes sociais) para enriquecer o contexto.
• Desenvolver datasets que reflitam uma gama mais ampla de cenários de bullying.
• Criar modelos que levem em conta a sequência e o tempo das interações.
• Explorar metodologias de treinamento focadas em equidade (fairness-aware) para aprimorar as capacidades de detecção para a comunidade LGBTQ+.

Em conclusão, o estudo demonstra que, embora o RoBERTa seja o modelo mais eficaz entre os testados, a tecnologia atual requer maior refinamento para detectar com precisão o cyberbullying, muitas vezes implícito e sutil, enfrentado por indivíduos LGBTQ+.