"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Este trabalho aborda a escassez de detectores de toxicidade em tempo real para jogos eletrônicos ao criar o conjunto de dados L2DTnH com mensagens de League of Legends, desenvolver um detector baseado em NLP que supera soluções existentes e disponibilizar uma extensão de navegador para mitigar assédio sem depender de servidores de terceiros.

O essencial

Imagine que os jogos online, especialmente os de equipe como League of Legends (LoL), são como um grande estádio de futebol. A maioria das pessoas vai para lá para se divertir, torcer e jogar. Mas, infelizmente, sempre há alguns "torcedores" que gritam xingamentos, ofendem os jogadores do outro time e estragam o clima para todos. Isso é o que os pesquisadores chamam de toxicidade.

Este artigo é como um manual de instruções para construir um "árbitro inteligente" que consegue identificar esses xingamentos em tempo real, mas com um toque especial: ele entende a gíria dos jogadores.

Aqui está a história da pesquisa, contada de forma simples:

1. O Problema: O "Silêncio" dos Dados

Os pesquisadores (Jonas, Irdin, Matthias e Giovanni) começaram olhando para o que já existia. Eles descobriram que, embora todo mundo saiba que xingamentos são ruins, pouquíssimos cientistas criaram ferramentas automáticas para parar isso durante a partida.

Por que? Porque era como tentar ensinar um robô a entender piadas sem ter um livro de piadas. Os dados existentes eram ruins: ou eram secretos, ou eram apenas listas de "partidas ruins" sem dizer qual mensagem exata foi o problema. Era como dizer "o jogo foi ruim" sem apontar quem gritou o xingamento.

2. A Solução: O "Time de Especialistas" (L2DTnH)

Para consertar isso, eles criaram um novo banco de dados chamado L2DTnH.

• A Metáfora: Imagine que você tem uma pilha gigante de cartas de reclamação de um jogo. Ninguém sabe o que está escrito nelas. Então, eles contrataram 8 jogadores veteranos (como especialistas em um esporte) que jogam há anos.
• O Trabalho: Esses especialistas leram milhares de mensagens e marcaram manualmente quais eram ofensivas e quais eram apenas brincadeiras. Eles sabiam que dizer "bot lane noob" (novato na rota inferior) é um xingamento no jogo, mas fora dele, não significa nada.
• O Resultado: Eles criaram o maior conjunto de dados público e específico para jogos, com mensagens rotuladas como "tóxicas" ou "inofensivas".

3. O Treinamento: Criando o "Robô Árbitro" (IGC-BERT)

Com esse novo "livro de regras" (o dataset), eles treinaram um modelo de Inteligência Artificial chamado IGC-BERT.

• A Comparação: Eles testaram esse novo robô contra outros robôs famosos que servem para tudo (como o ChatGPT ou modelos gerais de toxicidade).
• O Resultado: O robô geral errava muito. Ele achava que "uninstall" (desinstalar) era um insulto grave, ou não entendia que "nice ult" (boa ultimate) era sarcasmo. O IGC-BERT, treinado especificamente com os dados dos jogadores, foi muito melhor. Ele entendeu o contexto, a gíria e o sarcasmo, ficando muito mais preciso do que os modelos genéricos.

4. Testando na Vida Real: Além do Jogo

Os pesquisadores não pararam por aí. Eles queriam ver se a ferramenta funcionava no mundo real:

• No YouTube: Eles pegaram vídeos de jogadores reclamando no YouTube. O robô conseguiu identificar os momentos em que o jogador estava sendo tóxico nos comentários ou na legenda do vídeo, mesmo que o vídeo não fosse uma partida ao vivo.
• O "Escudo" no Navegador: Eles criaram uma extensão para o navegador de internet (como um adblocker, mas para xingamentos).
  • A Grande Vantagem: A maioria das extensões envia o que você lê para servidores na nuvem para analisar. Isso é um risco de privacidade. A extensão deles roda 100% no seu computador. É como ter um guarda-costas que lê o jornal com você, mas não conta nada para ninguém lá fora. Se ele vir um xingamento, ele o esconde com um "ponto de interrogação" até você decidir se quer ler.

5. O Que Aprendemos? (Lições Importantes)

• Contexto é tudo: O que é ofensivo em um jogo de futebol pode ser inofensivo em um jogo de xadrez, e vice-versa. Um detector de toxicidade precisa ser "especialista" no jogo, não um generalista.
• Privacidade é possível: É possível ter inteligência artificial poderosa rodando no seu próprio computador sem enviar seus dados para empresas de tecnologia.
• A comunidade precisa ajudar: Sem os 8 jogadores veteranos que ajudaram a rotular os dados, essa tecnologia não teria sido possível.

Conclusão

O artigo é um chamado para a ação. Ele diz: "Não basta apenas reclamar que os jogos são tóxicos; precisamos criar ferramentas práticas, treinadas com dados reais e que respeitem a privacidade dos jogadores". Eles liberaram tudo (o código, os dados e a extensão) para que outros pesquisadores e desenvolvedores possam usar e melhorar a experiência de jogo para todos.

Em resumo: eles pegaram o caos das conversas tóxicas, organizaram com a ajuda de experts, ensinaram um robô a entender a brincadeira e criaram um escudo para proteger os jogadores, tudo isso sem espionar ninguém.

Resumo técnico

Título: "bot lane noob": Rumo à Implantação de Detectores de Toxicidade Baseados em NLP em Videojogos

1. O Problema

A toxicidade e o assédio são problemas endêmicos no contexto de videojogos, especialmente em cenários competitivos de multiplayer online (como League of Legends - LoL). As consequências variam de incômodos leves até o abandono do jogo e depressão.

• Limitação do Estado da Arte: Embora existam muitos estudos sobre os efeitos negativos da toxicidade, poucos propõem contramedidas automatizadas (baseadas em ML/NLP) testadas especificamente em mensagens de texto enviadas durante uma partida.
• Barreira Principal: A escassez de conjuntos de dados (datasets) de alta qualidade, com granularidade de nível de mensagem (e não apenas de partida) e conhecimento específico do domínio do jogo, impede o desenvolvimento de detectores eficazes. Soluções genéricas falham ao interpretar gírias, sarcasmo e contextos específicos de jogos (ex: "bot lane noob" é tóxico no LoL, mas inofensivo fora dele).

2. Metodologia

Os autores adotaram uma abordagem sistemática dividida em três fases principais: revisão de literatura, criação de dataset e desenvolvimento/avaliação de modelos.

A. Revisão Sistemática de Literatura (SLR)

• Foram analisados 1.039 artigos publicados entre 2014 e 2025.
• Resultado: Apenas 15 artigos (<2%) propuseram mecanismos automatizados de detecção de toxicidade durante partidas ao vivo. A maioria focou em plataformas externas (Twitch, fóruns) ou utilizou dados com granularidade inadequada (nível de partida, não de mensagem).

B. Criação do Dataset L2DTnH
Para preencher a lacuna de dados, os autores criaram o L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment).

• Origem: Baseado no dataset "Tribunal" da Riot Games (logs de chat de partidas onde jogadores foram denunciados). O Tribunal original rotula a partida inteira como tóxica, o que gera ruído (mensagens neutras em partidas tóxicas eram marcadas como ofensivas).
• Processo de Anotação:
  • Anotadores: 8 jogadores experientes de LoL (com 6 a 20 anos de experiência e ranques variados, de Bronze a Masters).
  • Método: Conversão de anotações de nível de partida para nível de mensagem.
  • Consenso: Uma mensagem foi classificada como "tóxica" apenas se pelo menos 2 dos 8 anotadores concordassem. Discrepâncias foram resolvidas por revisão conjunta.
• Estatísticas do Dataset:
  • Total: 15.999 mensagens (aprox. 100 partidas).
  • Distribuição: 1.398 tóxicas (8,74%), 13.773 não tóxicas (86,09%) e 828 não em inglês.
  • Esforço: Aproximadamente 100 horas de trabalho humano.
  • Avaliação: Coeficiente de Fleiss' κ = 0,62 (concordância substancial).

C. Desenvolvimento e Avaliação de Modelos

• Modelo Base: Toxic-BERT (um modelo pré-treinado de propósito geral).
• Fine-tuning: O modelo foi ajustado (fine-tuned) usando o dataset L2DTnH, resultando no modelo IGC-BERT (Inappropriate Game Chat-BERT).
• Configuração: Uso de Hugging Face Transformers e PyTorch. Classificação binária (tóxico/não tóxico).
• Comparativos: O IGC-BERT foi comparado com modelos de ponta (Toxic-BERT, modelos do Hugging Face, ChatGPT-4o e Llama 3.2) e testado em diferentes níveis de granularidade (mensagem única, mensagens agrupadas por jogador, e nível de partida inteira).

3. Contribuições Principais

1. Revisão Sistemática: Evidência empírica da falta de pesquisas aplicadas em detecção de toxicidade durante partidas ao vivo.
2. Dataset L2DTnH: O maior dataset de código aberto e específico para jogos, com anotações finas (nível de mensagem) feitas por especialistas, contendo 1,4k mensagens tóxicas e 13,8k não tóxicas.
3. Modelo IGC-BERT: Um detector de toxicidade que supera significativamente os modelos de propósito geral e os state-of-the-art ao ser ajustado para o domínio de LoL.
4. Aplicações Práticas:
   • Teste do modelo em legendas de vídeos do YouTube relacionados a LoL.
   • Desenvolvimento de uma extensão de navegador que funciona localmente (sem envio de dados para servidores externos), censurando conteúdo tóxico em páginas web em tempo real.

4. Resultados

• Desempenho do Modelo:
  • O IGC-BERT (fine-tuned) alcançou uma F1-Score de 0,7619 e Precisão de 0,8571, superando todos os modelos de comparação.
  • O modelo base (Toxic-BERT) teve um F1-Score de apenas 0,5900.
  • Modelos de LLMs (ChatGPT-4o, Llama 3.2) apresentaram baixa precisão (<0,4), indicando dificuldade em entender o contexto e gírias específicas de jogos sem ajuste fino.
• Análise de Granularidade:
  • Ao agrupar mensagens de um mesmo jogador em um curto período (nível de "grupo de mensagens"), a Recall aumentou 12 pontos percentuais, pois o modelo consegue capturar a escalada emocional que mensagens isoladas não mostram.
  • No nível de "partida inteira", a precisão foi extremamente alta (0,9701), com quase nenhum falso positivo, permitindo identificar jogadores tóxicos com alta confiança.
• Validação Externa: O modelo conseguiu detectar toxicidade em legendas de vídeos do YouTube, demonstrando capacidade de generalização para contextos relacionados ao jogo fora da partida.
• Extensão de Navegador: Funciona totalmente no cliente (local), usando um modelo ONNX quantizado para reduzir o uso de memória (1,4GB de RAM durante o escaneamento em uma máquina de 32GB), preservando a privacidade do usuário.

5. Significado e Impacto

• Pioneirismo em Dados: O trabalho resolve o gargalo crítico da falta de dados rotulados de alta qualidade para jogos, permitindo que a comunidade científica desenvolva e teste soluções reais.
• Especificidade de Domínio: Demonstra que detectores genéricos falham em ambientes de jogos devido à linguagem específica (gírias, sarcasmo contextual). A solução exige adaptação ao domínio (fine-tuning).
• Privacidade e Descentralização: A extensão de navegador proposta oferece uma solução viável para proteção do usuário sem depender de servidores de grandes empresas de IA, mitigando riscos de privacidade.
• Futuro: O trabalho estabelece uma base para pesquisas futuras focadas em soluções práticas de combate ao assédio, sugerindo a criação de detectores específicos para outros jogos e a integração com análise de comportamento no jogo (ex: pings repetidos).

Conclusão: O artigo fornece uma fundação sólida para a implantação de detectores de toxicidade em videojogos, combinando a criação de um dataset robusto com a demonstração prática de sua eficácia superior em relação às soluções atuais, tanto em chat de jogos quanto em plataformas web relacionadas. Todos os recursos (dataset, código, extensão) foram disponibilizados publicamente.