Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities

Resumo Técnico: Toxicidade em Chats do Twitch: Uma Análise Baseada em LLM em Comunidades de Jogos

Declaração do Problema
Comunidades de jogos online, particularmente em plataformas de streaming como o Twitch, são frequentemente assoladas por comportamentos tóxicos, incluindo assédio, discriminação e linguagem abusiva. Embora a toxicidade seja um desafio reconhecido, pesquisas existentes frequentemente focam em interações dentro do jogo ou carecem de granularidade sobre como o comportamento tóxico varia entre diferentes comunidades e gêneros de jogos. Esforços atuais de moderação são amplamente reativos, e a natureza subjetiva e dependente do contexto da toxicidade torna difícil defini-la e detectá-la consistentemente. Há uma necessidade de insights empíricos sobre como a toxicidade se manifesta em jogos e gêneros específicos para informar estratégias de moderação mais direcionadas.

Metodologia
Os autores apresentam uma análise em grande escala de aproximadamente 20,2 milhões de mensagens de chat coletadas de 4.452 streams do Twitch. O estudo foca nos dois jogos mais populares dentro de sete categorias selecionadas do Twitch, abrangendo um período de tempo de junho de 2024 a novembro de 2025.

• Coleta e Pré-processamento de Dados: Os dados foram obtidos via SullyGnome e baixados usando o TwitchDownloaderCLI. O conjunto de dados inclui 29.001 horas de tempo de transmissão. Para otimizar recursos computacionais, os autores pré-rotularam mensagens objetivamente não tóxicas (por exemplo, "oi", "gg", mensagens de bots) e as excluíram do pipeline de classificação.
• Abordagem de Classificação: O estudo emprega uma abordagem de classificação zero-shot usando um Modelo de Linguagem Grande (LLM) pré-treinado, especificamente o modelo Phi4 com 14 bilhões de parâmetros. Este modelo foi escolhido por seu equilíbrio entre desempenho e eficiência computacional, bem como por sua menor tendência a recusar o processamento de conteúdo abusivo em comparação com modelos como o Llama3.
• Taxonomia: As mensagens foram classificadas de acordo com a taxonomia oficial de moderação do Twitch, que compreende quatro categorias principais (Assédio, Discriminação, Conteúdo Sexual, Palavrões) e oito subclasses (por exemplo, Intimidação, Agressão, Misoginia, Palavrões).
• Consciência Contextual: Para abordar a dependência de contexto da toxicidade, o modelo recebeu uma janela de contexto temporal dos dez segundos anteriores de mensagens de chat durante a inferência.
• Validação: A confiabilidade do pipeline foi avaliada por meio de um estudo de concordância humano-modelo (Kappa de Cohen) e uma comparação contra um modelo RoBERTa ajustado finamente no conjunto de dados TextDetox.

Principais Contribuições

1. Pipeline Reprodutível: O artigo fornece um pipeline reprodutível para detecção e classificação de toxicidade usando LLMs zero-shot, alcançando uma pontuação F1 de 94,5% no benchmark TextDetox, superando ligeiramente uma linha de base RoBERTa ajustada finamente.
2. Concordância Humano-Modelo: O estudo demonstra que a concordância do LLM com avaliadores humanos (Kappa ~0,53) é comparável à concordância inter-humana (Kappa ~0,55), validando a utilidade do modelo para análise em grande escala apesar da natureza subjetiva da toxicidade.
3. Análise Empírica Granular: O trabalho oferece uma divisão detalhada dos padrões de toxicidade em 14 jogos específicos e quatro gêneros distintos, indo além de generalizações amplas para identificar perfis de toxicidade específicos de jogos e gêneros.

Resultados

• Prevalência Geral: Aproximadamente 2,4% de todas as mensagens analisadas foram classificadas como tóxicas.
• Tipos Dominantes de Toxicidade: Assédio foi a categoria principal mais prevalente (75,6%), com intimidação sendo a subclassificação mais comum. Palavrões apareceram frequentemente como um rótulo secundário (53,0%), muitas vezes intensificando outros comportamentos tóxicos.
• Variações ao Nível do Jogo: As taxas de toxicidade variaram significativamente por jogo. Red Dead Redemption II exibiu a maior taxa de toxicidade (3,96%), enquanto Minecraft mostrou a menor (0,74%). Notavelmente, Counter-Strike 2 e Valorant exibiram distribuições de toxicidade semelhantes, provavelmente devido a estruturas competitivas compartilhadas, enquanto outros jogos dentro das mesmas categorias amplas mostraram perfis distintos.
• Variações ao Nível do Gênero: Streams de Arena de Batalha Multijogador Online (MOBA) tiveram a maior taxa relativa de toxicidade (3,2%), seguidos por Shooters de Jogador Único (3,1%). Jogos esportivos tiveram a menor (2,0%).
• Diferenças de Distribuição: Embora assédio e palavrões fossem comuns em todos os gêneros, streams de Shooters de Jogador Único mostraram proporções mais altas de agressão, misoginia e conteúdo sexual em comparação com outros gêneros. Análise estatística (PERMANOVA) indicou diferenças significativas nas distribuições de toxicidade entre a maioria dos jogos e gêneros, embora a análise de dispersão (PERMDISP) sugerisse que a variabilidade dentro dos gêneros também desempenha um papel significativo.

Significância e Alegações
Os autores afirmam que suas descobertas fornecem evidências empíricas de que a toxicidade não é meramente um fenômeno em toda a plataforma, mas é fortemente moldada por normas e mecânicas específicas da comunidade de cada jogo. O estudo sugere que:

• O Contexto Importa: Os padrões de toxicidade diferem significativamente mesmo entre jogos dentro do mesmo gênero, implicando que estratégias de moderação "tamanho único" podem ser menos eficazes do que aquelas adaptadas a comunidades de jogos específicas.
• Lacunas na Moderação: A presença de conteúdo tóxico no conjunto de dados (mensagens que sobreviveram à filtragem da plataforma) destaca limitações nos sistemas atuais de moderação automatizada.
• Limitações da Taxonomia: O estudo observa que a ambiguidade entre certas categorias (por exemplo, assédio versus palavrões) na taxonomia do Twitch contribui para discordâncias de classificação, sugerindo que definições mais claras poderiam melhorar a consistência.

O artigo conclui que, embora o gênero forneça uma lente analítica útil para tendências amplas, o jogo específico e sua comunidade circundante são os principais impulsionadores das variações de toxicidade de alta granularidade. Essas insights visam apoiar o desenvolvimento de estratégias de moderação mais direcionadas e eficazes para comunidades de jogos.