Enhancing Game Review Sentiment Classification on Steam Platform with Attention-Based BiLSTM

Resumo Técnico: Aprimoramento da Classificação de Sentimento em Resenhas de Jogos no Steam com BiLSTM Baseada em Atenção

Declaração do Problema
A rápida expansão da indústria de jogos online gerou volumes massivos de conteúdo gerado por usuários em plataformas como o Steam. Embora essas resenhas ofereçam insights críticos sobre a qualidade da jogabilidade, desempenho e experiência do usuário, seu volume avassalador e a prevalência de linguagem informal, expressões mistas e vocabulário específico do domínio tornam a análise manual ineficiente. O principal desafio reside no pré-processamento desses dados desorganizados e inconsistentes e no desenvolvimento de um modelo capaz de classificar com precisão o sentimento (positivo versus negativo) para ajudar desenvolvedores e jogadores a compreenderem tendências de opinião sem a necessidade de ler cada resenha.

Metodologia
O estudo emprega uma abordagem comparativa, avaliando uma linha de base convencional de Aprendizado de Máquina contra uma arquitetura de Aprendizado Profundo proposta.

• Conjunto de Dados: A pesquisa utiliza um subconjunto de 50.000 resenhas extraídas de um corpus maior de mais de 6,4 milhões de resenhas do Steam (obtidas do Kaggle). Os dados são binariamente rotulados (1 para recomendado, -1 para não recomendado) e exibem desequilíbrio de classes (aproximadamente 42.000 amostras positivas versus 7.800 negativas).
• Pré-processamento: Um pipeline sequencial normaliza o texto convertendo-o para minúsculas, removendo URLs e menções via regex, descartando caracteres não alfabéticos e normalizando espaços em branco.
• Abordagem de Linha de Base: Os autores implementaram uma linha de base de Aprendizado de Máquina usando vetorização Term Frequency–Inverse Document Frequency (TF-IDF). Cinco classificadores foram avaliados usando PyCaret com validação cruzada estratificada de 3 dobras. LightGBM emergiu como o melhor desempenho, alcançando uma pontuação F1 de 0,9448 com um tempo de treinamento de 11,47 segundos por dobra.
• Modelo Proposto (BiLSTM + Atenção): A contribuição central é um modelo de Aprendizado Profundo construído sobre PyTorch:
  • Camada de Embedding: Resenhas tokenizadas (tamanho de vocabulário 20.000, comprimento máximo 100) são mapeadas para vetores densos de 128 dimensões com uma taxa de dropout de 0,3.
  • Codificador de Sequência: Uma rede de Memória de Curto e Longo Prazo Bidirecional (BiLSTM) com uma dimensão oculta de 256 processa a sequência nas direções forward e reverse para capturar dependências contextuais.
  • Mecanismo de Atenção: Uma camada de atenção suave computa pesos ($\alpha_t$) para cada estado oculto, permitindo que o modelo se concentre em tokens que carregam sentimento. Isso produz um vetor de contexto de soma ponderada ($s$) que enfatiza palavras informativas.
  • Classificação: O vetor de contexto passa por uma camada de dropout e uma camada totalmente conectada com ativação softmax para emitir probabilidades de classe.
• Configuração de Treinamento: O modelo utiliza o otimizador Adam (taxa de aprendizado $1 \times 10^{-3}$) e um tamanho de lote de 64. Para abordar o desequilíbrio de dados, aplica-se perda de entropia cruzada ponderada por classe. A parada antecipada com uma paciência de 3 épocas previne o sobreajuste.

Principais Resultados
O modelo proposto BiLSTM+Atenção alcançou as seguintes métricas de desempenho no conjunto de teste (4.843 amostras):

• Acurácia: 83%
• Pontuação F1 Ponderada: 85%
• Recall da Classe Negativa: 90% (Precisão: 49%)
• Recall da Classe Positiva: 82% (Precisão: 98%)

Embora a linha de base LightGBM tenha alcançado uma pontuação F1 mais alta (0,9448) nas características TF-IDF, o modelo de Aprendizado Profundo demonstrou capacidade superior na detecção da classe minoritária (resenhas negativas), alcançando um recall de 90%. Isso é significativo para identificar feedback crítico de usuários.

Significado e Alegações
O artigo afirma que a integração de um Mecanismo de Atenção com BiLSTM oferece duas vantagens principais:

1. Tratamento Eficaz de Linguagem Informal: O modelo processa com sucesso o vocabulário desestruturado e específico do domínio típico de comunidades de jogadores.
2. Interpretabilidade: Diferentemente de modelos de "caixa preta", o mecanismo de atenção fornece pesos visualizáveis que destacam palavras específicas que carregam sentimento (por exemplo, "incrível", "amo" para positivo; "terrível", "travamentos" para negativo). Isso permite que desenvolvedores entendam por que uma resenha foi classificada de determinada maneira.

Os autores concluem que, embora o modelo não seja perfeito (notado pela menor precisão em resenhas negativas devido ao desequilíbrio de classes), seu alto recall para feedback negativo o torna uma ferramenta prática para desenvolvedores capturarem com eficiência preocupações críticas dos jogadores. O estudo enquadra este trabalho como uma aplicação bem-sucedida de Aprendizado Profundo a um problema específico de PLN dentro do domínio dos jogos, servindo como trabalho final para um curso de PLN no Institut Teknologi Sumatera. Trabalhos futuros sugeridos pelos autores incluem a exploração de arquiteturas baseadas em transformadores e embeddings multilíngues.