Resumo Técnico: Análise de Sentimento de Avaliações do Aplicativo Mobile Legends Usando ML e LSTM

Declaração do Problema

O rápido crescimento da indústria de jogos móveis, particularmente no Sudeste Asiático, gerou volumes massivos de feedback de usuários em plataformas como a Google Play Store. Para os desenvolvedores de Mobile Legends: Bang Bang (MLBB), analisar manualmente milhares de avaliações diariamente para avaliar a satisfação do usuário é impraticável. Embora a análise de sentimento ofereça uma solução escalável, aplicá-la a avaliações em língua indonésia apresenta desafios únicos. Essas avaliações frequentemente contêm linguagem informal, gírias, abreviações, alternância de código entre indonésio e inglês e estruturas morfológicas complexas (por exemplo, afixação). Além disso, pesquisas existentes frequentemente focam em maximizar a precisão sem abordar restrições práticas de implantação ou fornecer uma comparação justa e sistemática entre frameworks automatizados de Aprendizado de Máquina (ML) e implementações personalizadas de Aprendizado Profundo (DL) sob condições idênticas de pré-processamento.

Metodologia

Este estudo emprega uma abordagem quantitativa para classificar sentimentos (Positivo, Negativo, Neutro) a partir de 10.000 avaliações do aplicativo MLBB. O pipeline de pesquisa é dividido em duas trilhas paralelas: uma abordagem clássica de Aprendizado de Máquina e uma abordagem de Aprendizado Profundo, ambas utilizando um pipeline de pré-processamento rigoroso e específico para o indonésio.

Pré-processamento de Dados

Um pipeline de limpeza reproduzível foi implementado para lidar com o ruído e a variabilidade linguística do conjunto de dados:

1. Normalização de Maiúsculas e Minúsculas (Case Folding): Conversão de todo o texto para minúsculas.
2. Limpeza de Texto: Remoção de pontuação, emojis, URLs, menções, hashtags, números e caracteres especiais via regex.
3. Normalização: Mapeamento de gírias e palavras não padrão para equivalentes em indonésio padrão.
4. Tokenização: Divisão de frases em tokens individuais.
5. Remoção de Stopwords: Filtragem de stopwords comuns em indonésio e inglês usando NLTK.
6. Stemming: Redução de palavras afixadas às suas formas raiz usando a biblioteca Sastrawi.
7. Truncamento: Limitação das sequências a um máximo de 100 tokens.

Representação de Recursos e Modelos

• Trilha de Aprendizado de Máquina (ML): O texto pré-processado foi vetorizado usando Frequência de Termo-Frequência Inversa de Documento (TF-IDF). Três classificadores foram avaliados usando o framework PyCaret AutoML com validação cruzada estratificada de 5 dobras:
  • Naive Bayes (NB)
  • Regressão Logística (LR)
  • Random Forest (RF)
• Trilha de Aprendizado Profundo (DL): Uma rede Long Short-Term Memory (LSTM) personalizada foi implementada em PyTorch. A arquitetura inclui:
  • Uma Camada de Embedding (vetores de 64 dimensões).
  • Uma única camada LSTM (64 unidades ocultas).
  • Uma camada Dropout (taxa 0,3) para prevenir overfitting.
  • Uma camada de saída totalmente conectada com ativação Softmax para 3 classes.
  • O treinamento foi conduzido usando o otimizador Adam, CrossEntropyLoss, um tamanho de lote de 32 e 20 épocas.

Avaliação

Os modelos foram avaliados em um conjunto de teste retido (20% dos dados) usando Precisão, Revocação (Recall) e Pontuação F1. Ambas as abordagens foram implantadas como aplicativos interativos usando Gradio no Hugging Face Spaces para garantir acessibilidade.

Principais Contribuições

O artigo descreve cinco contribuições primárias:

1. Pipeline de Pré-processamento: Um pipeline de limpeza de texto indonésio reproduzível combinando normalização de maiúsculas e minúsculas, remoção de ruído via regex, filtragem de stopwords NLTK e stemming Sastrawi.
2. Benchmark de ML: Uma análise comparativa de três classificadores (LR, NB, RF) usando PyCaret AutoML e recursos TF-IDF.
3. Modelo DL: Um modelo LSTM personalizado e compacto em PyTorch com aproximadamente 690 mil parâmetros, projetado para eficiência.
4. Implantação: Demonstrações interativas publicamente acessíveis construídas com Gradio.
5. Código Aberto: Disponibilidade total de código, dados e notebooks no GitHub.

Resultados

O estudo comparou o desempenho das bases de ML contra o modelo LSTM no conjunto de dados desbalanceado (67,47% Negativo, 23,73% Positivo, 8,80% Neutro).

• Desempenho de Aprendizado de Máquina: Entre os modelos clássicos, a Regressão Logística alcançou o melhor desempenho com uma precisão de 77,40% e uma pontuação F1 de 73,11%. O Random Forest foi logo em seguida, enquanto o Naive Bayes performou significativamente pior (Precisão: 43,02%, Pontuação F1: 47,67%), lutando com a complexidade lexical e o desbalanceamento de classes do conjunto de dados.
• Desempenho de Aprendizado Profundo: O modelo LSTM superou todas as bases de ML, alcançando uma Precisão de 92%, uma Revocação de 94%, uma Recall de 96% e uma Pontuação F1 Ponderada de 91%.
• Análise: A matriz de confusão revelou que, embora o modelo se destacasse na classificação dos sentimentos Negativos e Positivos dominantes, enfrentou desafios com a classe minoritária Neutra, provavelmente devido ao desbalanceamento de dados e à ambiguidade inerente das expressões neutras.

Significado e Alegações

O artigo afirma que os resultados destacam a efetividade do aprendizado profundo no manuseio de dados de texto sequenciais, particularmente para conteúdo gerado por usuários, informal e contendo gírias e alternância de código. O estudo demonstra que os modelos LSTM podem capturar relações contextuais e dependências sequenciais que os modelos de ML tradicionais baseados em TF-IDF perdem.

No entanto, os autores mantêm uma postura modesta em relação às descobertas:

• Eles reconhecem que, embora o LSTM tenha superado os modelos clássicos, o desbalanceamento de dados permanece um desafio significativo afetando o desempenho da classe minoritária.
• Eles observam que os modelos de ML tradicionais permanecem competitivos em termos de eficiência computacional e ainda são eficazes quando combinados com engenharia de recursos apropriada.
• O estudo não afirma resolver o problema da análise de sentimento inteiramente, mas sim fornece uma comparação sistemática e justa sob configurações de pré-processamento consistentes, validando a superioridade da modelagem sequencial para este domínio específico enquanto identifica áreas para melhoria futura (por exemplo, técnicas de balanceamento de dados como SMOTE ou arquiteturas avançadas como Bi-LSTM/IndoBERT).

O trabalho serve como uma demonstração prática de como implantar pipelines de análise de sentimento leves e reproduzíveis para avaliações de jogos móveis indonésios, preenchendo a lacuna entre a comparação acadêmica de modelos e as restrições de aplicação do mundo real.