Resumen Técnico: Análisis de Sentimiento de Reseñas de la Aplicación Mobile Legends Mediante ML y LSTM

Planteamiento del Problema

El rápido crecimiento de la industria de los juegos móviles, particularmente en el sudeste asiático, ha generado una vasta cantidad de retroalimentación de usuarios en plataformas como la Google Play Store. Para los desarrolladores de Mobile Legends: Bang Bang (MLBB), analizar manualmente miles de reseñas diarias para evaluar la satisfacción del usuario es impráctico. Si bien el análisis de sentimiento ofrece una solución escalable, su aplicación a reseñas en idioma indonesio presenta desafíos únicos. Estas reseñas frecuentemente contienen lenguaje informal, jerga, abreviaturas, cambio de código entre indonesio e inglés y estructuras morfológicas complejas (por ejemplo, afijación). Además, la investigación existente a menudo se centra en maximizar la precisión sin abordar las limitaciones prácticas de implementación ni proporcionar una comparación justa y sistemática entre marcos de trabajo automatizados de Aprendizaje Automático (ML) e implementaciones personalizadas de Aprendizaje Profundo (DL) bajo condiciones de preprocesamiento idénticas.

Metodología

Este estudio emplea un enfoque cuantitativo para clasificar sentimientos (Positivo, Negativo, Neutral) a partir de 10,000 reseñas de la aplicación MLBB. El flujo de investigación se divide en dos vías paralelas: un enfoque clásico de Aprendizaje Automático y un enfoque de Aprendizaje Profundo, ambos utilizando un flujo de preprocesamiento riguroso y específico para el idioma indonesio.

Preprocesamiento de Datos

Se implementó un flujo de limpieza reproducible para manejar el ruido y la variabilidad lingüística del conjunto de datos:

1. Normalización de Mayúsculas/Minúsculas (Case Folding): Conversión de todo el texto a minúsculas.
2. Limpieza de Texto: Eliminación de puntuación, emojis, URLs, menciones, hashtags, números y caracteres especiales mediante expresiones regulares (regex).
3. Normalización: Mapeo de jerga y palabras no estándar a sus equivalentes en indonesio estándar.
4. Tokenización: División de oraciones en tokens individuales.
5. Eliminación de Stopwords: Filtrado de palabras vacías comunes en indonesio e inglés utilizando NLTK.
6. Astemación (Stemming): Reducción de palabras afijadas a sus formas raíz utilizando la biblioteca Sastrawi.
7. Truncamiento: Limitación de las secuencias a un máximo de 100 tokens.

Representación de Características y Modelos

• Vía de Aprendizaje Automático (ML): El texto preprocesado se vectorizó utilizando Frecuencia de Término-Inverso de Frecuencia de Documento (TF-IDF). Se evaluaron tres clasificadores utilizando el marco de trabajo PyCaret AutoML con validación cruzada estratificada de 5 pliegues:
  • Naive Bayes (NB)
  • Regresión Logística (LR)
  • Random Forest (RF)
• Vía de Aprendizaje Profundo (DL): Se implementó una red Long Short-Term Memory (LSTM) personalizada en PyTorch. La arquitectura incluye:
  • Una capa de Incrustación (Embedding) con vectores de 64 dimensiones.
  • Una única capa LSTM con 64 unidades ocultas.
  • Una capa de Dropout (tasa 0.3) para prevenir el sobreajuste.
  • Una capa de salida totalmente conectada con activación Softmax para 3 clases.
  • El entrenamiento se realizó utilizando el optimizador Adam, CrossEntropyLoss, un tamaño de lote de 32 y 20 épocas.

Evaluación

Los modelos se evaluaron en un conjunto de prueba retenido (20% de los datos) utilizando Precisión, Recall, F1-Score y Exactitud (Accuracy). Ambos enfoques se desplegaron como aplicaciones interactivas utilizando Gradio en Hugging Face Spaces para garantizar la accesibilidad.

Contribuciones Clave

El artículo describe cinco contribuciones principales:

1. Flujo de Preprocesamiento: Un flujo de limpieza de texto indonesio reproducible que combina normalización de mayúsculas/minúsculas, eliminación de ruido con regex, filtrado de stopwords con NLTK y astemación con Sastrawi.
2. Referencia de ML: Un análisis comparativo de tres clasificadores (LR, NB, RF) utilizando PyCaret AutoML y características TF-IDF.
3. Modelo DL: Un modelo LSTM personalizado y compacto en PyTorch con aproximadamente 690K parámetros, diseñado para la eficiencia.
4. Implementación: Demostraciones interactivas de acceso público construidas con Gradio.
5. Código Abierto: Disponibilidad completa del código, datos y cuadernos en GitHub.

Resultados

El estudio comparó el rendimiento de las líneas base de ML contra el modelo LSTM en el conjunto de datos desequilibrado (67.47% Negativo, 23.73% Positivo, 8.80% Neutral).

• Rendimiento de Aprendizaje Automático: Entre los modelos clásicos, la Regresión Logística logró el mejor rendimiento con una exactitud de 77.40% y un F1-score de 73.11%. Random Forest siguió de cerca, mientras que Naive Bayes tuvo un rendimiento significativamente inferior (Exactitud: 43.02%, F1-score: 47.67%), luchando con la complejidad léxica del conjunto de datos y el desequilibrio de clases.
• Rendimiento de Aprendizaje Profundo: El modelo LSTM superó a todas las líneas base de ML, logrando una Exactitud del 92%, una Precisión del 94%, un Recall del 96% y un F1-Score Ponderado del 91%.
• Análisis: La matriz de confusión reveló que, aunque el modelo destacó en la clasificación de los sentimientos dominantes Negativo y Positivo, enfrentó desafíos con la clase minoritaria Neutral, probablemente debido al desequilibrio de datos y a la ambigüedad inherente de las expresiones neutrales.

Significado y Afirmaciones

El artículo afirma que los resultados destacan la efectividad del aprendizaje profundo para manejar datos de texto secuencial, particularmente para contenido informal generado por usuarios que contiene jerga y cambio de código. El estudio demuestra que los modelos LSTM pueden capturar relaciones contextuales y dependencias secuenciales que los modelos ML tradicionales basados en TF-IDF pasan por alto.

Sin embargo, los autores mantienen una postura moderada respecto a los hallazgos:

• Reconocen que, aunque LSTM superó a los modelos clásicos, el desequilibrio de datos sigue siendo un desafío significativo que afecta el rendimiento de la clase minoritaria.
• Señalan que los modelos tradicionales de ML siguen siendo competitivos en términos de eficiencia computacional y son efectivos cuando se combinan con ingeniería de características apropiada.
• El estudio no afirma resolver completamente el problema del análisis de sentimiento, sino que proporciona una comparación sistemática y justa bajo configuraciones de preprocesamiento consistentes, validando la superioridad del modelado secuencial para este dominio específico mientras identifica áreas para futuras mejoras (por ejemplo, técnicas de balanceo de datos como SMOTE o arquitecturas avanzadas como Bi-LSTM/IndoBERT).

El trabajo sirve como una demostración práctica de cómo implementar flujos de análisis de sentimiento ligeros y reproducibles para reseñas de juegos móviles en indonesio, cerrando la brecha entre la comparación académica de modelos y las limitaciones de la aplicación en el mundo real.