Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Resumen Técnico: Análisis de Sentimiento de Reseñas de Spotify en Indio mediante Aprendizaje Automático y BiLSTM

Enunciado del Problema
Este estudio aborda el desafío del análisis de sentimiento en texto indio derivado de reseñas de usuarios de la aplicación Spotify en la Google Play Store. La tarea se complica por la naturaleza informal del lenguaje, que incluye ortografía inconsistente, uso intensivo de jerga y variaciones morfológicas. Los autores buscan evaluar el rendimiento de clasificadores clásicos de aprendizaje automático (ML) frente a un enfoque de aprendizaje profundo (DL) (Memoria a Corto y Largo Plazo Bidireccional, o BiLSTM) para una tarea de clasificación de sentimiento de tres clases (Negativo, Neutral, Positivo). Una restricción específica del estudio es el entorno de evaluación: un entorno exclusivo de CPU, lo que requiere diferentes escalas de datos de entrenamiento para ambos enfoques.

Metodología
La investigación emplea un diseño experimental de doble vía donde ambas vías comparten una misma canalización de preprocesamiento, pero difieren en la arquitectura del modelo y el volumen de datos de entrenamiento.

• Conjunto de Datos: El conjunto de datos crudo consta de 100.000 reseñas extraídas. Tras la limpieza (eliminación de duplicados, reseñas vacías y elementos no textuales), quedan 70.155 muestras. Las etiquetas se derivan de las calificaciones por estrellas: 1–2 estrellas (Negativo), 3 estrellas (Neutral) y 4–5 estrellas (Positivo). El conjunto de datos está fuertemente desequilibrado, con reseñas Positivas que representan el 68,4%, Negativas el 25,7% y Neutrales solo el 5,9%.
• Canalización de Preprocesamiento: Se aplica una canalización unificada a todo el texto, que incluye:
  1. Minúsculas.
  2. Eliminación de ruido (URLs, menciones, puntuación, dígitos).
  3. Normalización de jerga (mapeo de 124 formas informales al indio estándar).
  4. Eliminación de palabras vacías (809 términos generales y específicos del dominio).
  5. Raicizado morfológico utilizando Sastrawi.
     Resultado: La longitud mediana de la reseña tras el procesamiento es de 4 tokens, con un percentil 95 de 17 tokens.
• Vía de Aprendizaje Automático:
  • Datos: Entrenado sobre las 70.155 muestras limpias completas.
  • Características: Vectorización TF-IDF (máximo 3.000 características).
  • Clasificadores: Máquina de Vectores de Soporte (SVM), Naive Bayes Multinomial (MNB) y Árbol de Decisión (DT).
  • Técnica: Validación cruzada estratificada de 5 pliegues. Para abordar el desequilibrio de clases, se aplica SMOTE (Técnica de Sobremuestreo Sintético de Minorías) dentro de cada pliegue de entrenamiento.
  • Evaluación: Las métricas incluyen Precisión, AUC, Precisión, Recall, Puntuación F1 (ponderada y macro) y Kappa de Cohen.
• Vía de Aprendizaje Profundo:
  • Datos: Debido a las limitaciones de CPU, el BiLSTM se entrena sobre un subconjunto estratificado de 20.000 muestras (14.219 para entrenamiento, 2.510 para validación, 2.953 para prueba).
  • Arquitectura: Un LSTM bidireccional de dos capas con incrustaciones de 128 dimensiones, 128 unidades ocultas por dirección y una cabeza de clasificación totalmente conectada. Parámetros totales: ~1,1 millones.
  • Entrenamiento: Optimizador Adam, tasa de aprendizaje $10^{-3}$, tamaño de lote 64, pérdida de Entropía Cruzada sin ponderar. Se utiliza parada temprana (mejor punto de control en la época 3).
  • Evaluación: Evaluado en un conjunto de prueba retenido utilizando las mismas métricas que la vía de ML.

Contribuciones Clave

1. Preprocesamiento Unificado: El establecimiento de una canalización de preprocesamiento compartida para las vías de ML y DL, asegurando que las diferencias de rendimiento sean atribuibles a la arquitectura del modelo y no a variaciones en la limpieza de datos.
2. Evaluación Comparativa: Un análisis comparativo de tres clasificadores clásicos de Scikit-learn (SVM, MNB, DT) frente a un modelo BiLSTM compacto en reseñas de aplicaciones indias a gran escala.
3. Transparencia y Reproducibilidad: Los autores proporcionan espacios públicos de Hugging Face para ambos modelos, ML y DL, permitiendo la inspección directa del comportamiento del modelo.
4. Análisis del Desequilibrio: Un examen detallado de cómo el desequilibrio de clases afecta el rendimiento del modelo, destacando específicamente el fracaso del BiLSTM sin ponderar en la clase minoritaria "Neutral" en comparación con el enfoque de ML que utiliza SMOTE.

Resultados

• Rendimiento de Aprendizaje Automático:
  • El Árbol de Decisión surgió como el modelo clásico más fuerte, logrando una puntuación F1 ponderada de 0,7269 y una precisión de 0,7286 en la validación cruzada de 5 pliegues.
  • SVM siguió con una F1 ponderada de 0,6958, mientras que Naive Bayes Multinomial tuvo un rendimiento significativamente menor (0,4619).
  • El Árbol de Decisión mantuvo un rendimiento equilibrado en las tres clases, con la puntuación F1 más baja en la clase Neutral (0,717), pero aún funcional.
• Rendimiento de Aprendizaje Profundo:
  • El BiLSTM logró una puntuación F1 ponderada más alta de 0,8069 y una precisión de 0,8314 en su conjunto de prueba retenido.
  • Sin embargo, la puntuación F1 macro cayó a 0,5478.
  • Desglose por Clase: El modelo funcionó excepcionalmente bien en reseñas Positivas (F1 0,9028) y razonablemente en reseñas Negativas (F1 0,7406). Crucialmente, fracasó completamente en la clase Neutral, logrando una puntuación F1 de 0,0000 (0 predicciones correctas de 176 muestras).
• Análisis Comparativo:
  • Aunque el BiLSTM superó a los modelos de ML en métricas ponderadas (rendimiento general), esta ventaja se ve atenuada por el hecho de que se entrenó con significativamente menos muestras (14.219 frente a 70.155) y carecía de técnicas de equilibrado de clases.
  • El enfoque de ML (Árbol de Decisión + SMOTE) proporcionó un reconocimiento más robusto y equilibrado en las tres clases, mientras que el BiLSTM estuvo sesgado hacia las clases mayoritarias.

Significado y Afirmaciones
El artículo afirma que, si bien los modelos de aprendizaje profundo como BiLSTM pueden ofrecer un rendimiento ponderado general superior para la detección de sentimiento en textos indios cortos e informales, son altamente susceptibles a problemas de desequilibrio de clases cuando se entrenan sin estrategias específicas de mitigación (como ponderación de clases o sobremuestreo).

Los autores concluyen que la elección del modelo depende del objetivo específico de la aplicación:

• BiLSTM es preferible cuando el objetivo principal es la discriminación precisa entre los sentimientos Positivos y Negativos dominantes.
• Aprendizaje Automático (específicamente Árbol de Decisión con SMOTE) es más adecuado cuando se requiere un reconocimiento equilibrado en las tres clases, incluida la clase minoritaria Neutral.

El estudio reconoce sus limitaciones, señalando la asimetría en los tamaños de los datos de entrenamiento entre las dos vías y la ausencia de incrustaciones indias preentrenadas o modelos basados en transformadores. Se sugiere trabajo futuro para entrenar el BiLSTM en el corpus completo, implementar el equilibrado de clases en la canalización de DL y explorar arquitecturas de transformadores.