Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Riepilogo Tecnico: Analisi del Sentiment delle Recensioni Spotify in Indoneziano mediante Machine Learning e BiLSTM

Enunciato del Problema
Questo studio affronta la sfida dell'analisi del sentiment su testi in indonesiano tratti dalle recensioni degli utenti dell'applicazione Spotify sullo Google Play Store. Il compito è complicato dalla natura informale della lingua, che include ortografia incoerente, uso massiccio di slang e variazioni morfologiche. Gli autori mirano a valutare le prestazioni dei classificatori classici di machine learning (ML) rispetto a un approccio di deep learning (DL) (Bidirectional Long Short-Term Memory, o BiLSTM) per un compito di classificazione del sentiment a tre classi (Negativo, Neutro, Positivo). Un vincolo specifico dello studio è l'ambiente di valutazione: un'impostazione esclusivamente CPU, che richiede diverse scale di dati di training per i due approcci.

Metodologia
La ricerca adotta un disegno sperimentale a doppio binario in cui entrambi i percorsi condividono una pipeline di pre-elaborazione identica, ma differiscono per architettura del modello e volume dei dati di training.

• Dataset: Il dataset grezzo è composto da 100.000 recensioni estratte. Dopo la pulizia (rimozione di duplicati, recensioni vuote ed elementi non testuali), rimangono 70.155 campioni. Le etichette sono derivate dalle valutazioni a stelle: 1–2 stelle (Negativo), 3 stelle (Neutro) e 4–5 stelle (Positivo). Il dataset è fortemente sbilanciato, con recensioni Positive che costituiscono il 68,4%, Negative il 25,7% e Neutrali solo il 5,9%.
• Pipeline di Pre-elaborazione: Una pipeline unificata viene applicata a tutto il testo, includendo:
  1. Conversione in minuscolo.
  2. Rimozione del rumore (URL, menzioni, punteggiatura, cifre).
  3. Normalizzazione dello slang (mappatura di 124 forme informali all'indonesiano standard).
  4. Rimozione delle stopword (809 termini generali e specifici del dominio).
  5. Stemming morfologico mediante Sastrawi.
     Risultato: La lunghezza mediana della recensione post-elaborazione è di 4 token, con un 95° percentile di 17 token.
• Percorso Machine Learning:
  • Dati: Addestrato sull'intero set di 70.155 campioni puliti.
  • Caratteristiche: Vettorizzazione TF-IDF (massimo 3.000 caratteristiche).
  • Classificatori: Support Vector Machine (SVM), Multinomial Naive Bayes (MNB) e Decision Tree (DT).
  • Tecnica: Validazione incrociata stratificata a 5 fold. Per affrontare lo sbilanciamento delle classi, viene applicata la SMOTE (Synthetic Minority Over-sampling Technique) all'interno di ciascun fold di training.
  • Valutazione: Le metriche includono Accuratezza, AUC, Precisione, Recall, F1-Score (ponderato e macro) e Kappa di Cohen.
• Percorso Deep Learning:
  • Dati: A causa dei vincoli CPU, il BiLSTM viene addestrato su un sottoinsieme stratificato di 20.000 campioni (14.219 per il training, 2.510 per la validazione, 2.953 per il test).
  • Architettura: Un LSTM bidirezionale a due livelli con embedding a 128 dimensioni, 128 unità nascoste per direzione e un capo di classificazione completamente connesso. Parametri totali: ~1,1 milioni.
  • Training: Ottimizzatore Adam, learning rate $10^{-3}$, dimensione del batch 64, perdita Cross-Entropy non ponderata. Viene utilizzato l'early stopping (checkpoint migliore all'epoca 3).
  • Valutazione: Valutato su un set di test tenuto da parte utilizzando le stesse metriche del percorso ML.

Contributi Chiave

1. Pre-elaborazione Unificata: L'istituzione di una pipeline di pre-elaborazione condivisa per entrambi i percorsi ML e DL, garantendo che le differenze di prestazioni siano attribuibili all'architettura del modello piuttosto che a variazioni nella pulizia dei dati.
2. Benchmarking: Un'analisi comparativa di tre classificatori classici Scikit-learn (SVM, MNB, DT) contro un modello BiLSTM compatto su recensioni di app indonesiane su larga scala.
3. Trasparenza e Riproducibilità: Gli autori forniscono spazi pubblici Hugging Face per entrambi i modelli ML e DL, consentendo un'ispezione diretta del comportamento del modello.
4. Analisi dello Sbilanciamento: Un esame dettagliato di come lo sbilanciamento delle classi influisca sulle prestazioni del modello, evidenziando specificamente il fallimento del BiLSTM non ponderato sulla classe minoritaria "Neutro" rispetto all'approccio ML che utilizza la SMOTE.

Risultati

• Prestazioni Machine Learning:
  • Il Decision Tree si è rivelato il modello classico più forte, raggiungendo un F1-score ponderato di 0,7269 e un'accuratezza di 0,7286 nella validazione incrociata a 5 fold.
  • L'SVM ha seguito con un F1 ponderato di 0,6958, mentre il Multinomial Naive Bayes ha ottenuto prestazioni significativamente inferiori (0,4619).
  • Il Decision Tree ha mantenuto prestazioni bilanciate su tutte e tre le classi, con il punteggio F1 più basso sulla classe Neutro (0,717) ma comunque funzionale.
• Prestazioni Deep Learning:
  • Il BiLSTM ha raggiunto un F1-score ponderato più alto di 0,8069 e un'accuratezza di 0,8314 sul suo set di test tenuto da parte.
  • Tuttavia, il F1-score macro è sceso a 0,5478.
  • Scomposizione per classe: Il modello ha ottenuto prestazioni eccezionali sulle recensioni Positive (F1 0,9028) e ragionevoli sulle recensioni Negative (F1 0,7406). Crucialmente, ha fallito completamente sulla classe Neutro, ottenendo un F1-score di 0,0000 (0 previsioni corrette su 176 campioni).
• Analisi Comparativa:
  • Sebbene il BiLSTM abbia superato i modelli ML sulle metriche ponderate (prestazioni complessive), questo vantaggio è temperato dal fatto che è stato addestrato su campioni significativamente inferiori (14.219 contro 70.155) e ha mancato tecniche di bilanciamento delle classi.
  • L'approccio ML (Decision Tree + SMOTE) ha fornito un riconoscimento più robusto e bilanciato su tutte e tre le classi, mentre il BiLSTM era distorto verso le classi maggioritarie.

Significato e Affermazioni
Il documento afferma che, sebbene i modelli di deep learning come il BiLSTM possano offrire prestazioni ponderate complessive superiori per il rilevamento del sentiment in testi indonesiani brevi e informali, sono altamente suscettibili ai problemi di sbilanciamento delle classi quando addestrati senza strategie specifiche di mitigazione (come la ponderazione delle classi o l'oversampling).

Gli autori concludono che la scelta del modello dipende dall'obiettivo specifico dell'applicazione:

• Il BiLSTM è preferibile quando l'obiettivo principale è la discriminazione accurata tra i sentimenti Positivi e Negativi dominanti.
• Il Machine Learning (in particolare Decision Tree con SMOTE) è più adatto quando è richiesto un riconoscimento bilanciato su tutte e tre le classi, inclusa la classe minoritaria Neutro.

Lo studio riconosce le proprie limitazioni, notando l'asimmetria nelle dimensioni dei dati di training tra i due percorsi e l'assenza di embedding indonesiani pre-addestrati o modelli basati su transformer. Si suggerisce un lavoro futuro che coinvolga l'addestramento del BiLSTM sull'intero corpus, l'implementazione del bilanciamento delle classi nella pipeline DL e l'esplorazione di architetture transformer.