Riepilogo Tecnico: Analisi del Sentimento delle Recensioni dell'App Mobile Legends tramite ML e LSTM

Enunciato del Problema

La rapida crescita dell'industria dei giochi mobili, in particolare nel Sud-est asiatico, ha generato enormi quantità di feedback degli utenti su piattaforme come Google Play Store. Per gli sviluppatori di Mobile Legends: Bang Bang (MLBB), analizzare manualmente migliaia di recensioni ogni giorno per valutare la soddisfazione degli utenti è poco pratico. Sebbene l'analisi del sentimento offra una soluzione scalabile, applicarla alle recensioni in lingua indonesiana presenta sfide uniche. Queste recensioni contengono frequentemente linguaggio informale, gergo, abbreviazioni, commutazione di codice tra indonesiano e inglese e strutture morfologiche complesse (ad esempio, affissazione). Inoltre, la ricerca esistente si concentra spesso sulla massimizzazione dell'accuratezza senza affrontare i vincoli pratici di distribuzione o fornire un confronto equo e sistematico tra framework automatizzati di Machine Learning (ML) e implementazioni personalizzate di Deep Learning (DL) in condizioni di pre-elaborazione identiche.

Metodologia

Questo studio adotta un approccio quantitativo per classificare i sentimenti (Positivo, Negativo, Neutro) da 10.000 recensioni dell'app MLBB. Il processo di ricerca è suddiviso in due percorsi paralleli: un approccio classico di Machine Learning e un approccio di Deep Learning, entrambi che utilizzano una rigorosa pipeline di pre-elaborazione specifica per l'indonesiano.

Pre-elaborazione dei Dati

È stata implementata una pipeline di pulizia riproducibile per gestire il rumore e la variabilità linguistica del dataset:

1. Case Folding: Conversione di tutto il testo in minuscolo.
2. Pulizia del Testo: Rimozione di punteggiatura, emoji, URL, menzioni, hashtag, numeri e caratteri speciali tramite regex.
3. Normalizzazione: Mappatura di termini gergali e non standard su equivalenti indonesiani standard.
4. Tokenizzazione: Divisione delle frasi in token individuali.
5. Rimozione delle Stopword: Filtraggio delle stopword comuni in indonesiano e inglese utilizzando NLTK.
6. Stemming: Riduzione delle parole affissate alle forme radicali utilizzando la libreria Sastrawi.
7. Troncamento: Limitazione delle sequenze a un massimo di 100 token.

Rappresentazione delle Caratteristiche e Modelli

• Percorso Machine Learning (ML): Il testo pre-elaborato è stato vettorizzato utilizzando Term Frequency-Inverse Document Frequency (TF-IDF). Tre classificatori sono stati valutati utilizzando il framework PyCaret AutoML con convalida incrociata stratificata a 5 fold:
  • Naive Bayes (NB)
  • Regressione Logistica (LR)
  • Random Forest (RF)
• Percorso Deep Learning (DL): È stata implementata una rete Long Short-Term Memory (LSTM) personalizzata in PyTorch. L'architettura include:
  • Un livello di Embedding (vettori a 64 dimensioni).
  • Un singolo livello LSTM (64 unità nascoste).
  • Un livello Dropout (tasso 0.3) per prevenire l'overfitting.
  • Un livello di output Fully Connected con attivazione Softmax per 3 classi.
  • L'addestramento è stato condotto utilizzando l'ottimizzatore Adam, CrossEntropyLoss, una dimensione del batch di 32 e 20 epoche.

Valutazione

I modelli sono stati valutati su un set di test tenuto da parte (20% dei dati) utilizzando Accuratezza, Precisione, Recall e F1-Score. Entrambi gli approcci sono stati distribuiti come applicazioni interattive utilizzando Gradio su Hugging Face Spaces per garantire l'accessibilità.

Contributi Chiave

Il documento delinea cinque contributi principali:

1. Pipeline di Pre-elaborazione: Una pipeline di pulizia del testo indonesiano riproducibile che combina case folding, rimozione del rumore tramite regex, filtraggio delle stopword con NLTK e stemming con Sastrawi.
2. Benchmark ML: Un'analisi comparativa di tre classificatori (LR, NB, RF) utilizzando PyCaret AutoML e caratteristiche TF-IDF.
3. Modello DL: Un modello LSTM personalizzato e compatto in PyTorch con circa 690K parametri, progettato per l'efficienza.
4. Distribuzione: Demo interattive pubblicamente accessibili costruite con Gradio.
5. Open Source: Completa disponibilità di codice, dati e notebook su GitHub.

Risultati

Lo studio ha confrontato le prestazioni dei baseline ML con il modello LSTM sul dataset sbilanciato (67,47% Negativo, 23,73% Positivo, 8,80% Neutro).

• Prestazioni Machine Learning: Tra i modelli classici, la Regressione Logistica ha ottenuto le migliori prestazioni con un'accuratezza del 77,40% e un F1-score del 73,11%. Random Forest ha seguito da vicino, mentre Naive Bayes ha ottenuto risultati significativamente inferiori (Accuratezza: 43,02%, F1-score: 47,67%), faticando con la complessità lessicale del dataset e lo sbilanciamento delle classi.
• Prestazioni Deep Learning: Il modello LSTM ha superato tutti i baseline ML, ottenendo un'Accuratezza del 92%, una Precisione del 94%, una Recall del 96% e un F1-Score Ponderato del 91%.
• Analisi: La matrice di confusione ha rivelato che, sebbene il modello eccellesse nella classificazione dei sentimenti Negativi e Positivi dominanti, ha incontrato difficoltà con la classe minoritaria Neutra, probabilmente a causa dello sbilanciamento dei dati e dell'ambiguità intrinseca delle espressioni neutre.

Significato e Affermazioni

Il documento afferma che i risultati evidenziano l'efficacia del deep learning nella gestione di dati testuali sequenziali, in particolare per contenuti generati dagli utenti informali contenenti gergo e commutazione di codice. Lo studio dimostra che i modelli LSTM possono catturare relazioni contestuali e dipendenze sequenziali che i tradizionali modelli ML basati su TF-IDF non riescono a cogliere.

Tuttavia, gli autori mantengono una posizione modesta riguardo ai risultati:

• Riconoscono che, sebbene LSTM abbia superato i modelli classici, lo sbilanciamento dei dati rimane una sfida significativa che influisce sulle prestazioni della classe minoritaria.
• Osservano che i modelli ML tradizionali rimangono competitivi in termini di efficienza computazionale e sono ancora efficaci se combinati con un'adeguata ingegneria delle caratteristiche.
• Lo studio non afferma di risolvere completamente il problema dell'analisi del sentimento, ma fornisce piuttosto un confronto sistematico ed equo in condizioni di pre-elaborazione coerenti, validando la superiorità della modellazione sequenziale per questo specifico dominio, identificando al contempo aree per futuri miglioramenti (ad esempio, tecniche di bilanciamento dei dati come SMOTE o architetture avanzate come Bi-LSTM/IndoBERT).

Il lavoro funge da dimostrazione pratica di come distribuire pipeline di analisi del sentimento leggere e riproducibili per le recensioni di giochi mobili indonesiani, colmando il divario tra il confronto accademico dei modelli e i vincoli delle applicazioni nel mondo reale.