Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Technische Samenvatting: Sentimentanalyse van Indonesische Spotify-Reviews met Machine Learning en BiLSTM

Probleemstelling
Deze studie adresseert de uitdaging van sentimentanalyse op Indonesische tekst afkomstig van gebruikersreviews van de Spotify-applicatie op de Google Play Store. De taak wordt bemoeilijkt door het informele karakter van de taal, dat onder meer on consistente spelling, zwaar gebruik van straattaal en morfologische variaties omvat. De auteurs beogen de prestaties van klassieke machine learning (ML)-classificatoren te benchmarken tegen een deep learning (DL)-benadering (Bidirectional Long Short-Term Memory, of BiLSTM) voor een sentimentclassificatietaken met drie klassen (Negatief, Neutraal, Positief). Een specifieke beperking van de studie is de evaluatieomgeving: een CPU-only setting, wat verschillende schalen van trainingsdata voor de twee benaderingen noodzakelijk maakt.

Methodologie
Het onderzoek hanteert een dubbelbaans experimenteel ontwerp waarbij beide banen een identieke voorverwerkingspijplijn delen, maar verschillen in modelarchitectuur en trainingsdatavolume.

• Dataset: De ruwe dataset bestaat uit 100.000 gescrapte reviews. Na schoonmaken (verwijdering van duplicaten, lege reviews en niet-tekstelementen) blijven 70.155 samples over. De labels zijn afgeleid van sterrenbeoordelingen: 1–2 sterren (Negatief), 3 sterren (Neutraal) en 4–5 sterren (Positief). De dataset is sterk onbalans, waarbij Positieve reviews 68,4% uitmaken, Negatief 25,7% en Neutraal slechts 5,9%.
• Voorverwerkingspijplijn: Een uniforme pijplijn wordt toegepast op alle tekst, inclusief:
  1. Naar kleine letters omzetten.
  2. Ruisverwijdering (URL's, vermeldingen, leestekens, cijfers).
  3. Normalisatie van straattaal (mapping van 124 informele vormen naar standaard Indonesisch).
  4. Verwijdering van stopwoorden (809 algemene en domeinspecifieke termen).
  5. Morfologisch stemming met Sastrawi.
     Resultaat: De mediaan reviewlengte na verwerking is 4 tokens, met een 95e percentiel van 17 tokens.
• Machine Learning-baan:
  • Data: Getraind op de volledige 70.155 schoongemaakte samples.
  • Features: TF-IDF-vectorisatie (maximaal 3.000 features).
  • Classificatoren: Support Vector Machine (SVM), Multinomial Naive Bayes (MNB) en Decision Tree (DT).
  • Techniek: Gestratificeerde 5-voudige cross-validatie. Om klassenonbalans aan te pakken, wordt SMOTE (Synthetic Minority Over-sampling Technique) toegepast binnen elke trainingsfold.
  • Evaluatie: Metrieken omvatten Accuracy, AUC, Precision, Recall, F1-Score (gewogen en macro) en Cohens Kappa.
• Deep Learning-baan:
  • Data: Vanwege CPU-beperkingen wordt de BiLSTM getraind op een gestratificeerde subset van 20.000 samples (14.219 voor training, 2.510 voor validatie, 2.953 voor testen).
  • Architectuur: Een Bidirectional LSTM met twee lagen, 128-dimensionale embeddings, 128 verborgen eenheden per richting en een volledig verbonden classificatiekop. Totaal aantal parameters: ~1,1 miljoen.
  • Training: Adam-optimizer, leersnelheid $10^{-3}$, batchgrootte 64, ongewogen Cross-Entropy-verlies. Vroege stopzetting wordt gebruikt (beste checkpoint bij epoch 3).
  • Evaluatie: Geëvalueerd op een vastgehouden testset met dezelfde metrieken als de ML-baan.

Belangrijkste Bijdragen

1. Gecentraliseerde Voorverwerking: De vestiging van een gedeelde voorverwerkingspijplijn voor zowel ML- als DL-banen, waardoor prestatieverschillen toerekenbaar zijn aan modelarchitectuur in plaats van variaties in dataopruiming.
2. Benchmarking: Een vergelijkende analyse van drie klassieke Scikit-learn-classificatoren (SVM, MNB, DT) tegen een compact BiLSTM-model op grote schaal Indonesische app-reviews.
3. Transparantie en Reproduceerbaarheid: De auteurs bieden publieke Hugging Face Spaces aan voor zowel de ML- als DL-modellen, waardoor directe inspectie van modelgedrag mogelijk is.
4. Analyse van Onbalans: Een gedetailleerd onderzoek naar hoe klassenonbalans modelprestaties beïnvloedt, met name met de nadruk op het falen van de ongewogen BiLSTM op de minderheidsklasse "Neutraal" in vergelijking met de ML-benadering die SMOTE toepast.

Resultaten

• Machine Learning-prestaties:
  • De Decision Tree kwam naar voren als het sterkste klassieke model, met een gewogen F1-score van 0,7269 en een nauwkeurigheid van 0,7286 in 5-voudige cross-validatie.
  • SVM volgde met een gewogen F1 van 0,6958, terwijl Multinomial Naive Bayes aanzienlijk lager scoorde (0,4619).
  • De Decision Tree behield gebalanceerde prestaties over alle drie de klassen, met de laagste F1-score op de Neutrale klasse (0,717) maar nog steeds functioneel.
• Deep Learning-prestaties:
  • De BiLSTM behaalde een hogere gewogen F1-score van 0,8069 en een nauwkeurigheid van 0,8314 op zijn vastgehouden testset.
  • Echter, de Macro F1-score daalde naar 0,5478.
  • Klassen-specifieke Uitsplitsing: Het model presteerde uitzonderlijk goed op Positieve reviews (F1 0,9028) en redelijk op Negatieve reviews (F1 0,7406). Cruciaal faalde het volledig op de Neutrale klasse, met een F1-score van 0,0000 (0 correcte voorspellingen op 176 samples).
• Vergelijkende Analyse:
  • Hoewel de BiLSTM de ML-modellen overtrof op gewogen metrieken (totale prestatie), wordt dit voordeel getemperd door het feit dat het werd getraind op aanzienlijk minder samples (14.219 versus 70.155) en geen technieken voor klassenbalans toepaste.
  • De ML-benadering (Decision Tree + SMOTE) bood robuustere en gebalanceerdere herkenning over alle drie de klassen, terwijl de BiLSTM vertekend was naar de meerderheidsklassen.

Betekenis en Beweringen
Het artikel beweert dat deep learning-modellen zoals BiLSTM superieure totale gewogen prestaties kunnen bieden voor sentimentdetectie in korte, informele Indonesische teksten, maar dat ze zeer vatbaar zijn voor problemen met klassenonbalans wanneer ze worden getraind zonder specifieke mitigerende strategieën (zoals klassenweging of oversampling).

De auteurs concluderen dat de keuze van het model afhangt van het specifieke toepassingsdoel:

• BiLSTM is preferabel wanneer het primaire doel een accurate discriminatie is tussen de dominante Positieve en Negatieve sentimenten.
• Machine Learning (specifiek Decision Tree met SMOTE) is geschikter wanneer gebalanceerde herkenning over alle drie de klassen, inclusief de minderheidsklasse Neutraal, vereist is.

De studie erkent haar beperkingen, met name de asymmetrie in trainingsdatagrootte tussen de twee banen en de afwezigheid van vooringesloten Indonesische embeddings of op transformers gebaseerde modellen. Toekomstig werk wordt voorgesteld om de BiLSTM te trainen op het volledige corpus, klassenbalans in de DL-pijplijn te implementeren en transformer-architecturen te verkennen.