Technische Samenvatting: Sentimentanalyse van Mobiele Legends App-Reviews met ML en LSTM

Probleemstelling

De snelle groei van de mobiele gaming-industrie, met name in Zuidoost-Azië, heeft enorme hoeveelheden gebruikersfeedback gegenereerd op platforms zoals de Google Play Store. Voor ontwikkelaars van Mobile Legends: Bang Bang (MLBB) is het onpraktisch om dagelijks duizenden reviews handmatig te analyseren om de tevredenheid van gebruikers te meten. Hoewel sentimentanalyse een schaalbare oplossing biedt, stelt de toepassing ervan op reviews in het Indonesisch unieke uitdagingen. Deze reviews bevatten vaak informele taal, straattaal, afkortingen, code-switching tussen het Indonesisch en het Engels, en complexe morfologische structuren (bijvoorbeeld affixatie). Bovendien richt bestaand onderzoek zich vaak op het maximaliseren van de nauwkeurigheid zonder rekening te houden met praktische implementatiebeperkingen of het bieden van een eerlijke, systematische vergelijking tussen geautomatiseerde Machine Learning (ML)-frameworks en aangepaste Deep Learning (DL)-implementaties onder identieke voorbewerkingsvoorwaarden.

Methodologie

Deze studie hanteert een kwantitatieve aanpak om sentimenten (Positief, Negatief, Neutraal) te classificeren op basis van 10.000 MLBB-app-reviews. Het onderzoeksproces is verdeeld in twee parallelle trajecten: een klassieke Machine Learning-aanpak en een Deep Learning-aanpak, waarbij beide gebruikmaken van een rigoureuze, Indonesisch-specifieke voorbewerkingspijplijn.

Data Voorbewerking

Een reproduceerbare schoonmaakpijplijn is geïmplementeerd om de ruis en linguïstische variabiliteit van de dataset te verwerken:

1. Case Folding: Conversie van alle tekst naar kleine letters.
2. Tekstschoning: Verwijdering van leestekens, emoji's, URL's, vermeldingen, hashtags, cijfers en speciale tekens via regex.
3. Normalisatie: Het afbeelden van straattaal en niet-standaardwoorden naar standaard-Indonesische equivalenten.
4. Tokenisatie: Het splitsen van zinnen in afzonderlijke tokens.
5. Stopwoordverwijdering: Filteren van veelvoorkomende Indonesische en Engelse stopwoorden met behulp van NLTK.
6. Stemming: Het reduceren van afgeleide woorden tot wortelvormen met behulp van de Sastrawi-bibliotheek.
7. Truncatie: Beperken van sequenties tot maximaal 100 tokens.

Kenmerkrepresentatie en Modellen

• Machine Learning (ML) Traject: De voorbewerkte tekst is vectoriseerd met behulp van Term Frequency-Inverse Document Frequency (TF-IDF). Drie classifiers werden geëvalueerd met het PyCaret AutoML-framework met 5-voudige gestratificeerde kruisvalidatie:
  • Naive Bayes (NB)
  • Logistische Regressie (LR)
  • Random Forest (RF)
• Deep Learning (DL) Traject: Een aangepast Long Short-Term Memory (LSTM)-netwerk is geïmplementeerd in PyTorch. De architectuur omvat:
  • Een Embedding-laag (64-dimensionale vectoren).
  • Een enkele LSTM-laag (64 verborgen eenheden).
  • Een Dropout-laag (rate 0,3) om overfitting te voorkomen.
  • Een volledig verbonden outputlaag met Softmax-activering voor 3 klassen.
  • De training werd uitgevoerd met de Adam-optimizer, CrossEntropyLoss, een batchgrootte van 32 en 20 epochs.

Evaluatie

De modellen werden geëvalueerd op een vastgehouden testset (20% van de data) met behulp van Nauwkeurigheid, Precisie, Recall en F1-score. Beide benaderingen werden ingezet als interactieve applicaties met Gradio op Hugging Face Spaces om toegankelijkheid te waarborgen.

Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

1. Voorbewerkingspijplijn: Een reproduceerbare Indonesische tekstschoningspijplijn die case folding, regex-ruisverwijdering, NLTK-stopwoordfiltering en Sastrawi-stemming combineert.
2. ML Benchmark: Een vergelijkende analyse van drie classifiers (LR, NB, RF) met behulp van PyCaret AutoML en TF-IDF-kenmerken.
3. DL Model: Een compact, aangepast PyTorch LSTM-model met ongeveer 690K parameters, ontworpen voor efficiëntie.
4. Implementatie: Publiek toegankelijke interactieve demo's gebouwd met Gradio.
5. Open Source: Volledige beschikbaarheid van code, data en notebooks op GitHub.

Resultaten

De studie vergeleek de prestaties van de ML-basismodellen met het LSTM-model op de onbalans dataset (67,47% Negatief, 23,73% Positief, 8,80% Neutraal).

• Machine Learning Prestaties: Onder de klassieke modellen behaalde Logistische Regressie de beste prestaties met een nauwkeurigheid van 77,40% en een F1-score van 73,11%. Random Forest volgde op korte afstand, terwijl Naive Bayes aanzienlijk slechter presteerde (Nauwkeurigheid: 43,02%, F1-score: 47,67%) en moeite had met de lexische complexiteit en klassenonbalans van de dataset.
• Deep Learning Prestaties: Het LSTM-model presteerde beter dan alle ML-basismodellen, met een Nauwkeurigheid van 92%, een Precisie van 94%, een Recall van 96% en een Gewogen F1-score van 91%.
• Analyse: De confusiematrix toonde aan dat het model uitstekend presteerde bij het classificeren van dominante Negatieve en Positieve sentimenten, maar moeite had met de minderheidsklasse Neutraal, waarschijnlijk als gevolg van data-onbalans en de inherente ambiguïteit van neutrale uitdrukkingen.

Betekenis en Aanspraken

Het artikel stelt dat de resultaten de effectiviteit van deep learning bij het verwerken van sequentiële tekstdata onderstrepen, met name voor informele, door gebruikers gegenereerde inhoud die straattaal en code-switching bevat. De studie toont aan dat LSTM-modellen contextuele relaties en sequentiële afhankelijkheden kunnen vastleggen die traditionele op TF-IDF gebaseerde ML-modellen missen.

Echter, de auteurs handhaven een bescheiden houding ten aanzien van de bevindingen:

• Zij erkennen dat, hoewel LSTM beter presteerde dan klassieke modellen, de data-onbalans een aanzienlijke uitdaging blijft die de prestaties van de minderheidsklassen beïnvloedt.
• Zij merken op dat traditionele ML-modellen concurrerend blijven wat betreft rekenkundige efficiëntie en nog steeds effectief zijn wanneer ze worden gecombineerd met passende kenmerkinformatie.
• De studie claimt niet het probleem van sentimentanalyse volledig op te lossen, maar biedt eerder een systematische, eerlijke vergelijking onder consistente voorbewerkingsinstellingen, waarbij de superioriteit van sequentiële modellering voor dit specifieke domein wordt gevalideerd en er ruimte wordt gelaten voor toekomstige verbeteringen (bijvoorbeeld data-balanceringstechnieken zoals SMOTE of geavanceerde architecturen zoals Bi-LSTM/IndoBERT).

Het werk dient als een praktische demonstratie van hoe lichtgewicht, reproduceerbare sentimentanalysepijplijnen voor Indonesische mobiele game-reviews kunnen worden ingezet, waarmee de kloof tussen academische modelvergelijking en beperkingen van real-world toepassingen wordt overbrugd.