Sentiment and Emotion Classification of Indonesian E-Commerce Reviews via Multi-Task BiLSTM and AutoML Benchmarking

1. Probleemstelling

Het artikel adresseert de uitdaging van het analyseren van Indonesische e-commerce reviews, die worden gekenmerkt door een zeer informele taal. In tegenstelling tot gestandaardiseerde tekst bevatten deze reviews:

• Taalkundige Complexiteit: Een mix van standaardvocabulaire, straattaal, regionale leenwoorden, numerieke afkortingen (bijv. "50k") en emoji's.
• Domeinspecificiteit: Frequent gebruik van afkortingen (bijv. "ongkir" voor verzendkosten, "ori" voor origineel) en spellingvariaties.
• Beperkingen van Bestaande Tools: Traditionele op lexicon gebaseerde sentimentanalyse-tools falen in deze context omdat ze straattaal niet kunnen oplossen of de ruis inherent aan door gebruikers gegenereerde inhoud niet kunnen verwerken.
• Data-schaarste: Er is een gebrek aan grootschalige, dubbel gelabelde datasets voor Indonesische tekst die zowel sentiment (Positief/Negatief) als specifieke emoties (Blij, Verdrietig, Angst, Liefde, Boos) bestrijken.

2. Methodologie

De auteurs stellen een classificatiepijplijn met twee tracks voor, toegepast op het PRDECT-ID dataset (5.400 reviews over 29 productcategorieën).

A. Data Preprocessing

Er is een rigoureuze preprocessing-module (src/preprocessing.py) ontwikkeld, met 14 opeenvolgende schoonmaakstappen. Belangrijke componenten zijn:

• Een aangepast straattaalwoordenboek met 140 entries, samengesteld uit marktplaats-corpora om informele termen te normaliseren.
• Verwerking van ontkenning, intensiverende woorden, transactiespecifieke vocabulaire en emoji's.
• Tokenisatie en normalisatie om tekst voor te bereiden voor zowel ML- als DL-modellen.

B. Track 1: Traditioneel Machine Learning (AutoML)

• Feature Extractie: TF-IDF-vectorisatie.
• Modellering: Gebruik van PyCaret AutoML om standaardclassificatoren (Logistieke Regressie, Random Forest, LightGBM, SVM, enz.) te doorlopen.
• Output: De best presterende modellen voor sentiment en emotie worden geserialiseerd voor implementatie.

C. Track 2: Deep Learning (Multi-Task Learning)

De auteurs implementeerden een Multi-Task Learning (MTL)-framework met PyTorch, ontworpen om sentiment en emotie gelijktijdig te voorspellen.

• Architectuur: Een gedeelde encoder met twee task-specifieke output-heads.
• Gebenchmarkte Configuraties:
  1. BiLSTM Baseline: 1 laag, 128 verborgen eenheden (~1,4M parameters).
  2. BiLSTM Improved: 2 lagen, 256 verborgen eenheden, inclusief BatchNorm1d (~3,1M parameters).
  3. BiLSTM Large: 2 lagen, 256 embedding/verborgen eenheden, extra dense-laag (~5,3M parameters).
  4. TextCNN: Parallelle 1D-convoluties met kernelgroottes {2, 3, 4} en globale max-pooling (~1,7M parameters).
• Trainingsstrategie:
  • Loss: Class-gewogen cross-entropy om label-ongelijkheid aan te pakken (vooral tussen "Blij" en "Boos").
  • Optimalisatie: Adam-optimizer met ReduceLROnPlateau-scheduling en Early Stopping.
  • Data-split: 80% training, 10% validatie, 10% test (gestraatificeerd op emotie).

3. Belangrijkste Bijdragen

1. Preprocessing-module: Een robuuste schoonmaakpijplijn met een gespecialiseerd straattaalwoordenboek van 140 entries, op maat gemaakt voor Indonesische e-commerce.
2. AutoML-benchmark: Een uitgebreide evaluatie van klassieke ML-modellen met TF-IDF en PyCaret, die geserialiseerde baselines biedt.
3. Multi-Task Deep Learning Framework: Implementatie van vier verschillende neurale architecturen (3 BiLSTM-varianten en 1 TextCNN) die een enkele encoder delen voor gezamenlijke sentiment/emotie-predictie.
4. Build-Factory Registry: Een modulaire code-structuur (src/model.py) die eenvoudig wisselen tussen modelconfiguraties mogelijk maakt via een enkele string-sleutel.
5. Publieke Implementatie: Twee interactieve Gradio-applicaties geïmplementeerd op Hugging Face Spaces voor zowel ML- als DL-demos, met broncode beschikbaar op GitHub.

4. Resultaten

Sentimentclassificatie (Binair: Positief/Negatief)

• Winnaar: TF-IDF + Beste AutoML (specifiek een klassiek model uit de PyCaret-sweep).
• Prestatie: Bereikte 0,9574 voor Accuracy, Precision, Recall en F1-score.
• Deep Learning Prestatie: De BiLSTM Baseline was het sterkste DL-model, maar liep significant achter (F1 ~0,86).
• Inzicht: Voor binair sentiment in dit domein presteren op frequentie gebaseerde features (TF-IDF) in combinatie met klassieke classificatoren beter dan diepe sequentiemodellen, waarschijnlijk vanwege sterke lexicaal-polariteitskoppelingen.

Emotieclassificatie (5-Klassen: Blij, Verdrietig, Angst, Liefde, Boos)

• Winnaar: TextCNN.
• Prestatie: Bereikte 0,5399 Accuracy en 0,5077 Macro-F1.
• Deep Learning versus Klassiek: Deep learning-modellen presteerden significant beter dan de TF-IDF/AutoML-baseline (die ~0,24 Macro-F1 scoorde).
• Inzicht: Emotieclassificatie is moeilijker dan sentiment. Het succes van TextCNN suggereert dat lokale n-gram features vastgelegd door convolutiefilters effectiever zijn dan sequentiële afhankelijkheden voor het onderscheiden van subtiele emotionele nuances in korte Indonesische reviews.
• Foutenanalyse: Verwarring is het grootst tussen semantisch aangrenzende klassen (bijv. Angst versus Verdrietig, Liefde versus Blij).

5. Betekenis en Conclusie

• Praktische Nut: De studie toont aan dat terwijl deep learning essentieel is voor complexe emotiedetectie, klassiek ML zeer concurrerend blijft voor binair sentimentanalyse in ruisige, informele Indonesische tekst.
• Methodologische Strenge: Het artikel biedt een reproduceerbare benchmark voor Indonesische NLP, met de nadruk op de noodzaak van domeinspecifieke preprocessing (straattaalnormalisatie) voordat modeltraining plaatsvindt.
• Beschikbaarheid van Middelen: Door het vrijgeven van de code, modellen en Hugging Face-demos verlagen de auteurs de drempel voor toekomstig onderzoek in Indonesische e-commerce-analyse.
• Toekomstige Richting: De resultaten suggereren dat voor emotietaken convolutie-approaches efficiënter kunnen zijn dan zware recurrente architecturen, en dat hybride benaderingen of transformer-gebaseerde modellen (hier niet getest) de volgende stap kunnen zijn voor verdere verbetering.