Benchmarking LightGBM and BiLSTM for Sentiment Analysis on Indonesian E-Commerce Reviews

Technische Samenvatting: Benchmarking van LightGBM en BiLSTM voor Sentimentanalyse in de Indonesische E-commerce

Probleemstelling
De snelle uitbreiding van e-commerce in Indonesië heeft enorme hoeveelheden ongestructureerde tekstuele data gegenereerd in de vorm van productbeoordelingen. Het analyseren van deze data is cruciaal voor bedrijven om klanttevredenheid automatisch te meten. Echter, Indonesische e-commerce-beoordelingen vertonen unieke taalkundige uitdagingen, waaronder een zwaar gebruik van informele taal, code-mixing, straattaal en impliciete emotionele uitdrukkingen zoals sarcasme (bijvoorbeeld positieve woordkeuze die negatieve ervaringen maskeert). Het kernprobleem dat door deze studie wordt aangepakt, is het bepalen of traditionele Machine Learning (ML)-benaderingen, specifiek die geoptimaliseerd via geautomatiseerde frameworks, of Deep Learning (DL)-architecturen effectiever zijn in het vastleggen van de sequentiële context en nuances die nodig zijn voor nauwkeurige sentimentclassificatie in dit specifieke domein.

Methodologie
De studie hanteert een vergelijkend experimenteel ontwerp met behulp van een dataset van 15.000 Indonesische e-commerce-beoordelingen afkomstig van Hugging Face, gebalanceerd over de klassen Positief, Negatief en Neutraal. De data onderging een rigoureuze voorverwerking, inclusief case folding, ruisverwijdering, karaktersfiltering en slangnormalisatie om afgekorte termen af te beelden op standaardvocabulaire.

Het onderzoek benchmarkt twee verschillende pijplijnen:

1. Machine Learning (ML) Pijplijn: Met gebruikmaking van het PyCaret AutoML-framework automatiseert de studie het trainen en tunen van drie algoritmen: LightGBM, Logistische Regressie en Support Vector Machine (SVM) met een lineaire kernel. Feature-extractie werd uitgevoerd met TF-IDF (Term Frequency-Inverse Document Frequency), beperkt tot 5.000 features. De modellen werden geëvalueerd met gestratificeerde 10-voudige cross-validatie met geautomatiseerde hyperparameter-tuning geoptimaliseerd voor de F1-score.
2. Deep Learning (DL) Pijplijn: Een Bidirectionele Long Short-Term Memory (BiLSTM) architectuur werd geïmplementeerd met het PyTorch-framework. Het model bestaat uit een embeddinglaag (dimensie 128), een BiLSTM-laag (verborgen statiegrootte 64), ruimtelijke dropout-lagen (rate 0,3) om overfitting te voorkomen, en volledig verbonden lagen met Softmax-activatie. Het model werd getraind met de Adam-optimizer (leersnelheid $1 \times 10^{-3}$) over 20 epochs met een batchgrootte van 32.

Belangrijkste Resultaten
De experimentele resultaten tonen aan dat hoewel beide benaderingen hoge prestaties leveren, het Deep Learning-model superieure nauwkeurigheid bereikt:

• BiLSTM (DL): Bereikte de hoogste prestaties met een nauwkeurigheid van 98,87% en een F1-score van 98,87%. Het model toonde consistente precisie en recall (0,99) voor de klassen Negatief en Neutraal, en 0,98/0,99 voor de klasse Positief. De trainingstijd bedroeg ongeveer 3,7 minuten.
• LightGBM (ML): Doet zich voor als het best presterende ML-model met een nauwkeurigheid van 98,23% en een F1-score van 0,9823. Het toonde uitzonderlijke computationele efficiëntie en voltooide het trainings- en cross-validatieproces in slechts 4,932 seconden.
• Overige ML-modellen: Logistische Regressie en SVM (Lineaire Kernel) bereikten nauwkeurigheden van respectievelijk 97,67% en 97,56%, waarmee sterke baselines werden gelegd, maar ze vielen lichtjes ten opzichte van LightGBM.

Belangrijkste Bijdragen

• Empirische Benchmarking: De studie biedt directe empirische bewijzen die geautomatiseerde ML (PyCaret) vergelijken met een aangepaste DL-architectuur (BiLSTM), specifiek voor sentimentanalyse in de Indonesische e-commerce.
• Omgaan met Taalkundige Nuances: Het onderzoek valideert dat de BiLSTM-architectuur bijzonder effectief is in het vastleggen van sequentiële afhankelijkheden en contextuele nuances (zoals sarcasme en ontkenning) die inherent zijn aan informele Indonesische tekst, en dat deze de TF-IDF-gebaseerde ML-modellen overtreft die vertrouwen op bag-of-words-aannames.
• Toegankelijkheid voor Implementatie: De auteurs verstrekken de volledige broncode, dataset en links naar geïmplementeerde Hugging Face-modellen via een publieke GitHub-repository, samen met een interactieve webinterface voor modelimplementatie.

Betekenis en Claims
Het artikel concludeert dat de BiLSTM-architectuur het superieure model is voor deze specifieke classifictaak vanwege het vermogen om een hoge balans tussen precisie en recall te behouden over alle sentimentklassen heen. De auteurs stellen dat hoewel ML-modellen zoals LightGBM een zeer schaalbare en snelle oplossing bieden (ideaal voor omgevingen die frequente hertraining vereisen), het BiLSTM-model de optimale keuze is wanneer maximale voorspellingskwaliteit en het vermogen om complexe, heterogene taal te interpreteren prioriteit hebben.

De studie claimt niet alle uitdagingen in de Indonesische NLP op te lossen, maar benadrukt specifiek dat voor e-commerce-beoordelingen gekenmerkt door straattaal en impliciete sentimenten, het bidirectionele sequentiële leermechanisme van BiLSTM een meetbaar voordeel biedt ten opzichte van traditionele gradient boosting-methoden. Het onderzoek onderstreept de afweging tussen computationele efficiëntie en voorspellende nuance, en suggereert dat de keuze van het model moet worden bepaald door de specifieke implementatiecontext (snelheid versus nauwkeurigheid).