💬 NLP

Benchmarking Logistic Regression, SVM, and LightGBM Against BiLSTM with Attention for Sentiment Analysis on Indonesian Product Reviews

Dit artikel vergelijkt traditionele machine learning-algoritmen (Logistieke Regressie, SVM en LightGBM) met een BiLSTM met Attention-model voor sentimentanalyse in het Indonesisch, waarbij wordt geconstateerd dat het best presterende ML-model (Logistieke Regressie) de deep learning-aanpak licht overtreft en tegelijkertijd een hogere rekenefficiëntie biedt.

Oorspronkelijke auteurs: Razin Hafid Hamdi, Ivana Margareth Hutabarat, Hanna Gresia Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Razin Hafid Hamdi, Ivana Margareth Hutabarat, Hanna Gresia Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme online winkel in Indonesië runt. Elke dag laten duizenden klanten recensies achter over je producten. Sommigen zeggen: "Dit is geweldig!" en anderen zeggen: "Dit is verschrikkelijk!" Het handmatig lezen van elke individuele recensie is als proberen uit een brandblusapparaat te drinken – het is onmogelijk, traag, en je kunt moe worden en fouten maken.

Om dit op te lossen, bouwden de auteurs van dit artikel twee verschillende "digitale assistenten" om deze recensies te lezen en je te vertellen of ze blij of ongelukkig zijn. Ze wilden zien welke assistent beter was: de Oeroude Detective (Machine Learning) of de Hightech Brein (Deep Learning).

Hier is hoe ze de race opzetten en wat er gebeurde.

De Deelnemers

1. De Oeroude Detective (Machine Learning)
Dit team gebruikte een slimme toolkit genaamd PyCaret. Denk hierbij aan een super-efficiënte archiefkast. Het neemt de rommelige recensies, maakt ze schoon en zet ze om in een nette lijst met trefwoorden (zoals "goed", "slecht", "snel", "langzaam").

De Hulpmiddelen: Ze testten drie soorten detectives:
- Logistische Regressie: Een rechttoe-rechtaan, logisch denker die zoekt naar simpele patronen.
- SVM: Een strenge rechter die een scherpe lijn trekt tussen "goede" en "slechte" recensies.
- LightGBM: Een snelle, krachtige rekenmachine die veel kleine beslisbomen bouwt om het antwoord te vinden.
De Strategie: Ze gaven deze hulpmiddelen 15.782 recensies om te bestuderen en testten ze vervolgens op een verse batch van 3.946 recensies die ze nog niet eerder hadden gezien.

2. Het Hightech Brein (Deep Learning)
Dit team bouwde een BiLSTM met Attention met behulp van PyTorch. Stel je dit voor als een superintelligente robot die niet alleen woorden leest; hij leest de hele zin van begin tot eind en vervolgens van eind tot begin.

De "Attention" Superkracht: Deze robot heeft een speciale vaardigheid genaamd "Attention". Het is als een vergrootglas dat direct inzoomt op de belangrijkste woorden in een zin (zoals "niet" of "liefde") en de saaie woorden negeert. Het probeert de context en gevoelens achter de woorden te begrijpen, niet alleen de woorden zelf.

De Racevoorwaarden

Het Circuit: Ze gebruikten een dataset van 19.728 Indonesische productrecensies.
De Balans: Het circuit was perfect eerlijk. Precies de helft van de recensies was positief en de helft negatief. Dit betekende dat geen enkele assistent een oneerlijk voordeel had.
De Voorbereiding: Voor de race maakten ze de tekst schoon. Ze verwijderden links, hashtags en zetten straattaal om (zoals het veranderen van "bgt" in "banget") zodat beide assistenten dezelfde duidelijke taal lazen.

De Resultaten: Wie Won?

Je zou kunnen verwachten dat het Hightech Brein de Oeroude Detective zou verpletteren omdat het complexer en "slimmer" is. Maar de resultaten waren een verrassing!

De Oeroude Detective (Logistische Regressie):
- Score: 97,26% nauwkeurigheid.
- Snelheid: Het was ongelooflijk snel en voltooide zijn training in ongeveer 12 seconden per ronde.
- Uitspraak: Het was de winnaar met een heel, heel klein verschil.
Het Hightech Brein (BiLSTM + Attention):
- Score: 97,24% nauwkeurigheid.
- Snelheid: Het duurde veel langer om te trainen en vereiste een krachtige computer (GPU) om te draaien.
- Uitspraak: Het kwam als een zeer nauwe tweede, met slechts 0,02% verlies.

Wat Betekent Dit? (Het "Aha!"-Moment)

De auteurs vonden iets interessants: Soms is een simpel gereedschap beter dan een complexere.

Omdat de recensies kort waren en het verschil tussen "blij" en "verdrietig" zeer duidelijk was (de data was "lineair scheidbaar"), hoefde het simpele Logistische Regressie-model niet te veel na te denken. Het hoefde alleen maar de juiste trefwoorden te tellen, en dat deed het perfect.

Het Hightech Brein was uitstekend in het begrijpen van context en raakte niet in de war door de balans van de data, maar het was als het gebruiken van een Ferrari om naar de hoekwinkel te rijden. Het kon het werk doen, maar het was overdreven en kostte veel meer energie.

De Conclusie

Als je een enorme stapel korte productrecensies in het Indonesisch hebt en je moet ze snel sorteren:

Maak het niet te ingewikkeld. Een simpel, goed voorbereid Machine Learning-model (zoals Logistische Regressie) is net zo goed als een chique Deep Learning-model.
Bespaar je middelen. Het simpele model is sneller, goedkoper om te draaien en makkelijker uit te leggen.
Het "Attention"-mechanisme in het complexe model werkte geweldig om dingen in balans te houden, maar voor deze specifieke taak zat het simpele model al op het "plafond" van prestaties.

Kortom: Voor deze specifieke taak versloeg de simpele, logische detective de hightech robot met een haarbreedte, wat bewijst dat je niet altijd het meest complexe gereedschap nodig hebt om het werk te doen.

1. Probleemstelling

De snelle expansie van e-commerce in Indonesië heeft enorme hoeveelheden ongestructureerde tekstuele data gegenereerd in de vorm van productrecensies. Het handmatig analyseren van deze recensies is inefficiënt en vatbaar voor bias. Hoewel geautomatiseerde sentimentanalyse met Natural Language Processing (NLP) een standaardoplossing is, blijft een aanzienlijke uitdaging bestaan: Indonesische productrecensies worden gekenmerkt door colloquiale taal, straattaal (bahasa gaul), afkortingen en onregelmatige zinsstructuren.

De kernvraag van het onderzoek adresseert een veelvoorkomende aanname in NLP: dat Deep Learning (DL) architecturen inherent beter presteren dan traditionele Machine Learning (ML) methoden op tekstdata. Deze studie tracht empirisch te verifiëren of complexe sequentiële modellen (zoals BiLSTM) noodzakelijk zijn voor Indonesische sentimentanalyse of of geoptimaliseerde traditionele ML-approaches vergelijkbare of superieure resultaten kunnen bereiken met grotere efficiëntie.

2. Methodologie

Dataset

Bron: Publiek beschikbare Indonesische productrecensies van Hugging Face Datasets.
Grootte: 19.728 samples, perfect gebalanceerd tussen de klassen Positief en Negatief.
Verdeling: 80% Training (15.782 samples) en 20% Houd-out Test (3.946 samples).

Preprocessing Pipeline

Een rigoureuze preprocessing-stap werd toegepast om de taalkundige nuances van het Indonesisch te hanteren:

Case Folding: Conversie naar kleine letters.
Cleansing: Verwijdering van URL's, HTML-tags, vermeldingen, hashtags, leestekens en cijfers.
Slang Normalisatie: Mapping van informele woorden naar standaard Indonesische vormen met behulp van een gecureerd woordenboek (bijv. bgt $\to$ banget).
Tokenisatie & Filtering: Opsplitsen op whitespace en verwijderen van tokens korter dan 2 karakters.

Vergelijkde Approaches

A. Machine Learning (ML) Pipeline (PyCaret AutoML)

Feature Extractie: TF-IDF vectorisatie met $N=5000$ features, gebruikmakend van unigrammen en bigrammen ( $ngram\_range=(1,2)$ ).
Geëvalueerde Algoritmen:
1. Logistic Regression (LR): Lineaire schatter.
2. Support Vector Machine (SVM): Lineaire kernel.
3. LightGBM: Gradient boosting decision trees.
Validatie: 10-voudige Stratified Cross-Validation.

B. Deep Learning (DL) Pipeline (PyTorch)

Architectuur: Bidirectional Long Short-Term Memory (BiLSTM) met een Attention-mechanisme.
Componenten:
- Embedding Layer (Vocab grootte: 13.600; Dim: 64).
- Twee BiLSTM lagen (Hidden size: 128 elk).
- Attention Layer (Softmax-gewogen som van hidden states).
- Classifier Head (Linear $\to$ ReLU $\to$ Dropout $\to$ Output).
Training: Getraind vanaf nul (geen pre-trained embeddings) met PyTorch. Hyperparameters werden geoptimaliseerd via Optuna (beste trial: LR=0.0038, Batch=128).
Validatie: Geëvalueerd op de houd-out testset.

3. Belangrijkste Bijdragen

Rigoureuze Empirische Vergelijking: Biedt een head-to-head benchmark van door AutoML-aangedreven ML-algoritmen tegen een op maat gebouwde DL-architectuur op een specifieke, uitdagende Indonesische dataset.
Uitdaging aan DL-Dominantie: Demonstreert dat voor hoog-dimensionale, gebalanceerde binaire classificatietaken, klassieke lineaire modellen (specifiek Logistic Regression) marginaal beter kunnen presteren dan complexe sequentiële DL-modellen.
Reproduceerbaarheid: De studie biedt een volledig reproduceerbare experimentele pipeline, inclusief code gedeployed op Hugging Face Spaces, wat verder onderzoek in Indonesische NLP faciliteert.

4. Resultaten

Machine Learning Performance (10-voudige CV)

Logistic Regression: Bereikte de hoogste prestatie met 97,26% Accuracy en 97,26% F1-Score.
SVM (Lineair): Tweede met 97,17% Accuracy.
LightGBM: 96,43% Accuracy.
Observatie: Alle ML-modellen vertoonden AUC-scores > 0,993, wat wijst op bijna perfecte discriminatieve kracht.

Deep Learning Performance (Houd-out Test)

BiLSTM + Attention: Bereikte 97,24% Accuracy en 97,24% F1-Score op de testset.
Confusiematrix: Zeer symmetrische voorspellingen (1.919 True Positives vs. 1.918 True Negatives), wat aangeeft dat het Attention-mechanisme class-bias succesvol heeft voorkomen.

Head-to-Head Vergelijking

Approach	Beste Model	Accuracy	F1-Score
Machine Learning	Logistic Regression	97,26%	97,26%
Deep Learning	BiLSTM + Attention	97,24%	97,24%

5. Betekenis en Discussie

Lineaire Scheidbaarheid: De resultaten suggereren dat de TF-IDF feature-ruimte (5.000 dimensies) de Indonesische sentimentdata lineair scheidbaar maakt. In dergelijke scenario's levert de toegevoegde complexiteit van recurrente neurale netwerken en attention-mechanismen afnemende meerwaarde op.
Computatie-efficiëntie: De ML-approach biedt een significant voordeel in snelheid en resourcegebruik. Bijvoorbeeld, SVM-training duurde slechts ~6,5 seconden per fold, terwijl het DL-model GPU-versnelling en meerdere epochs vereiste om te convergeren.
Praktische Implicaties: Voor productiesystemen die lage latentie en hoge interpreteerbaarheid vereisen, wordt de PyCaret-gebaseerde Logistic Regression pipeline aanbevolen boven complexe DL-modellen voor deze specifieke taak.
Toekomstige Richtingen: De auteurs suggereren dit werk uit te breiden naar multi-class sentimentanalyse (inclusief "Neutraal") en het testen van pre-trained Transformer-modellen (bijv. IndoBERT), die mogelijk beter presteren op complexere taalkundige taken of ongebalanceerde datasets.

Conclusie:
Het artikel concludeert dat Deep Learning, hoewel krachtig, niet universeel superieur is. Voor gebalanceerde, hoog-volume binaire sentimentanalyse van Indonesische productrecensies is een goed ontworpen traditionele ML-pipeline met AutoML niet alleen concurrerend, maar licht superieur in nauwkeurigheid en aanzienlijk efficiënter.