Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Technische Samenvatting: Benchmarking van Logistische Regressie, SVM, Naive Bayes en IndoBERT voor Sentimentanalyse in het Indonesisch

Probleemstelling
De snelle uitbreiding van e-commerce in Indonesië heeft een enorme hoeveelheid ongestructureerde, door gebruikers gegenereerde productrecensies gegenereerd. Het analyseren van het sentiment van deze recensies is cruciaal voor het beoordelen van klanttevredenheid en het identificeren van productproblemen op grote schaal. Indonesische tekst stelt echter unieke uitdagingen, waaronder informele spelling, straattaal, inconsistente leestekens en contextuele uitdrukkingen. Bovendien vertoont real-world marktplaatsdata een ernstige klasse-onevenwichtigheid, waarbij positieve recensies neutrale en negatieve feedback veruit overtreffen. Deze onevenwichtigheid bemoeilijkt het trainen van modellen en leidt vaak tot hoge nauwkeurigheidsmetrieken die een slechte prestatie op minderheidsklassen maskeren. Het kernprobleem dat wordt aangepakt, is het bepalen of traditionele Machine Learning (ML)-benaderingen, die rekenkundig efficiënt zijn, de moderne op Transformer gebaseerde Deep Learning-modellen (specifiek IndoBERT) kunnen overtreffen of evenaren in deze ruisende, onevenwichtige en domeinspecifieke context.

Methodologie
De studie implementeert een vergelijkend benchmarkkader met behulp van de Tokopedia Product Reviews 2025-dataset, die tientallen duizenden korte, ruisende recensies bevat die zijn gelabeld in drie klassen: positif (positief), netral (neutraal) en negatif (negatief).

1. Preprocessing-pijplijn: Er is een robuuste pijplijn ontwikkeld om Indonesische e-commerce-vernaculair op te schonen. De stappen omvatten het converteren van tekst naar kleine letters, het verwijderen van URL's en niet-alphanumerieke tekens (inclusief emoji's), het normaliseren van witruimte en het mappen van heterogene labels naar gestandaardiseerde klassen.
2. Basismodellen (Traditionele ML): Drie algoritmen werden geïmplementeerd met TF-IDF-kenmerkextractie met unigrammen en bigrammen ($ngram\_range=(1,2)$). Het vocabulaire was beperkt tot 50.000 kenmerken. De modellen omvatten:
   • Logistische Regressie
   • Lineaire Support Vector Machine (Linear SVC)
   • Multinomiaal Naive Bayes
   • Omgaan met onevenwichtigheid: Discriminerende lineaire modellen maakten gebruik van class_weight="balanced" om fouten op minderheidsklassen te bestraffen.
3. Deep Learning-model (IndoBERT): De studie heeft het indobenchmark/indobert-base-p1-model fijngefineerd.
   • Architectuur: Een Transformer-encoder gevolgd door een sequence-classificatiekop, die invoeren tot 256 tokens verwerkt.
   • Omgaan met onevenwichtigheid: Er is een aangepaste gewogen cross-entropy-verliesfunctie ontworpen, waarbij klassengewichten ($W_c$) omgekeerd evenredig zijn met de klassenfrequentie ($W_c = \frac{N}{C \times n_c}$).
   • Training: Het model werd getraind voor 3 epochs met een batchgrootte van 16, een leersnelheid van $2 \times 10^{-5}$ en een warmup-ratio van 0,1.
4. Experimentele Discrepantie: Een kritieke methodologische opmerking is het verschil in data-regimes. Basismodellen werden getraind op het volledige dataset (65.335 records), terwijl het IndoBERT-model vanwege rekenkundige beperkingen was beperkt tot een gestratificeerde subset (~1.800 trainingsrecords).

Belangrijkste Bijdragen
Het artikel beschrijft vijf specifieke bijdragen:

1. Een preprocessing-pijplijn die via reguliere expressies is toegespitst op ruisende Indonesische e-commerce-tekst.
2. Een uitgebreide benchmark van TF-IDF-basismodellen (Logistische Regressie, LinearSVC, Naive Bayes).
3. Een gedetailleerde implementatie van IndoBERT-fine-tuning met een dynamisch berekende gewogen loss om klasse-onevenwichtigheid aan te pakken.
4. Een diepgaande kwantitatieve analyse die de algehele prestatie vergelijkt met klassengevoelige metrieken.
5. Een reproduceerbare implementatiestrategie met behulp van Gradio op Hugging Face Spaces.

Resultaten
De evaluatie gebruikte Nauwkeurigheid, Macro F1-score en Weighted F1-score. In tegenstelling tot de verwachting dat Deep Learning-modellen traditionele methoden zouden overtreffen, toonden de resultaten aan dat Linear SVC in deze specifieke experimentele opstelling significant beter presteerde dan het fijngefineerde IndoBERT-model.

• Linear SVC: Bereikte 97,60% Nauwkeurigheid en een 0,5510 Macro F1-score.
• IndoBERT: Bereikte 88,70% Nauwkeurigheid en een 0,5088 Macro F1-score.
• Andere Baselines: Logistische Regressie (94,36% Acc, 0,5164 Macro F1) en Naive Bayes (97,50% Acc, 0,3290 Macro F1) presteerden ook sterk, hoewel Naive Bayes aanzienlijk moeite had met de herkenning van minderheidsklassen.

De analyse toonde aan dat hoewel basismodellen een hoge algehele nauwkeurigheid bereikten, ze nog steeds worstelden met de netral- en negatif-klassen, waarbij ze deze vaak verwarren met de dominante positif-klasse. Het prestatieverschil tussen de baselines en IndoBERT werd echter voornamelijk toegeschreven aan het data-samplingregime: de baselines maakten gebruik van het volledige corpus, terwijl de Transformer was beperkt tot een kleine subset, waardoor het niet volledig zijn contextuele modelleringcapaciteiten kon benutten.

Betekenis en Claims
Het artikel beweert dat voor sentimentanalyse in het Indonesisch op e-commerce-recensies traditionele Machine Learning-benaderingen (specifiek TF-IDF met Linear SVC) zeer effectief en robuust blijven, en vaak state-of-the-art Transformers overtreffen wanneer rekenkundige beperkingen de trainingsdata voor laatstgenoemde beperken.

De auteurs benadrukken dat het "Transformer-voordeel" niet automatisch is; het hangt sterk af van datavolume, klasse-evenwicht en eerlijke evaluatieopstellingen. De studie concludeert dat, hoewel IndoBERT superieur theoretisch contextueel modelleren biedt, de empirische prestaties in deze studie werden beperkt door de beperkte trainingssubset. Bijgevolg wordt TF-IDF met Linear SVC gepresenteerd als een zeer haalbare oplossing voor toepassingen die prioriteit geven aan snelheid en robuuste basisprestaties. Het artikel pleit voor toekomstig onderzoek om eerlijke vergelijkingen te waarborgen door alle modellen te trainen op identieke data-splits op grote schaal en geavanceerde onevenwichtigheidsbewuste strategieën toe te passen om de herkenning van minderheidsklassen te verbeteren.