💬 NLP

Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

Dit artikel toont aan dat het fijnafstemmen van het IndoBERT-model aanzienlijk beter presteert dan klassieke PyCaret AutoML-benaderingen, met een nauwkeurigheid van 89,59% tegenover 77,57% voor binaire sentimentanalyse van informele Indonesische Twitter-opmerkingen over de Ibu Kota Nusantara (IKN).

Oorspronkelijke auteurs: Mutia Alfi Mayzaroh, Dwi Fitria Ningsih, Nindi Destriani, Martin C. T. Manullang

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mutia Alfi Mayzaroh, Dwi Fitria Ningsih, Nindi Destriani, Martin C. T. Manullang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de stemming van een enorme, lawaaierige menigte op een openbaar plein te begrijpen. Deze menigte praat over een groot nieuw project: de nieuwe hoofdstad van Indonesië, IKN. Mensen schreeuwen hun meningen op Twitter—sommigen juichen, anderen klagen. Jouw taak is om uit te vinden of de menigte over het algemeen blij of ongelukkig is.

Dit artikel is als een rapportkaart voor twee verschillende "detectives" die zijn ingehuurd om dit mysterie van stemmingswisselingen op te lossen.

De Twee Detectives

Detective 1: De "Auto-Organizer" (PyCaret & Machine Learning)
Deze detective is als een zeer efficiënte, regels volgende assistent. Hij gebruikt een gereedschap genaamd PyCaret, wat werkt als een "slimme gereedschapskist" die automatisch door de tweets sorteert.

Hoe ze werken: Ze kijken naar de tweets en tellen hoe vaak specifieke woorden voorkomen (zoals een woordfrequentieteller). Ze proberen drie verschillende strategieën:
1. Logistische Regressie: Een rechtlijnige gokker.
2. Naive Bayes: Een waarschijnlijkheidsgokker gebaseerd op woordpatronen.
3. SVM: Een grenstrekker die probeert blije tweets te scheiden van verdrietige tweets.
Het Resultaat: De "rechtlijnige gokker" (Logistische Regressie) was de beste van de groep. Hij had ongeveer 77,5% van de tweets goed. Het is een solide, betrouwbare werker, maar hij mist soms de nuance van straattaal of sarcasme.

Detective 2: De "Super-Lezer" (IndoBERT & Deep Learning)
Deze detective is een genie dat miljoenen boeken en artikelen in het Indonesisch heeft gelezen voordat hij ook maar één tweet zag. Dit is IndoBERT, een "Transformer"-model.

Hoe ze werken: In plaats van alleen woorden te tellen, begrijpt deze detective de context. Hij weet dat het woord "sakit" (ziek) kan betekenen "ik ben fysiek ziek" of "dit project is vreselijk", afhankelijk van de zin. Hij is specifiek getraind op de Indonesische taal, dus hij begrijpt lokale straattaal, afkortingen en de rommelige manier waarop mensen op sociale media typen.
Het Resultaat: Deze detective had ongeveer 89,6% van de tweets goed. Hij was aanzienlijk scherper en pakte de subtiele verschillen op die de eerste detective over het hoofd zag.

De Showdown: Het Scorebord

De onderzoekers zetten een eerlijke race op met 1.472 echte tweets over de nieuwe hoofdstad. Ze verdeelden de tweets in trainingssets (leren) en testsets (examen).

Het Machine Learning-team (PyCaret): Het beste wat ze konden doen was 77,57% nauwkeurigheid.
Het Deep Learning-team (IndoBERT): Ze scoorden 89,59% nauwkeurigheid.

Het Kruispunt: De "Super-Lezer" versloeg de "Auto-Organizer" met meer dan 12 procentpunten. In de wereld van het gokken op emoties is dat een enorme overwinning.

Waarom won de "Super-Lezer"?

Het artikel legt dit uit met een eenvoudige analogie:

De Auto-Organizer is als iemand die alleen de woordenboekdefinitie van woorden kent. Als je zegt: "Dit project is ziek (sick)", denken ze misschien dat je letterlijk bedoelt dat het ziek is, of ze raken in de war omdat "ziek" in straattaal ook "cool" kan betekenen.
De Super-Lezer is als een moedertaalspreker die opgegroeid is op internet. Hij weet dat "ziek" in een tweet meestal "geweldig" of "vreselijk" betekent, afhankelijk van de toon. Hij begrijpt de sfeer van de zin, niet alleen de woorden.

De Klem: De Kosten van Slim zijn

Er is een afweging.

De Auto-Organizer is lichtgewicht. Hij draait snel op een standaardlaptop en heeft geen supercomputer nodig. Hij is geweldig als je beperkte middelen hebt.
De Super-Lezer is zwaar. Hij vereist veel rekenkracht en kost langer om te trainen. Het is als het rijden van een Ferrari: hij is sneller en preciezer, maar kost meer benzine en heeft een grotere garage nodig.

De Conclusie

Het artikel concludeert dat als je de meest accurate inschatting wilt van hoe Indonesiërs zich voelen over hun nieuwe hoofdstad op sociale media, je het IndoBERT-model moet gebruiken. Het gaat veel beter om met de rommelige, informele, straattaalrijke aard van Twitter dan traditionele methoden.

Echter, als je geen krachtige computer hebt of een snell, simpel antwoord nodig hebt, is het Logistische Regressie-model (de beste van de traditionele tools) nog steeds een degelijke, zij het iets minder nauwkeurige, optie.

Kortom: Voor het begrijpen van het complexe, gepraat en straattaalrijke Indonesische internet is de "Super-Lezer" (Deep Learning) de duidelijke winnaar, en laat hij de "Auto-Organizer" (Machine Learning) in het stof staan.

1. Probleemstelling

De verplaatsing van de hoofdstad van Indonesië naar Ibu Kota Nusantara (IKN) heeft aanzienlijke publieke discussie op sociale media, met name Twitter/X, op gang gebracht. Het begrijpen van de publieke sentimenten ten opzichte van dit beleid is cruciaal voor beleidsmakers en onderzoekers. Het analyseren van deze data brengt echter specifieke uitdagingen met zich mee:

Taalcomplexiteit: De data bestaat uit informele Indonesische teksten met straattaal, afkortingen en variërende zinsstructuren.
Beperkte middelen: Traditionele Machine Learning (ML) benaderingen hebben vaak moeite met contextuele nuances in talen met beperkte bronnen in vergelijking met Deep Learning (DL) modellen.
Methodologische kloof: Er is behoefte aan een empirische vergelijking van de efficiëntie en effectiviteit van geautomatiseerde ML-frameworks (AutoML) tegenover state-of-the-art Transformer-gebaseerde modellen, specifiek voor sentimentanalyse op Indonesische sociale media.

2. Dataset

Bron: Indonesisch-talige Twitter/X-berichten gerelateerd aan IKN.
Grootte: 1.472 handmatig gelabelde steekproeven.
Classes: Binaire classificatie (Positief: 692 steekproeven, 47%; Negatief: 780 steekproeven, 53%).
Kenmerken: Tekst is kort (gemiddelde lengte ~50 tekens) en informeel.
Preprocessing: Omvatte kleine letters maken, het verwijderen van ontbrekende waarden (NaN) en het berekenen van tekstlengte-kenmerken. De data werd opgesplitst in Training (70%), Validatie (15%) en Test (15%) sets met behulp van stratified sampling.

3. Methodologie

Het onderzoek hanteerde een dubbele-pijplijnbenadering om de prestaties te benchmarken:

A. Machine Learning Pijplijn (AutoML)

Framework: PyCaret (v3.x), een open-source AutoML-bibliotheek.
Feature Extractie: Automatische TF-IDF-vectorisatie vanuit de tekstkolom.
Geëvalueerde Algoritmen:
1. Logistische Regressie (LR)
2. Naive Bayes (NB)
3. Support Vector Machine (SVM) met een lineaire kernel.
Proces:
- 10-voudige stratified cross-validatie voor initiële evaluatie.
- Hyperparameter tuning met Optuna (10 kandidaten) op het best presterende model.
- Finalisatie van het model.
Hardware: Intel Core i5 CPU (Python 3.9).

B. Deep Learning Pijplijn (IndoBERT Fine-Tuning)

Model: indobenchmark/indobert-base-p1 (111M parameters, 12 Transformer-lagen).
Framework: PyTorch met Hugging Face Transformers.
Architectuur: Standaard BERT-classificatiekop toegevoegd aan het [CLS]-token.
Hyperparameters:
- Max Lengte: 128 tokens.
- Batch Size: 16.
- Epochs: 5.
- Optimizer: AdamW (LR: $2 \times 10^{-5}$ , weight decay: 0.01).
- Scheduler: Lineaire warmup (10%) gevolgd door lineaire decay.
- Gradient Clipping: Max norm 1.0.
Hardware: Dezelfde Intel Core i5 CPU (geen GPU-versnelling gebruikt).

4. Belangrijkste Bijdragen

Dataset Creatie: Een gecureerde, handmatig gelabelde dataset van 1.472 Indonesische tweets over IKN-sentiment.
AutoML Benchmarking: Een uitgebreide evaluatie van drie klassieke ML-algoritmen (LR, NB, SVM) met behulp van de geautomatiseerde pijplijn van PyCaret.
Transformer Implementatie: Een volledige fine-tuning implementatie van IndoBERT voor binaire sentimentanalyse op dit specifieke domein.
Comparatieve Analyse: Een directe prestatievergelijking die antwoordt of Transformer-gebaseerde DL beter presteert dan klassieke ML voor informele Indonesische tekst, met een nadruk op de afwegingen tussen nauwkeurigheid en rekenkosten.
Reproduceerbaarheid: Het onderzoek gebruikte AI-ondersteunde codering (Claude) om reproduceerbare notebooks te genereren voor EDA-, PyCaret- en PyTorch-pijplijnen.

5. Resultaten

Machine Learning Prestaties (PyCaret)

Beste Model: Logistische Regressie.
Metingen (10-voudige CV):
- Nauwkeurigheid: 77,57%
- F1-Score: 77,17%
- AUC: 0,8563
Andere Modellen: Naive Bayes behaalde ~70,6% nauwkeurigheid. De initiële Lineaire SVM presteerde slecht (52,72%) vanwege de hoge lexicale variatie in informele tekst, hoewel tuning dit verbeterde tot ~71,2%.

Deep Learning Prestaties (IndoBERT)

Beste Model: IndoBERT (Fine-tuned).
Metingen (Test Set):
- Nauwkeurigheid: 89,59%
- F1-Score (Macro): 89,37%
- Precision/Recall: Hoge recall voor Negatieve (96%) en Positieve (83%) classes.
Observaties: Het model vertoonde tekenen van overfitting na de eerste epoch (validatieverlies nam toe terwijl trainingsverlies afnam), een veelvoorkomend probleem bij het fine-tunen van grote modellen op datasets van gemiddelde grootte zonder GPU.

Comparatieve Benchmark

Prestatiekloof: IndoBERT presteerde 12,02 procentpunten beter dan het beste ML-model (Logistische Regressie) in nauwkeurigheid.
Efficiëntie Afweging: Hoewel IndoBERT superieure nauwkeurigheid bood, vereiste het aanzienlijk meer rekenresources en trainingstijd in vergelijking met de lichtgewicht ML-modellen.

6. Betekenis en Conclusie

Superioriteit van Context: Het onderzoek bevestigt dat Transformer-gebaseerde modellen (IndoBERT) aanzienlijk superieur zijn aan klassieke ML voor Indonesische sentimentanalyse. Dit wordt toegeschreven aan het vermogen van IndoBERT om bidirectionele context te vangen, straattaal/afkortingen te hanteren via pre-training, en Out-of-Vocabulary (OOV) woorden beter te beheren dan TF-IDF bag-of-words benaderingen.
Praktische Implicaties:
- Hoog-risico Scenario's: Voor toepassingen die maximale nauwkeurigheid vereisen (bijv. beleidsmonitoring) is IndoBERT de aanbevolen keuze, ondanks hogere resourcekosten.
- Scenario's met Beperkte Middelen: Logistische Regressie via PyCaret blijft een levensvatbaar, pragmatisch alternatief voor snelle prototyping of omgevingen met beperkte rekenkracht, met een respectabele nauwkeurigheid van ~77%.
Toekomstige Richtingen: De auteurs suggereren het verkennen van data-augmentatie om overfitting in DL-modellen te mitigeren en het vergelijken van IndoBERT met lichtere architecturen zoals DistilBERT of LSTM om een balans te vinden tussen prestaties en efficiëntie.

Eindoordeel: Voor sentimentanalyse van informele Indonesische tekst is Deep Learning (IndoBERT) de duidelijke winnaar op het gebied van nauwkeurigheid, maar AutoML (PyCaret/Logistische Regressie) biedt een sterke, efficiënte baseline voor scenario's waar rekenresources beperkt zijn.