💬 NLP

Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

Diese Arbeit zeigt, dass das Fine-Tuning des IndoBERT-Modells klassische PyCaret-AutoML-Ansätze für die binäre Sentiment-Analyse informeller indonesischer Twitter-Kommentare zur Ibu Kota Nusantara (IKN) mit einer Genauigkeit von 89,59 % im Vergleich zu 77,57 % deutlich übertrifft.

Ursprüngliche Autoren: Mutia Alfi Mayzaroh, Dwi Fitria Ningsih, Nindi Destriani, Martin C. T. Manullang

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mutia Alfi Mayzaroh, Dwi Fitria Ningsih, Nindi Destriani, Martin C. T. Manullang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Stimmung einer riesigen, lauten Menschenmenge auf einem öffentlichen Platz zu verstehen. Diese Menge spricht über ein großes neues Projekt: Indonesiens neue Hauptstadt IKN. Menschen schreien ihre Meinungen auf Twitter heraus – einige jubeln, andere beschweren sich. Ihre Aufgabe ist es, herauszufinden, ob die Menge im Allgemeinen zufrieden oder unzufrieden ist.

Dieser Artikel ist wie ein Zeugnis für zwei verschiedene „Detektive", die engagiert wurden, um dieses Rätsel der Stimmungsschwankungen zu lösen.

Die zwei Detektive

Detektiv 1: Der „Auto-Organisator" (PyCaret & maschinelles Lernen)
Dieser Detektiv ist wie ein sehr effizienter, regelbeflissener Assistent. Er nutzt ein Werkzeug namens PyCaret, das wie eine „intelligente Werkzeugkiste" funktioniert, die Tweets automatisch sortiert.

Wie sie arbeiten: Sie schauen sich die Tweets an und zählen, wie oft bestimmte Wörter vorkommen (wie ein Wortfrequenzzähler). Sie versuchen drei verschiedene Strategien:
1. Logistische Regression: Ein Gerader-Linien-Rater.
2. Naive Bayes: Ein Wahrscheinlichkeits-Rater, der auf Wortmustern basiert.
3. SVM: Ein Grenzzieher, der versucht, glückliche von traurigen Tweets zu trennen.
Das Ergebnis: Der „Gerader-Linien-Rater" (Logistische Regression) war der Beste der Gruppe. Er lag bei etwa 77,5 % der Tweets richtig. Er ist ein solider, zuverlässiger Arbeiter, verpasst aber manchmal die Nuancen von Slang oder Sarkasmus.

Detektiv 2: Der „Super-Leser" (IndoBERT & Deep Learning)
Dieser Detektiv ist ein Genie, das Millionen von Büchern und Artikeln in indonesischer Sprache gelesen hat, bevor es überhaupt einen einzigen Tweet gesehen hat. Dies ist IndoBERT, ein „Transformer"-Modell.

Wie sie arbeiten: Anstatt nur Wörter zu zählen, versteht dieser Detektiv den Kontext. Er weiß, dass das Wort „sakit" (krank) bedeuten kann „Ich bin körperlich krank" oder „Dieses Projekt ist schrecklich", je nach Satz. Er wurde speziell auf die indonesische Sprache trainiert, versteht also lokale Slangausdrücke, Abkürzungen und die chaotische Art, wie Menschen in sozialen Medien tippen.
Das Ergebnis: Dieser Detektiv lag bei etwa 89,6 % der Tweets richtig. Er war deutlich schärfer und fing die subtilen Unterschiede ein, die der erste Detektiv verpasst hatte.

Das Duell: Die Anzeigetafel

Die Forscher veranstalteten ein faires Rennen mit 1.472 echten Tweets über die neue Hauptstadt. Sie teilten die Tweets in Trainings- (Lernen) und Test- (Prüfung) Datensätze auf.

Das Team für maschinelles Lernen (PyCaret): Das Beste, was sie erreichen konnten, war eine Genauigkeit von 77,57 %.
Das Team für Deep Learning (IndoBERT): Sie erzielten eine Genauigkeit von 89,59 %.

Die Lücke: Der „Super-Leser" schlug den „Auto-Organisator" um mehr als 12 Prozentpunkte. In der Welt des Emotions-Ratens ist das ein riesiger Sieg.

Warum gewann der „Super-Leser"?

Der Artikel erklärt dies mit einer einfachen Analogie:

Der Auto-Organisator ist wie jemand, der nur die Wörterbuchdefinition von Wörtern kennt. Wenn Sie sagen: „Dieses Projekt ist krass (sick)", denken sie vielleicht, Sie meinen, es sei buchstäblich krank, oder sie sind verwirrt, weil „sick" im Slang auch „cool" bedeuten kann.
Der Super-Leser ist wie ein Muttersprachler, der im Internet aufgewachsen ist. Er weiß, dass „sick" in einem Tweet je nach Tonfall „toll" oder „schrecklich" bedeutet. Er versteht die Vibe des Satzes, nicht nur die Wörter.

Der Haken: Der Preis für Intelligenz

Es gibt einen Kompromiss.

Der Auto-Organisator ist leichtgewichtig. Er läuft schnell auf einem Standard-Laptop und benötigt keinen Supercomputer. Er ist großartig, wenn Sie begrenzte Ressourcen haben.
Der Super-Leser ist schwerfällig. Er benötigt viel Rechenleistung und braucht länger zum Trainieren. Es ist wie das Fahren eines Ferraris: Er ist schneller und präziser, kostet aber mehr Benzin und benötigt eine größere Garage.

Das Fazit

Der Artikel kommt zu dem Schluss, dass Sie das IndoBERT-Modell verwenden sollten, wenn Sie das genaueste Verständnis dafür wollen, wie Indonesier in sozialen Medien über ihre neue Hauptstadt denken. Es bewältigt die chaotische, informelle und slangreiche Natur von Twitter viel besser als traditionelle Methoden.

Wenn Sie jedoch keinen leistungsstarken Computer haben oder eine schnelle, einfache Antwort benötigen, ist das Logistic-Regression-Modell (das Beste der traditionellen Werkzeuge) immer noch eine anständige, wenn auch etwas weniger genaue Option.

Kurz gesagt: Für das Verständnis des komplexen, plaudernden und slangreichen indonesischen Internets ist der „Super-Leser" (Deep Learning) der klare Gewinner und lässt den „Auto-Organisator" (maschinelles Lernen) im Staub zurück.

1. Problemstellung

Die Verlegung der indonesischen Hauptstadt nach Ibu Kota Nusantara (IKN) hat eine erhebliche öffentliche Debatte in sozialen Medien, insbesondere auf Twitter/X, ausgelöst. Das Verständnis der öffentlichen Stimmung zu dieser Politik ist für politische Entscheidungsträger und Forscher von entscheidender Bedeutung. Die Analyse dieser Daten stellt jedoch spezifische Herausforderungen dar:

Sprachliche Komplexität: Die Daten bestehen aus informellen indonesischen Texten, die Slang, Abkürzungen und variierende Satzstrukturen enthalten.
Ressourcenbeschränkungen: Traditionelle Machine-Learning-Ansätze (ML) haben im Vergleich zu Deep-Learning-Modellen (DL) oft Schwierigkeiten mit kontextuellen Nuancen in ressourcenarmen Sprachen.
Methodische Lücke: Es besteht die Notwendigkeit, die Effizienz und Wirksamkeit automatisierter ML-Frameworks (AutoML) im Vergleich zu state-of-the-art Transformer-basierten Modellen speziell für die Sentiment-Analyse in indonesischen sozialen Medien empirisch zu vergleichen.

2. Datensatz

Quelle: Indonesischsprachige Twitter/X-Kommentare im Zusammenhang mit IKN.
Größe: 1.472 manuell gelabelte Stichproben.
Klassen: Binäre Klassifikation (Positiv: 692 Stichproben, 47 %; Negativ: 780 Stichproben, 53 %).
Merkmale: Der Text ist kurz (durchschnittliche Länge ~50 Zeichen) und informell.
Vorverarbeitung: Umfasste die Umwandlung in Kleinbuchstaben, das Entfernen fehlender Werte (NaN) und die Berechnung von Textlängenmerkmalen. Die Daten wurden mittels geschichteter Stichprobenziehung in Trainings- (70 %), Validierungs- (15 %) und Testsets (15 %) aufgeteilt.

3. Methodik

Die Studie verfolgte einen Dual-Pipeline-Ansatz zur Leistungsbewertung:

A. Machine-Learning-Pipeline (AutoML)

Framework: PyCaret (v3.x), eine Open-Source-AutoML-Bibliothek.
Feature-Extraktion: Automatische TF-IDF-Vektorisierung aus der Textspalte.
Evaluierte Algorithmen:
1. Logistische Regression (LR)
2. Naive Bayes (NB)
3. Support Vector Machine (SVM) mit linearem Kernel.
Prozess:
- 10-fache geschichtete Kreuzvalidierung für die initiale Bewertung.
- Hyperparameter-Optimierung mittels Optuna (10 Kandidaten) am bestperformenden Modell.
- Finalisierung des Modells.
Hardware: Intel Core i5 CPU (Python 3.9).

B. Deep-Learning-Pipeline (IndoBERT Fine-Tuning)

Modell: indobenchmark/indobert-base-p1 (111 Mio. Parameter, 12 Transformer-Schichten).
Framework: PyTorch mit Hugging Face Transformers.
Architektur: Standard BERT-Klassifikationskopf hinzugefügt zum [CLS]-Token.
Hyperparameter:
- Maximale Länge: 128 Tokens.
- Batch-Größe: 16.
- Epochen: 5.
- Optimierer: AdamW (LR: $2 \times 10^{-5}$ , Gewichtsdecay: 0,01).
- Scheduler: Linearer Warmup (10 %) gefolgt von linearem Decay.
- Gradienten-Clipping: Max-Norm 1,0.
Hardware: Gleiche Intel Core i5 CPU (keine GPU-Beschleunigung verwendet).

4. Hauptbeiträge

Datensatzerstellung: Ein kuratierter, manuell gelabelter Datensatz von 1.472 indonesischen Tweets bezüglich IKN-Sentiment.
AutoML-Benchmarking: Eine umfassende Bewertung von drei klassischen ML-Algorithmen (LR, NB, SVM) unter Verwendung der automatisierten Pipeline von PyCaret.
Transformer-Implementierung: Eine vollständige Fine-Tuning-Implementierung von IndoBERT für die binäre Sentiment-Analyse in diesem spezifischen Bereich.
Vergleichende Analyse: Ein direkter Leistungsvergleich, der die Frage beantwortet, ob Transformer-basiertes DL klassische ML für informelle indonesische Texte übertrifft, und die Kompromisse zwischen Genauigkeit und Rechenkosten hervorhebt.
Reproduzierbarkeit: Die Studie nutzte KI-gestützte Programmierung (Claude), um reproduzierbare Notebooks für EDA-, PyCaret- und PyTorch-Pipelines zu generieren.

5. Ergebnisse

Machine-Learning-Leistung (PyCaret)

Bestes Modell: Logistische Regression.
Metriken (10-fache CV):
- Genauigkeit: 77,57 %
- F1-Score: 77,17 %
- AUC: 0,8563
Andere Modelle: Naive Bayes erreichte eine Genauigkeit von ~70,6 %. Die initiale lineare SVM schnitt aufgrund der hohen lexikalischen Variation in informellen Texten schlecht ab (52,72 %), obwohl die Optimierung sie auf ~71,2 % verbesserte.

Deep-Learning-Leistung (IndoBERT)

Bestes Modell: IndoBERT (Fine-tuned).
Metriken (Testset):
- Genauigkeit: 89,59 %
- F1-Score (Makro): 89,37 %
- Präzision/Recall: Hoher Recall für die Klassen Negativ (96 %) und Positiv (83 %).
Beobachtungen: Das Modell zeigte nach der ersten Epoche Anzeichen von Overfitting (der Validierungsverlust stieg, während der Trainingsverlust sank), ein häufiges Problem beim Fine-Tuning großer Modelle auf mittelgroßen Datensätzen ohne GPU.

Vergleichender Benchmark

Leistungslücke: IndoBERT übertraf das beste ML-Modell (Logistische Regression) in der Genauigkeit um 12,02 Prozentpunkte.
Effizienz-Kompromiss: Obwohl IndoBERT eine überlegene Genauigkeit bot, erforderte es deutlich mehr Rechenressourcen und Trainingszeit im Vergleich zu den leichten ML-Modellen.

6. Bedeutung und Fazit

Überlegenheit des Kontexts: Die Studie bestätigt, dass Transformer-basierte Modelle (IndoBERT) der klassischen ML für die indonesische Sentiment-Analyse deutlich überlegen sind. Dies wird der Fähigkeit von IndoBERT zugeschrieben, bidirektionalen Kontext zu erfassen, Slang/Abkürzungen durch Pre-Training zu handhaben und Out-of-Vocabulary (OOV)-Wörter besser zu bewältigen als TF-IDF-Bag-of-Words-Ansätze.
Praktische Implikationen:
- Hochrisiko-Szenarien: Für Anwendungen, die maximale Genauigkeit erfordern (z. B. Politikmonitoring), ist IndoBERT trotz höherer Ressourcenkosten die empfohlene Wahl.
- Ressourcenbeschränkte Szenarien: Die Logistische Regression über PyCaret bleibt eine praktikable, pragmatische Alternative für schnelles Prototyping oder Umgebungen mit begrenzter Rechenleistung und bietet eine respektable Genauigkeit von ~77 %.
Zukünftige Richtungen: Die Autoren schlagen vor, Data Augmentation zu erforschen, um Overfitting in DL-Modellen zu mindern, und IndoBERT mit leichteren Architekturen wie DistilBERT oder LSTM zu vergleichen, um ein Gleichgewicht zwischen Leistung und Effizienz zu finden.

Endgültiges Urteil: Für die Sentiment-Analyse informeller indonesischer Texte ist Deep Learning (IndoBERT) in Bezug auf die Genauigkeit der klare Gewinner, aber AutoML (PyCaret/Logistische Regression) bietet eine starke, effiziente Basis für Szenarien, in denen Rechenressourcen begrenzt sind.