💬 NLP

A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

Diese Studie zeigt, dass ein CNN-BiLSTM-Modell den besten konventionellen Klassifikator von PyCaret AutoML (Random Forest) bei der Erkennung binärer Hassrede auf indonesischem Twitter übertrifft und durch effektive Nutzung dichter Token-Repräsentationen und bidirektionalen Kontexts eine um 6,6 % höhere Genauigkeit sowie einen um 4,2 % höheren F1-Score erzielt.

Ursprüngliche Autoren: Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, „toxische" Tweets auf indonesischem Twitter zu erkennen. Das Ziel ist es, herauszufinden, ob eine kurze Nachricht Hassrede (schlecht) oder einfach nur normale Rede (in Ordnung) ist.

Dieser Artikel ist wie ein Wettkampf zwischen zwei verschiedenen Trainern, die versuchen, einen Schüler darauf vorzubereiten, diesen Test zu bestehen.

Die zwei Trainer

Trainer 1: Der „Auto-Organisator" (PyCaret)
Stellen Sie sich diesen Trainer als einen hocheffizienten Projektmanager vor. Er erfindet keine neuen Denkweisen, sondern nimmt eine Werkzeugkiste mit klassischen, bewährten Methoden (wie das Zählen bestimmter böswilliger Wörter oder das Prüfen der Wortfrequenz) und probiert schnell Dutzende verschiedener Strategien aus, um zu sehen, welche am besten funktioniert.

Wie sie arbeiten: Sie betrachten den Text wie eine Liste von Zutaten. Wenn der Tweet ein bekanntes „böses Wort" aus einem Wörterbuch enthält oder wenn bestimmte Wörter häufig zusammen auftreten, markieren sie ihn.
Das Ergebnis: Dieser Trainer fand heraus, dass eine Methode namens Random Forest (die wie ein Komitee von Entscheidungsträgern ist, die abstimmen, ob ein Tweet schlecht ist) die beste der Gruppe war. Sie erreichten eine Genauigkeit von etwa 77 %.

Trainer 2: Der „Kontext-Detektiv" (CNN-BiLSTM)
Dieser Trainer ist ein Experte für Deep Learning. Anstatt nur Wörter zu zählen, bringen sie dem Computer bei, den Tweet so zu „lesen", wie ein Mensch es tut, wobei sie auf die Reihenfolge der Wörter achten und wie sich ihre Bedeutung je nach dem, was davor oder danach kommt, verändert.

Wie sie arbeiten: Stellen Sie sich einen Satz wie ein Puzzle vor. Der „CNN"-Teil sucht nach kleinen, lokalen Mustern (wie einem spezifischen wütenden Ausdruck), während der „BiLSTM"-Teil den gesamten Satz von links nach rechts und von rechts nach links betrachtet, um den Kontext zu verstehen. Zum Beispiel hilft es dem Computer zu verstehen, dass ein Wort in einem Satz schlecht sein könnte, aber in einem anderen harmlos ist, wegen eines „nicht" oder eines Witzes in der Nähe.
Das Ergebnis: Dieser Trainer baute ein Modell, das eine Genauigkeit von 83,8 % erreichte.

Die Wettkampfbedingungen

Um einen fairen Wettkampf zu gewährleisten, sorgten die Autoren dafür, dass beide Trainer mit exakt denselben Zutaten starteten:

Derselbe Datensatz: Sie verwendeten dieselben 13.000+ Tweets aus einem berühmten indonesischen Datensatz.
Dasselbe Bereinigen: Beide Trainer reinigten die Tweets auf die gleiche Weise (Entfernen von Links, Korrigieren von Slang, Umwandlung in Kleinbuchstaben).
Dasselbe Ziel: Beide versuchten, exakt dasselbe binäre Problem zu lösen: Handelt es sich um Hassrede (Ja/Nein)?

Der Gewinner

Der Kontext-Detektiv (CNN-BiLSTM) gewann den Wettkampf.

Sie waren 6,6 % genauer als der beste Auto-Organisator.
Sie waren besser darin, die bösen Tweets zu fangen, ohne versehentlich zu viele gute zu markieren.

Warum gewann der Detektiv?

Der Artikel erklärt, dass indonesische Tweets sehr kurz sind und oft auf subtilem Kontext beruhen.

Das Problem: Manchmal sieht ein Tweet harmlos aus, wenn man nur Wörter zählt, ist aber tatsächlich Hassrede, weil wie die Wörter angeordnet sind. Oder ein böses Wort wird so verwendet, dass es nicht hassend ist.
Die Lösung: Der „Auto-Organisator" war gut darin, offensichtliche böse Wörter zu erkennen, verpasste aber die subtile „Stimmung" oder den Kontext. Der „Kontext-Detektiv" war besser darin zu verstehen, dass kurze, chaotische Sätze oft als ganze Geschichte gelesen werden müssen und nicht nur als eine Liste von Teilen.

Der Haken (Die „Overfitting"-Warnung)

Der Artikel bemerkte auch etwas Interessantes über das Training des Detektivs.

Der Detektiv lernte die Trainingsdaten sehr schnell und sehr gut, fast zu gut.
Es ist wie ein Schüler, der den Übungstest perfekt auswendig gelernt hat, aber Schwierigkeiten haben könnte, wenn der echte Test leicht unterschiedliche Fragen enthält. Der Artikel stellt fest, dass das Modell begann, ein wenig zu „overfitten" (das Rauschen auswendig zu lernen).
Das Fazit: Obwohl der Detektiv immer noch der Gewinner war, schlagen die Autoren vor, dass wir in Zukunft den Detektiv lehren müssen, vorsichtiger zu sein und nicht nur auswendig zu lernen, damit er bei neuen, ungesehenen Tweets noch besser abschneidet.

Das Fazit

PyCaret (Der Auto-Organisator) ist großartig, wenn Sie eine schnelle, zuverlässige und leicht verständliche Basislinie wünschen. Es ist eine starke „gut genug"-Lösung.
CNN-BiLSTM (Der Kontext-Detektiv) ist die bessere Wahl, wenn Sie die höchstmögliche Genauigkeit benötigen und bereit sind, sich mit einem komplexeren System auseinanderzusetzen, das die Nuancen kurzer, chaotischer Texte versteht.

Der Artikel kommt zu dem Schluss, dass der „Auto-Organisator" zwar ein fantastisches Werkzeug zum Setzen eines Standards ist, der „Kontext-Detektiv" jedoch derzeit das überlegene Werkzeug für diese spezifische Aufgabe der Erkennung von Hassrede auf indonesischem Twitter ist.

Technische Zusammenfassung: Eine vergleichende Studie von PyCaret AutoML und CNN-BiLSTM zur binären Erkennung von Hassrede auf indonesischem Twitter

Problemstellung
Der Beitrag adressiert die Herausforderung der automatischen Erkennung von Hassrede auf indonesischem Twitter. Die Aufgabe ist durch kurze, verrauschte und informelle Texte gekennzeichnet, bei denen schädliche Absichten oft aus Kontext, Verneinung oder pragmatischer Rahmung resultieren und nicht allein aus expliziten Schimpfwörtern. Die Autoren zielen darauf ab, zu bestimmen, ob ein sequenzbewusster Deep-Learning-Ansatz (CNN-BiLSTM) einen sinnvollen Vorteil gegenüber einer gestärkten konventionellen Machine-Learning-Komponente bietet, wenn beide unter identischen Vorverarbeitungs- und Benchmark-Bedingungen evaluiert werden. Die Studie nutzt die Hassrede-(HS-)Kennzeichnung aus dem Korpus von Ibrohim und Budi [1] und transformiert den multilabel-Datensatz in ein kontrolliertes binäres Klassifikationsproblem (Hassrede vs. Nicht-Hassrede).

Methodik
Die Studie verwendet ein kontrolliertes Benchmark-Design, bei dem sowohl die konventionelle als auch die neuronale Komponente eine identische Vorverarbeitungspipeline teilen, um sicherzustellen, dass Leistungsunterschiede die Modellierungskapazität und nicht Inkonsistenzen in der Datenaufbereitung widerspiegeln.

Daten und Vorverarbeitung:
- Datensatz: Eine Teilmenge von 13.130 Tweets aus dem Korpus von Ibrohim und Budi mit einer Klassenverteilung von etwa 58 % Nicht-Hassrede und 42 % Hassrede.
- Vorverarbeitung: Umfasst Kleinbuchstaben-Konvertierung, Entfernung von URLs/Benutzernamen, Symbolnormalisierung, Slang-Normalisierung unter Verwendung korpusbereitgestellter Zuordnungen und Entfernung von Stoppwörtern.
- Feature-Engineering: Ein gemeinsames Feature „Anzahl beleidigender Wörter" wird aus dem beleidigenden Lexikon des Korpus abgeleitet.
Konventionelle Komponente (PyCaret AutoML):
- Repräsentation: Tweets werden mittels TF-IDF (Unigramme und Bigramme, maximales Vokabular 5.000) vektorisiert und mit der Anzahl beleidigender Wörter verkettet.
- Workflow: PyCaret AutoML wird nicht als einzelner Klassifikator, sondern als Benchmark-Schicht verwendet, um den Vergleich über mehrere Schätzer hinweg zu standardisieren.
- Modelle: Der Workflow bewertet und rangiert lineare SVM, Naive Bayes und Random Forest. Random Forest erweist sich als stärkster konventioneller Kandidat.
Neuronale Komponente (CNN-BiLSTM):
- Architektur: Eine kompakte Architektur, die für kurze Texte entwickelt wurde.
  - Embedding: 100-dimensionale trainierbare Wort-Embeddings.
  - CNN-Schicht: Extrahiert lokale Phrasenmuster (Kernelgröße 3), um beleidigende Fragmente und Verstärker zu erfassen.
  - BiLSTM-Schicht: Kodiert bidirektionalen Kontext, um lokale Hinweise im umgebenden Text zu interpretieren.
  - Ausgabe: Sigmoid-Aktivierung für die binäre Wahrscheinlichkeit.
- Training: Optimiert mit Binary Cross-Entropy-Verlust, unter Verwendung einer Lernrate von $10^{-3}$ , einer Batch-Größe von 64 und einem Dropout von 0,2.

Hauptbeiträge
Der Beitrag leistet vier spezifische Beiträge:

Benchmark-Neuformulierung: Er wandelt den veröffentlichten Multilabel-Korpus in einen kontrollierten binären HS-Benchmark um.
Operationalisierter konventioneller Baseline: Anstatt einer einzelnen schwachen Baseline wird PyCaret AutoML verwendet, um eine starke, systematische konventionelle Benchmark zu etablieren.
Kompakte neuronale Evaluation: Er evaluiert eine maßgeschneiderte CNN-BiLSTM-Architektur speziell für kurze indonesische Kontexttexte.
Umfassende Interpretation: Er analysiert die Ergebnisse anhand von Korpusstatistiken, Lernkurven und Konfusionsmatrizen, um zwischen Repräsentationsqualität und Trainingsstabilität zu unterscheiden.

Ergebnisse
Die Studie vergleicht die Modelle auf einem zurückgehaltenen 20 %-Testsplit (2.626 Tweets).

Leistungsmetriken:
- CNN-BiLSTM: Erzielte 83,8 % Genauigkeit, 79,8 % Präzision, 82,7 % Recall und 81,2 % F1-Score.
- PyCaret-Random Forest (Stärkste konventionelle Komponente): Erzielte 77,2 % Genauigkeit, 75,8 % Präzision, 78,3 % Recall und 77,0 % F1-Score.
- PyCaret-SVM: 72,3 % Genauigkeit (schwächste).
- PyCaret-Naive Bayes: 75,8 % Genauigkeit.
Vergleichsgewinn: Die neuronale Komponente verbesserte die Genauigkeit um 6,6 Prozentpunkte und den F1-Score um 4,2 Prozentpunkte gegenüber dem stärksten konventionellen Modell.
Fehleranalyse:
- Das CNN-BiLSTM zeigte Anzeichen von Overfitting (steigender Validierungsverlust nach frühen Epochen), was darauf hindeutet, dass Gewinne durch Early Stopping und Regularisierung weiter optimiert werden könnten.
- Die Konfusionsmatrix zeigte, dass das Modell etwas aggressiv, aber ausgewogen ist, wobei Fehler sich auf Grenzfälle konzentrieren, die implizite Feindseligkeit oder Gruppenbezüge betreffen, anstatt explizite toxische Token.
- Eine auxiliary-Aufgabe zu „beleidigender Sprache" (breiter gefasst als Hassrede) zeigte stabilere Lernkurven und bestätigte, dass die strikte HS-Erkennung eine schwierigere, kontextabhängigere Grenze darstellt.

Bedeutung und Behauptungen
Der Beitrag schließt mit einer nuancierten Unterscheidung zwischen der Nützlichkeit der beiden Ansätze:

PyCaret AutoML als Framework: Die Studie validiert PyCaret als effektives Framework zur Etablierung starker, reproduzierbarer konventioneller Benchmarks. Sie zeigt, dass selbst mit einer robusten lexikalischen Baseline (TF-IDF + Anzahlen beleidigender Wörter) und AutoML-Optimierung die konventionelle Komponente die Nuancen indonesischer Hassrede nicht vollständig erfassen kann.
CNN-BiLSTM als überlegenes Endmodell: Die Ergebnisse bestätigen, dass für diesen spezifischen Benchmark die CNN-BiLSTM-Architektur einen signifikanten Vorteil bietet. Die Autoren führen dies auf die Fähigkeit des Modells zurück, sowohl lokale lexikalische Muster (via CNN) als auch kurzreichweitige kontextuelle Interaktionen (via BiLSTM) zu erfassen, was für indonesische Tweets entscheidend ist, bei denen die Absicht oft von der Rahmung abhängt.
Praktische Implikationen: Der Beitrag vertritt die Position, dass PyCaret für schnelle Screening-Prozesse, kostengünstige Experimente und reproduzierbare Baseline-Erstellung vorzuziehen ist. Umgekehrt ist CNN-BiLSTM die empfohlene Wahl, wenn das primäre Ziel die Maximierung der prädiktiven Balance an der Hassrede-Grenze ist und die Rechenkosten des Deep Learning akzeptabel sind.

Die Autoren stellen ausdrücklich fest, dass diese Erkenntnisse spezifisch für die Benchmark-Konfiguration (ein Datensatz, eine Vorverarbeitungspipeline, ein Split) sind und keine universelle Überlegenheit für alle Formen von Online-Hassrede beanspruchen. Sie schlagen vor, dass zukünftige Arbeiten reichere AutoML-Suchräume, stärkere Regularisierung und transformer-basierte Modelle wie IndoBERT untersuchen könnten.