💬 NLP

A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

Deze studie toont aan dat een CNN-BiLSTM-model de beste conventionele classifier van PyCaret AutoML (Random Forest) overtreft bij het detecteren van binair haatzaaiende taal op Indonesisch Twitter, met een 6,6% hogere nauwkeurigheid en een 4,2% hogere F1-score, door effectief gebruik te maken van dichte tokenrepresentaties en bidirectionele context.

Oorspronkelijke auteurs: Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Gepubliceerd 2026-05-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert aan te leren om "giftige" tweets op Indonesisch Twitter te herkennen. Het doel is om uit te vinden of een kort bericht haatzaaiende taal (slecht) is of gewoon normale taal (goed).

Dit artikel is als een race tussen twee verschillende trainers die proberen een student voor te bereiden op deze test.

De Twee Trainers

Trainer 1: De "Auto-Organisator" (PyCaret)
Zie deze trainer als een super-efficiënte projectmanager. Ze bedenkt geen nieuwe denkwijzen; in plaats daarvan pakt ze een gereedschapskist met klassieke, bewezen methoden (zoals het tellen van specifieke slechte woorden of het kijken naar woordfrequentie) en probeert ze snel tientallen verschillende strategieën om te zien welke het beste werkt.

Hoe ze werken: Ze kijken naar de tekst als een lijst met ingrediënten. Als de tweet een bekend "slecht woord" uit een woordenlijst bevat, of als bepaalde woorden vaak samen voorkomen, markeren ze het.
Het Resultaat: Deze trainer vond dat een methode genaamd Random Forest (wat vergelijkbaar is met het vragen aan een comité van besluitvormers om te stemmen of een tweet slecht is) de beste van de groep was. Ze behaalden ongeveer 77% nauwkeurigheid.

Trainer 2: De "Context-Detective" (CNN-BiLSTM)
Deze trainer is een expert in deep learning. In plaats van alleen woorden te tellen, leren ze de computer om de tweet te "lezen" zoals een mens dat doet, met aandacht voor de volgorde van woorden en hoe ze hun betekenis veranderen afhankelijk van wat er voor of na hen komt.

Hoe ze werken: Stel je een zin voor als een puzzel. Het "CNN"-deel zoekt naar kleine, lokale patronen (zoals een specifieke boze uitdrukking), terwijl het "BiLSTM"-deel de hele zin van links naar rechts en van rechts naar links bekijkt om de context te begrijpen. Bijvoorbeeld: het helpt de computer te begrijpen dat een woord in de ene zin slecht kan zijn, maar in een andere zin onschadelijk, vanwege een "niet" of een grapje in de buurt.
Het Resultaat: Deze trainer bouwde een model dat 83,8% nauwkeurigheid behaalde.

De Racevoorwaarden

Om het een eerlijke race te maken, zorgden de auteurs ervoor dat beide trainers precies met dezelfde ingrediënten begonnen:

Zelfde Data: Ze gebruikten dezelfde 13.000+ tweets uit een beroemd Indonesisch dataset.
Zelfde Opschoning: Beide trainers maakten de tweets op dezelfde manier schoon (verwijderen van links, oplossen van straattaal, omzetten naar kleine letters).
Zelfde Doel: Beide probeerden exact hetzelfde binaire probleem op te lossen: Is dit haatzaaiende taal (Ja/Nee)?

De Winnaar

De Context-Detective (CNN-BiLSTM) won de race.

Ze waren 6,6% nauwkeuriger dan de beste Auto-Organisator.
Ze waren beter in het opvangen van de slechte tweets zonder per ongeluk te veel goede tweets te markeren.

Waarom Won de Detective?

Het artikel legt uit dat Indonesische tweets erg kort zijn en vaak vertrouwen op subtiele context.

Het Probleem: Soms lijkt een tweet onschadelijk als je alleen woorden telt, maar is het eigenlijk haatzaaiende taal vanwege hoe de woorden zijn gerangschikt. Of, een slecht woord wordt op een manier gebruikt die niet haatdragend is.
De Oplossing: De "Auto-Organisator" was goed in het opsporen van voor de hand liggende slechte woorden, maar miste de subtiele "sfeer" of context. De "Context-Detective" was beter in het begrijpen dat korte, rommelige zinnen vaak als een heel verhaal moeten worden gelezen, niet alleen als een lijst met onderdelen.

De Vangst (De "Overfitting"-Waarschuwing)

Het artikel merkte ook iets interessants op over de training van de Detective.

De Detective leerde de trainingsdata zeer snel en zeer goed, bijna te goed.
Het is als een student die de oefentoets perfect uit het hoofd heeft geleerd, maar misschien moeite zal hebben als de echte toets iets andere vragen bevat. Het artikel merkt op dat het model begon te "overfitten" (het ruis uit het hoofd te leren) een beetje.
De Conclusie: Hoewel de Detective nog steeds de winnaar was, suggereren de auteurs dat we in de toekomst de Detective moeten leren om voorzichtiger te zijn en niet alleen uit het hoofd te leren, zodat het nog beter presteert op nieuwe, onbekende tweets.

Het Oordeel

PyCaret (De Auto-Organisator) is geweldig als je een snelle, betrouwbare en makkelijk te begrijpen basislijn wilt. Het is een sterke "goed genoeg" oplossing.
CNN-BiLSTM (De Context-Detective) is de betere keuze als je de hoogst mogelijke nauwkeurigheid nodig hebt en bereid bent om te werken met een complexer systeem dat de nuance van korte, rommelige tekst begrijpt.

Het artikel concludeert dat terwijl de "Auto-Organisator" een fantastisch hulpmiddel is om een standaard te stellen, de "Context-Detective" momenteel het superieure hulpmiddel is voor deze specifieke taak van het detecteren van haatzaaiende taal op Indonesisch Twitter.

Technische Samenvatting: Een Comparatieve Studie van PyCaret AutoML en CNN-BiLSTM voor Binaire Detectie van Haatpraat op Indonesisch Twitter

Probleemstelling
Het artikel behandelt de uitdaging van automatische detectie van haatpraat op Indonesisch Twitter. De taak wordt gekenmerkt door korte, ruwe en informele teksten waarbij schadelijke intentie vaak voortkomt uit context, ontkenning of pragmatische framing, en niet alleen uit expliciete scheldwoorden. De auteurs beogen na te gaan of een sequentiebewuste deep learning-aanpak (CNN-BiLSTM) een betekenisvol voordeel biedt ten opzichte van een versterkte conventionele machine learning-tak, wanneer beide worden geëvalueerd onder identieke voorbewerkings- en benchmarkomstandigheden. De studie maakt gebruik van het haatpraat-label (HS) uit het corpus van Ibrohim en Budi [1], waarbij het multi-label dataset wordt omgevormd tot een gecontroleerd binaire classificatieprobleem (Haatpraat versus Geen Haatpraat).

Methodologie
De studie hanteert een gecontroleerd benchmarkontwerp waarbij zowel de conventionele als de neurale tak een identieke voorbewerkingspijplijn delen om te waarborgen dat prestatieverschillen de modelcapaciteit weerspiegelen en niet inconsistenties in de data-voorbereiding.

Data en Voorbewerking:
- Dataset: Een subset van 13.130 tweets uit het corpus van Ibrohim en Budi, met een klassenverdeling van ongeveer 58% geen haatpraat en 42% haatpraat.
- Voorbewerking: Omvat het omzetten naar kleine letters, verwijderen van URL's/gebruikersnamen, normalisatie van symbolen, normalisatie van slang met behulp van corpus-biedte mapping, en het verwijderen van stopwoorden.
- Feature Engineering: Een gedeelde "aantal beledigende woorden"-feature wordt afgeleid uit het beledigende lexicon van het corpus.
Conventionele Tak (PyCaret AutoML):
- Representatie: Tweets worden vectoriseerd met TF-IDF (unigrammen en bigrammen, maximaal vocabulaire 5.000) gecombineerd met het aantal beledigende woorden.
- Werkwijze: PyCaret AutoML wordt niet gebruikt als een enkele classifier, maar als een benchmarklaag om de vergelijking te standaardiseren over meerdere schatters.
- Modellen: De workflow evalueert en rangschikt lineaire SVM, Naive Bayes en Random Forest. Random Forest komt naar voren als de sterkste conventionele kandidaat.
Neurale Tak (CNN-BiLSTM):
- Architectuur: Een compacte architectuur ontworpen voor korte teksten.
  - Embedding: 100-dimensionale trainbare woordembeddings.
  - CNN-laag: Extrahert lokale zinspatronen (kerngrootte 3) om beledigende fragmenten en intensiveringen vast te leggen.
  - BiLSTM-laag: Codeert bidirectionele context om lokale aanwijzingen binnen de omringende tekst te interpreteren.
  - Output: Sigmoid-activering voor binaire waarschijnlijkheid.
- Training: Geoptimaliseerd met binary cross-entropy-verlies, met een leersnelheid van $10^{-3}$ , een batchgrootte van 64 en een dropout van 0,2.

Belangrijkste Bijdragen
Het artikel levert vier specifieke bijdragen:

Benchmarkherformulering: Het converteert het vrijgegeven multi-label corpus naar een gecontroleerde binaire HS-benchmark.
Geoperationaliseerde Conventionele Baseline: In plaats van een enkele zwakke baseline, gebruikt het PyCaret AutoML om een sterke, systematische conventionele benchmark te vestigen.
Compacte Neuronale Evaluatie: Het evalueert een op maat gemaakte CNN-BiLSTM-architectuur specifiek voor korte Indonesische contextuele teksten.
Uitgebreide Interpretatie: Het analyseert de resultaten aan de hand van corpusstatistieken, leercursven en confusiematrices om onderscheid te maken tussen representatiekwaliteit en trainingsstabiliteit.

Resultaten
De studie vergelijkt de modellen op een vastgehouden 20% testsplit (2.626 tweets).

Prestatiemetingen:
- CNN-BiLSTM: Bereikte 83,8% Nauwkeurigheid, 79,8% Precisie, 82,7% Recall en 81,2% F1-score.
- PyCaret-Random Forest (Sterkste Conventionele): Bereikte 77,2% Nauwkeurigheid, 75,8% Precisie, 78,3% Recall en 77,0% F1-score.
- PyCaret-SVM: 72,3% Nauwkeurigheid (zwakste).
- PyCaret-Naive Bayes: 75,8% Nauwkeurigheid.
Comparatieve Winst: De neurale tak verbeterde de nauwkeurigheid met 6,6 procentpunten en de F1-score met 4,2 procentpunten ten opzichte van het sterkste conventionele model.
Foutanalyse:
- De CNN-BiLSTM vertoonde tekenen van overfitting (valideringsverlies dat na vroege epochen steeg), wat suggereert dat winsten verder kunnen worden geoptimaliseerd via early stopping en regularisatie.
- De confusiematrix gaf aan dat het model enigszins agressief maar gebalanceerd is, met fouten geconcentreerd op grensgevallen die betrekking hebben op geïmpliceerde vijandigheid of groepsreferenties in plaats van expliciete giftige tokens.
- Een aanvullende taak op "beledigende taal" (breder dan haatpraat) toonde stabielere leercursven, wat bevestigt dat strikte HS-detectie een moeilijkere, meer contextafhankelijke grens is.

Betekenis en Claims
Het artikel sluit af met een genuanceerd onderscheid tussen de bruikbaarheid van de twee benaderingen:

PyCaret AutoML als Kader: De studie valideert PyCaret als een effectief kader voor het vestigen van sterke, reproduceerbare conventionele benchmarks. Het demonstreert dat zelfs met een robuuste lexicaal baseline (TF-IDF + aantallen beledigende woorden) en AutoML-optimalisatie, de conventionele tak de nuances van Indonesische haatpraat niet volledig kan vangen.
CNN-BiLSTM als Superieur Eindmodel: De resultaten bevestigen dat voor deze specifieke benchmark de CNN-BiLSTM-architectuur een significant voordeel biedt. De auteurs schrijven dit toe aan het vermogen van het model om zowel lokale lexicaal patronen (via CNN) als korte-range contextuele interacties (via BiLSTM) vast te leggen, wat cruciaal is voor Indonesische tweets waar intentie vaak afhankelijk is van framing.
Praktische Implicaties: Het artikel stelt dat PyCaret de voorkeur verdient voor snelle screening, goedkope experimenten en reproduceerbare baselines. Daarentegen is CNN-BiLSTM de aanbevolen keuze wanneer het primaire doel het maximaliseren van de voorspellende balans op de haatpraatgrens is en wanneer de computatiekosten van deep learning acceptabel zijn.

De auteurs stellen expliciet dat deze bevindingen specifiek zijn voor de benchmarkconfiguratie (één dataset, één voorbewerkingspijplijn, één split) en geen universele superioriteit claimen voor alle vormen van online haatpraat. Zij suggereren dat toekomstig werk rijkere AutoML-zoekruimtes, sterkere regularisatie en op transformers gebaseerde modellen zoals IndoBERT kan verkennen.