💬 NLP

Comparative Analysis of AutoML and BiLSTM Models for Cyberbullying Detection on Indonesian Instagram Comments

Deze studie evalueert en vergelijkt machine learning- en deep learning-modellen voor het detecteren van cyberpesten in Indonesische Instagram-berichten en komt tot de bevinding dat, hoewel BiLSTM met attention-mechanismen de hoogste algehele prestatie behaalt, Logistische Regressie een concurrerend en hulpbronnen-efficiënt alternatief blijft.

Oorspronkelijke auteurs: Raihana Adelia Putri, Aisyah Musfirah, Anggi Puspita Ningrum, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raihana Adelia Putri, Aisyah Musfirah, Anggi Puspita Ningrum, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Instagram voor als een groot, drukke digitaal stadsplein. Hoewel het een plek is om foto's te delen en contact te leggen, heeft het een donkere kant: cyberpesten. Dit is wanneer mensen het internet gebruiken om anderen te harassmenten, te bedreigen of te vernederen. In Indonesië is dit een ernstig probleem dat veel jongeren treft.

Dit artikel is als een detectiverapport dat probeert uit te zoeken wat de beste manier is om een "digitale beveiligingsagent" te bouwen die deze kwade opmerkingen in de Indonesische taal automatisch kan opsporen voordat ze iemand kwetsen.

Hier is het verhaal van hun onderzoek, eenvoudig opgesplitst:

1. De Verdachten (De Data)

De onderzoekers verzamelden een "zoekertje" van 650 Instagram-opmerkingen.

De Bron: Ze kwamen uit de commentaarsecties van beroemde Indonesische artiesten en influencers.
De Mix: De lijst was perfect gebalanceerd: 325 opmerkingen waren gemeen (Pesten) en 325 waren aardig (Niet-pesten).
De Uitdaging: Dit waren geen formele essays. Ze waren rommelig, kort en vol slang, afkortingen en emoji's—precies zoals echte tieners praten.

2. Het Schoonmaakteam (Preprocessing)

Voordat de computers deze opmerkingen konden lezen, moesten ze worden opgeschoond. Stel je voor dat je probeert een boek te lezen dat is geschreven in een taal waarin mensen constant woorden verkeerd spellen of ze uitrekken (zoals "baaaanget" in plaats van "banget").

De onderzoekers bouwden een speciale schoonmaakmachine met zes stappen:

Case Folding: Alles omzetten naar kleine letters (zodat "Hello" en "hello" hetzelfde zijn).
Schoonmaken: Hashtags, links en @vermeldingen verwijderen.
Slang Normalisatie: De slang corrigeren ("bgt" terugzetten naar "banget").
Stopwoordverwijdering: Gewone woorden zoals "en" of "de" weggooien die niet helpen bij het identificeren van pesten.
Stemming: Woorden terugbrengen tot hun stam (van "running" naar "run").
Tokenisatie: De zin opsplitsen in afzonderlijke woordstukjes.

Zonder deze stap zouden de computers in de war raken door de rommelige internetslang.

3. De Deelnemers (De Modellen)

De onderzoekers zetten twee verschillende soorten "detectives" tegen elkaar om te zien wie de pesters het beste kon vangen.

Team A: De Klassieke Detectives (Machine Learning)

Dit zijn de oude, betrouwbare methoden. Ze kijken naar de woorden en tellen hoe vaak specifieke "slechte" woorden voorkomen.

Naive Bayes: Een snelle gokker gebaseerd op waarschijnlijkheid.
Logistische Regressie: Een stabiele rekenaar die een lijn trekt tussen goed en slecht.
SVM (Support Vector Machine): Een scherpe classifier die probeert de perfecte grens tussen de twee groepen te vinden.
Hulpmiddel: Ze gebruikten een methode genaamd TF-IDF, wat als een markeerstift werkt die woorden markeert die uniek en belangrijk zijn voor de zin.

Team B: De Diepe Denkers (Deep Learning)

Dit zijn de geavanceerde AI-detectives die proberen de context en de flow van de zin te begrijpen, niet alleen de woorden.

Bi-LSTM: Een model dat de zin van links naar rechts EN van rechts naar links tegelijk leest, alsof je een boek leest terwijl je ook onthoudt wat je net hebt gelezen.
Bi-LSTM + Attention: Dezelfde model, maar met een "schijnwerper" (Attention-mechanisme). Deze schijnwerper vertelt het model om extra aandacht te besteden aan de meest emotionele of belangrijke woorden in de zin.

4. De Resultaten: Wie won?

De onderzoekers hielden een race om te zien welk model de pestopmerkingen correct kon identificeren.

De Klassieke Winnaar: Onder de oude detectives was Logistische Regressie de kampioen. Het had het ongeveer 85,25% van de tijd goed. Het was snel, efficiënt en had geen supercomputer nodig om te draaien.
De Deep Learning Winnaar: De Bi-LSTM met de "Schijnwerper" (Attention) nam de algehele kroon. Het had het ongeveer 84,62% van de tijd goed.
- Wacht, is dat niet lager? Eigenlijk is het heel dichtbij! De "Schijnwerper" hielp het model de nuance van het pesten beter te begrijpen dan de anderen, zelfs als het ruwe percentage iets lager was dan dat van het beste klassieke model.
- De standaard Bi-LSTM (zonder de schijnwerper) deed het slechter (78,46%), wat bewijst dat de "schijnwerper" cruciaal was.

5. Het Vonnis

Het artikel concludeert met een paar belangrijke lessen:

Deep Learning is de "Slimste": Het model met de "schijnwerper" (Bi-LSTM + Attention) is het beste in het begrijpen van de complexe, rommelige context van Indonesische slang en emotionele aanvallen.
Machine Learning is de "Meest Efficiënte": Als je geen krachtige computer hebt of iets nodig hebt dat zeer snel draait, is de klassieke Logistische Regressie een zeer sterke, praktische keuze. Het presteerde bijna even goed als de complexe AI, maar is veel lichter.
Schoonmaken is Sleutel: De studie benadrukt dat als je de slang niet eerst opschonkt en de typefouten niet corrigeert, zelfs de slimste AI zal falen.

De Beperkingen (De Kleine Lettertjes)

De auteurs zijn eerlijk over de grenzen van hun onderzoek:

Kleine Steekproef: Ze gebruikten slechts 650 opmerkingen. Het is alsof je de smaak van een heel land in muziek beoordeelt op basis van een enquête onder 650 mensen. Een grotere dataset zou de resultaten betrouwbaarder maken.
Specifieke Bron: Alle opmerkingen kwamen van pagina's van beroemde artiesten. Pesten kan er anders uitzien op de pagina van een gewone persoon.
Eenvoudige Labels: Ze labelden opmerkingen alleen als "Pesten" of "Niet Pesten". Ze maakten geen verdere onderverdeling (bijvoorbeeld "Body Shaming" versus "Hate Speech").

Kortom: Om cyberpesters in Indonesische Instagram-opmerkingen te vangen, heb je eerst een goed schoonmaakteam nodig. Vervolgens kun je kiezen tussen een snelle, betrouwbare klassieke detective (Logistische Regressie) of een zeer intelligente, contextbewuste AI met een schijnwerper (Bi-LSTM + Attention), afhankelijk van hoeveel rekenkracht je hebt.

1. Probleemstelling

Cyberpesten op sociale mediaplatforms, met name Instagram, vormt een ernstige bedreiging voor de mentale gezondheid van Indonesische jongeren. Hoewel er geautomatiseerde detectiesystemen bestaan, richt het merendeel van het onderzoek zich op Twitter/X-gegevens. Instagram-berichten stellen unieke uitdagingen vanwege hun informele aard, het zware gebruik van straattaal, emoji's, karakterslanging en gemengde talen. Bovendien ontbreekt het aan vergelijkende studies die de afwegingen evalueren tussen traditionele Machine Learning (ML) -benaderingen en Deep Learning (DL) -architecturen, specifiek voor Indonesisch-talige Instagram-inhoud.

2. Methodologie

Dataset

Bron: 650 Instagram-berichten gescraped van accounts van Indonesische artiesten en influencers.
Structuur: Gebalanceerde dataset voor binaire classificatie met 325 labels "Pesten" en 325 labels "Niet-pesten".
Kenmerken: Informele Indonesische tekst met een gemiddelde lengte van 63 tekens. De dataset is schoon (geen duplicaten/ontbrekende waarden) en dekt diverse linguïstische contexten.

Preprocessing-pijplijn

Een gespecialiseerde pijplijn werd ontwikkeld om om te gaan met Indonesische linguïstische nuances met behulp van specifieke bibliotheken (indoNLP, nlp-id, PySastrawi):

Case Folding: Omzetten naar kleine letters.
Opschonen: Verwijderen van vermeldingen, hashtags, URL's en niet-alphabetische tekens.
Straattaal-normalisatie: Vervangen van straattaal en karakterslanging (bijv. "bgt" $\rightarrow$ "banget").
Stopwoordverwijdering: Elimineren van niet-discriminerende algemene woorden.
Stemming: Woorden reduceren tot wortelvormen op basis van Indonesische morfologie.
Tokenisatie: Tekst opsplitsen in tokens.

Modelbenaderingen

De studie vergeleek twee verschillende modelpaden:

Machine Learning (ML) Pad (AutoML):
- Tools: PyCaret-framework met Grid Search voor hyperparameter-tuning.
- Feature Extractie: TF-IDF (Term Frequency-Inverse Document Frequency).
- Geteste Algoritmen: Naive Bayes, Logistische Regressie en Support Vector Machine (SVM).
- Validatie: 5-voudige Cross-Validatie.
Deep Learning (DL) Pad:
- Tools: PyTorch.
- Architecturen:
  1. Bi-LSTM: Bidirectionele Long Short-Term Memory om sequentiële context vast te leggen.
  2. Bi-LSTM + Bahdanau Attention: Voegt een attentie-mechanisme toe om significante trefwoorden te wegen.
- Configuratie: Batchgrootte 32, Embedding-grootte 128, Adam-optimizer, Cross-Entropy Loss, Early Stopping (patience=3).
- Validatie: Statische 80/10/10-split (Train/Val/Test) met willekeurige seed 42.

3. Belangrijkste Bijdragen

Vergelijkende Analyse: Een directe vergelijking van drie klassieke ML-algoritmen tegen twee DL-architecturen specifiek voor Indonesische Instagram-berichten, waardoor een gat in de literatuur wordt gedicht dat zich vaak op Twitter richt.
Domeinspecifieke Preprocessing: Demonstratie van het kritieke effect van een op maat gemaakte NLP-pijplijn (straattaal-normalisatie en morfologische stemming) op de modelprestaties voor informele Indonesische tekst.
Praktisch Kader: Identificatie van het optimale model voor verschillende implementatiescenario's (hoge nauwkeurigheid versus resource-beperkingen), waardoor een fundament wordt gelegd voor geautomatiseerde inhoudsmoderatiesystemen in Indonesië.

4. Experimentele Resultaten

Machine Learning Prestaties:

Logistische Regressie bleek de best presterende ML-model.
- Nauwkeurigheid: 85,25%
- F1-Score: 85,22%
SVM volgde met 82,61% nauwkeurigheid.
Naive Bayes scoorde het laagst met 77,99% nauwkeurigheid.

Deep Learning Prestaties:

Bi-LSTM + Attention behaalde de hoogste algehele prestatie.
- Nauwkeurigheid: 84,62%
- F1-Macro: 84,58%
Standaard Bi-LSTM bleef achter met 78,46% nauwkeurigheid, wat de significante boost (ongeveer 6%) aangeeft die door het attentie-mechanisme wordt geboden.

Vergelijkend Inzicht:

Nauwkeurigheid: Logistische Regressie (ML) presteerde licht beter dan Bi-LSTM+Attention (DL) met 0,63 procentpunten.
Contextueel Begrip: Hoewel ML-modellen zeer concurrerend waren, toonden DL-modellen een superieur vermogen om complexe sequentiële afhankelijkheden en emotionele context vast te leggen, zoals blijkt uit de significante prestatieverbetering bij het toevoegen van het Attention-mechanisme.
Efficiëntie: ML-modellen boden snellere trainingstijden en lagere rekenvereisten, waardoor ze levensvatbaar zijn voor omgevingen met beperkte middelen.

5. Betekenis en Conclusie

Modelselectie: Voor hoge nauwkeurigheidsvereisten waar rekenkracht beschikbaar is, is Bi-LSTM met Attention de aanbevolen aanpak. Echter, voor lichtgewicht, snelle implementatie biedt Logistische Regressie vergelijkbare prestaties met aanzienlijk minder overhead.
Belang van Preprocessing: De studie bevestigt dat domeinspecifieke preprocessing (straattaal-normalisatie en stemming) niet optioneel is, maar essentieel voor het behalen van hoge prestaties op informele Indonesische sociale mediagegevens.
Beperkingen & Toekomstig Werk: De studie wordt beperkt door een relatief kleine dataset (650 samples) en een binaire labelstructuur die geen genuanceerde categorieën vastlegt (bijv. body shaming versus haatzaaiende taal). Toekomstig onderzoek zou grotere datasets moeten gebruiken en Transformer-gebaseerde modellen (bijv. BERT-varianten) moeten verkennen om de detectiemogelijkheden verder te verbeteren.

Conclusie: Het artikel stelt vast dat hoewel Deep Learning-modellen met attentie-mechanismen theoretisch superieur zijn voor contextueel begrip, traditionele Machine Learning-modellen zeer effectief en concurrerend blijven voor cyberpestdetectie op Indonesische sociale media, mits er een strenge, taalspecifieke preprocessing wordt toegepast.