💬 NLP

Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

Deze studie evalueert het sentiment van Indonesische studenten ten aanzien van de adoptie van AI in het hoger onderwijs door traditionele machine learning-modellen te vergelijken met de Transformer-gebaseerde DistilBERT, en komt tot de bevinding dat DistilBERT weliswaar een superieure nauwkeurigheid (84,78%) bereikt door context beter te vatten, maar dat SVM een concurrerend en efficiënt alternatief blijft met een nauwkeurigheid van 82,14%.

Oorspronkelijke auteurs: Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke universiteitscampus in Indonesië voor, waar studenten volop discussiëren over een nieuw, krachtig hulpmiddel: Artificial Intelligence (AI). Sommigen zien het als een toverstaf voor leren; anderen maken zich zorgen dat het een cheat sheet wordt die hun kritisch denken zal ondermijnen. De onderzoekers in dit artikel wilden naar deze "buzz" luisteren en precies achterhalen wat de studenten voelen. Ze vroegen het niet aan een paar mensen; ze verzamelden meer dan 2.000 geschreven meningen en gebruikten twee verschillende soorten "digitale oren" om ze te beluisteren en in te delen als Blij/Ondersteunend of Bezorgd/Negatief.

Hier is hoe ze dat deden, eenvoudig uitgelegd:

De twee "digitale oren" (De methoden)

De onderzoekers testten twee verschillende manieren om deze studentenmeningen te begrijpen, vergelijkbaar met het vergelijken van een snelle, efficiënte bibliothecaris met een diepdenkende professor.

1. De snelle bibliothecaris (Machine Learning met SVM)

Hoe het werkt: Deze methode gebruikt een techniek genaamd TF-IDF. Stel je voor dat je elk woord dat een student schrijft, telt en noteert hoe vaak het voorkomt. Als een student schrijft "AI is geweldig", merkt het systeem op dat "geweldig" een sterk woord voor hen is. Het behandelt de tekst als een zak met woorden, op zoek naar specifieke sleutelwoorden die geluk of bezorgdheid signaleren.
Het hulpmiddel: Ze gebruikten een model genaamd SVM (Support Vector Machine). Denk aan SVM als een zeer scherpe, efficiënte sorteerder. Het trekt een lijn in het zand om "Positieve" woorden van "Negatieve" woorden te scheiden. Het is snel, vereist weinig rekenkracht en is uitstekend in het opsporen van patronen in simpele woordlijsten.
Het resultaat: Deze "Bibliothecaris" was zeer goed! Het had ongeveer 82% van de meningen correct. Het was de beste van de traditionele methoden, wat bewijst dat je soms geen supercomputer nodig hebt om een goede inschatting te maken van een menigte.

2. De diepdenkende professor (Transformer met DistilBERT)

Hoe het werkt: Deze methode gebruikt DistilBERT, een type AI gebaseerd op "Transformers". In tegenstelling tot de bibliothecaris die alleen woorden telt, leest de professor de hele zin en begrijpt de context. Het weet dat "AI is niet geweldig" heel anders is dan "AI is geweldig", zelfs al delen ze dezelfde woorden. Het begrijpt de nuance, de toon en de verborgen betekenis.
Het hulpmiddel: DistilBERT is een "lite"-versie van een enorm AI-brein. Het is als een professor die het hele internet heeft gelezen, maar klein genoeg is om op een standaardlaptop te passen.
Het resultaat: Deze "Professor" was de kampioen, met ongeveer 85% van de meningen correct. Het was iets beter dan de bibliothecaris omdat het de gevoelens achter de woorden begreep, niet alleen de woorden zelf.

De experimentopzet

De data: Ze verzamelden 2.295 studentencommentaren. Het was een eerlijke strijd: ongeveer de helft van de studenten was negatief (bezorgd over bedrog of het verliezen van vaardigheden), en de helft was positief (enthousiast over leerefficiëntie).
De test: Ze splitsten de data in drie stapels:
- Training (80%): De modellen leren.
- Validatie (10%): Hun huiswerk controleren.
- Testen (10%): Het eindexamen om te zien wie er echt heeft geleerd.

De showdown: Wie won?

De deelnemer	De stijl	Eindcijfer (Nauwkeurigheid)	Snelheid
LightGBM	De sprinter	~50% (Miste de treffer)	Super snel
Random Forest	De teamspeler	~59% (Oké, maar niet geweldig)	Snel
SVM	De efficiënte bibliothecaris	82,14%	Snel
DistilBERT	De diepe professor	84,78%	Langzamer (duurt minuten om te trainen)

De winnaar: DistilBERT pakte de gouden medaille met de hoogste nauwkeurigheid. Het bewees dat het begrijpen van de context van een zin je een betere inschatting geeft van menselijke emotie.
De nummer twee: SVM eindigde tweede. Hoewel het niet won, merkt het artikel op dat het nog steeds een "sterk, goedkoop alternatief" is. Als je een snel antwoord nodig hebt en geen supercomputer hebt, is de bibliothecaris (SVM) nog steeds een zeer betrouwbare keuze.

De les

Het artikel concludeert dat terwijl de "diepe professor" (DistilBERT) het meest accuraat is in het begrijpen van hoe Indonesische studenten denken over AI op hun scholen, de "efficiënte bibliothecaris" (SVM) nog steeds een zeer krachtig hulpmiddel is dat veel sneller en goedkoper te draaien is.

Tot slot stopten de onderzoekers niet alleen bij de cijfers. Ze bouwden een live web-app (met behulp van een tool genaamd Gradio) waar iedereen een zin kan typen, en het systeem zal hen direct vertellen of de sentiment positief of negatief is, compleet met een betrouwbaarheidsscore. Het is als een digitale moodring voor studentenmeningen.

Kortom: Om studentengevoelens over AI te begrijpen, kun je een snelle, op trefwoorden gebaseerde sorteerder (SVM) gebruiken of een slimme, contextbewuste lezer (DistilBERT). De slimme lezer wint qua nauwkeurigheid, maar de snelle sorteerder is nog steeds een zeer nuttig hulpmiddel.

1. Probleemstelling

De snelle adoptie van Kunstmatige Intelligentie (AI) in het Indonesisch hoger onderwijs heeft een complexe mix van studentenmeningen opgeleverd, variërend van steun voor leerefficiëntie tot zorgen over academische integriteit, overmatige afhankelijkheid en de erosie van kritische denkvaardigheden.

De Kloof: Hoewel sentimentanalyse een standaardinstrument is voor het meten van publieke opinie, ontbreken vergelijkende studies die de effectiviteit van klassiek machine learning (ML) versus transformer-gebaseerd deep learning specifiek evalueren voor Indonesische tekst in de context van AI-adoptie in het onderwijs.
Het Doel: Systematisch studentenmeningen over AI in Indonesië analyseren en bepalen welke modelleringbenadering (ML op basis van TF-IDF versus DL op basis van Transformers) superieure prestaties biedt voor binaire sentimentclassificatie (Positief versus Negatief) in dit specifieke domein.

2. Methodologie

A. Datasetconstructie

Bron: Het onderzoek gebruikte een hybride dataset die 1.154 ruwe studentenmeningen over AI in het hoger onderwijs combineerde met 1.141 steekproeven uit een positief/negatief lexicaal woordenboek.
Totale Grootte: 2.295 gelabelde steekproeven.
Klasseverdeling: De dataset is bijna evenwichtig:
- Negatief: 1.158 steekproeven (50,46%)
- Positief: 1.137 steekproeven (49,54%)
Preprocessing: Tekstopruiming omvatte het omzetten naar kleine letters, verwijderen van URL's/vermeldingen/hashtags leestekens, normaliseren van niet-standaard woorden en het behandelen van herhaalde karakters.

B. Experimentele Werkwijze

De data werd opgesplitst in een 80:10:10-verhouding voor Trainings-, Validatie- en Testsets. Twee distincte pijplijnen werden geïmplementeerd:

1. Machine Learning-pijplijn (Basislijn)

Feature-extractie: Tekst werd omgezet in TF-IDF-vectoren met behulp van unigrammen en bigrammen.
Geëvalueerde Modellen:
- LightGBM: Een boosting-ensemble (geconfigureerd met n_estimators=100, max_depth=10).
- Random Forest: Een parallel ensemble (geconfigureerd met n_estimators=100, max_depth=20).
- Support Vector Machine (SVM): Een kernel-gebaseerde classifier die een RBF-kernel gebruikt (C=1.0).
Selectie: Modellen werden geselecteerd op basis van validatie-accuratesse, waarbij SVM werd gekozen als de beste ML-representant voor de uiteindelijke vergelijking.

2. Deep Learning-pijplijn (Transformer)

Model: DistilBERT (distilbert-base-uncased), een lichtgewicht, gedistilleerde versie van BERT die is ontworpen om prestaties te behouden terwijl de rekenkosten worden verlaagd.
Architectuur: Zes-laags encoder met zelf-attentie-mechanismen.
Configuratie:
- Maximaal sequentielengte: 128 tokens.
- Batchgrootte: 64.
- Optimizer: AdamW met een leersnelheid van $1 \times 10^{-6}$ .
- Regularisatie: Dropout (0,5), Weight Decay (0,001).
- Training: 100 epochen met Early Stopping (patience=5) gebaseerd op de Validatie F1-score.

C. Evaluatiemetrics

Prestaties werden beoordeeld aan de hand van Accuratesse, Precisie, Recall en F1-score.

3. Belangrijkste Resultaten

A. Prestaties van Machine Learning

LightGBM: Presteerde slecht (Test Accuratesse: 49,67%, F1: 48,46%), wat aangeeft dat het moeite heeft met spaarzame, hoogdimensionale TF-IDF-features in deze context.
Random Forest: Toonde matige verbetering (Test Accuratesse: 58,61%, F1: 56,48%) maar bleef inferieur aan SVM.
SVM: Kwam naar voren als het beste klassieke ML-model.
- Validatie Accuratesse: 87,25%
- Test Accuratesse: 82,14%
- Test F1-Score: 82,14%
- Observatie: SVM toonde robuustheid in het verwerken van hoogdimensionale tekstdata, waarbij 377 van de 459 teststeekproeven correct werden geclassificeerd.

B. Prestaties van Transformer (DistilBERT)

Test Accuratesse: 84,78%
Test F1-Score: 84,75% (Gewogen)
Klasse-indeling:
- Negatieve Klasse F1: 0,8548
- Positieve Klasse F1: 0,8402
Observatie: DistilBERT vertoonde een lichte bias naar een hogere recall op negatieve steekproeven, maar behield een gebalanceerde precisie over de klassen heen. De trainingsfout (0,28) en validatiefout (0,36) wezen op goede generalisatie zonder ernstig overfitting.

C. Comparatieve Analyse

Prestatiekloof: DistilBERT presteerde beter dan het beste ML-model (SVM) met 2,64% in accuratesse en 2,61% in F1-score.
Efficiëntie-afweging:
- SVM: Extreem snelle trainingstijd (0,210s).
- DistilBERT: Beduidend langere trainingstijd (22,8 minuten) vanwege GPU-intensieve verwerking.
Conclusie over Modellen: Hoewel Transformers rijkere semantische context vangen wat leidt tot hogere accuratesse, blijft SVM een zeer concurrerend, laagkostenalternatief voor efficiënte sentimentclassificatie.

4. Belangrijkste Bijdragen

Contextspecifieke Analyse: Biedt empirisch bewijs over hoe Indonesische universiteitsstudenten AI-adoptie waarnemen, waardoor een gat in de lokale NLP-literatuur wordt gedicht.
Methodologische Vergelijking: Biedt een rigoureuze benchmark die traditionele TF-IDF/SVM-benaderingen vergelijkt met moderne transformer-gebaseerde (DistilBERT) modellen voor Indonesische onderwijstekst.
Datasetcreatie: Gecureerde en verwerkte een evenwichtige dataset van 2.295 Indonesische steekproeven die specifiek gericht is op AI in het hoger onderwijs.
Praktische Implementatie: Het best presterende model (DistilBERT) werd geïmplementeerd als een interactieve webapplicatie met behulp van Gradio en Hugging Face Spaces, waardoor real-time sentimentvoorspelling met betrouwbaarheidsscores mogelijk is.

5. Betekenis en Toekomstig Werk

Betekenis: Het onderzoek valideert dat hoewel deep learning-modellen (Transformers) superieure accuratesse bieden door context te begrijpen, klassieke modellen zoals SVM nog steeds levensvatbaar zijn voor omgevingen met beperkte middelen. Dit helpt onderwijsinstellingen bij het kiezen van passende tools voor beleidsvorming op basis van studentenfeedback.
Toekomstige Richtingen:
- Uitbreiding van de datasetgrootte.
- Invoering van een neutrale klasse voor drie-weg classificatie.
- Gebruik van specifiek voor het Indonesisch voorgetrainde modellen (bijv. IndoBERT) in plaats van het Engels-gecentreerde distilbert-base-uncased.
- Uitvoeren van aspect-gebaseerde sentimentanalyse om specifieke zorgen te identificeren (bijv. integriteit versus leerefficiëntie) in plaats van alleen algemene polariteit.