A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis

Technische Samenvatting: Een Gecontroleerde Synthetische Benchmark voor Aspect-gebaseerde Sentimentanalyse in het Onderwijs

Probleemstelling
Aspect-gebaseerde Sentimentanalyse (ABSA) in het onderwijs biedt een weg om ruwe studentenfeedback om te zetten in bruikbare inzichten met betrekking tot cursusontwerp, instructiehelderheid en leeromgevingen. De ontwikkeling van robuuste ABSA-modellen wordt echter ernstig belemmerd door het gebrek aan publieke, aspect-gelabelde datasets. Echte studentenfeedback is vaak privé, instellingsspecifiek en kostbaar om te annoteren vanwege de complexiteit van het identificeren van impliciete aspecten, gemengde sentimenten en domeinspecifieke pedagogische terminologie. Bestaande bronnen voor tekstmining in het onderwijs zijn vaak te klein, niet geharmoniseerd of beperkt tot grove tevredenheidssignalen in plaats van fijnmazige pedagogische dimensies.

Methodologie
De studie adresseert dit tekort aan data door een gecontroleerde pipeline voor synthetische datageneratie te introduceren, gekoppeld aan een rigoureus benchmark-evaluatiekader.

1. Protocol voor Synthetische Datageneratie:

   • Schema: Het corpus is gebaseerd op een pedagogisch schema van 20 aspecten, gecategoriseerd in vijf blokken: instructiekwaliteit, beoordeling en cursusbeheer, leereis en bereidheid, leeromgeving, en betrokkenheid en waarde.
   • Gecontroleerde Scheiding: Het generatieproces ontkoppelt toezichtstargets (1–3 aspect-sentimentparen, bemonsterd uit het 20-aspectenbestand) van nuance-attributes (contextvariabelen zoals cursusniveau, studentenachtergrond, schrijfstijl en realiteitscontroles).
   • Prompt Engineering: Een realiteitsbeperkende instructie voegt deze bemonsterde targets en attributen samen. De prompt wordt verfijnd via een driecyclische "rechter-bewerker"-procedure waarbij een menselijke rechter probeert synthetische reviews te onderscheiden van echte publieke OMSCS-reviews. Gedetecteerde synthetische aanwijzingen (bijv. overmatig gebalanceerde afwegingen, checklist-dekkingsgraad) worden gebruikt om de prompt iteratief te stabiliseren.
   • Corpusconstructie: Het uiteindelijke dataset bestaat uit 10.000 synthetische cursusrreviews met expliciete train/validatie/test-splits (8.000/1.000/1.000). De generatie maakt gebruik van een vast sjabloon met variatie per rij om diversiteit in cursuscontexten en retorische stijlen te waarborgen, terwijl de labeltrouw behouden blijft.

2. Benchmark-evaluatiepipeline:

   • Taakformulering: De primaire taak is gedefinieerd als een tweestaps ABSA-probleem: (1) multi-label aspectdetectie en (2) sentimentvoorspelling voor gedetecteerde aspecten.
   • Modelfamilies: De benchmark evalueert verschillende benaderingen onder een strikte, gedeelde split:
     • Klassieke Basismodellen: TF-IDF met tweestapsdetectie en sentimentregressie.
     • Transformer-encoders: Tweestapsmodellen (detectie + sentiment) en gezamenlijke voorspellingsmodellen met BERT, DistilBERT, ALBERT en RoBERTa.
     • GPT-gebaseerde Inferentie: Zero-shot en few-shot prompting (vast, divers en op basis van retrieval) met GPT-5.2, geëvalueerd via batch-inferentie zonder fine-tuning.
   • Metingen: De evaluatie richt zich op micro-F1 voor aspectdetectie, sentiment Mean Squared Error (MSE) op gedetecteerde aspecten, en complementaire diagnostieken zoals gebalanceerde nauwkeurigheid en de Matthews-correlatiecoëfficiënt om rekening te houden met labelsparsiteit.

3. Validatiestrategieën:

   • Realiteitsvalidatie: Een rechter-bewerkerlus met 32 echte OMSCS-reviews om de detecteerbaarheid van synthetische data te beoordelen en te verminderen.
   • Externe Transfer: Een conservatieve evaluatie op 2.829 gemapte studentenfeedbackreviews van Herath et al., beperkt tot een overlap van 9 aspecten met het synthetische schema om synthetisch-naar-echt transfer te testen.
   • Trouw-Audit: Een model-ondersteunde audit (met GPT-5.2) om te verifiëren of gedeclareerde aspect-sentimenten zichtbaar worden ondersteund in de gegenereerde tekst.

Belangrijkste Bijdragen

• Onderwijsbenchmarkresource: Een synthetisch corpus van 10.000 reviews met een pedagogisch schema van 20 aspecten, aanzienlijk rijker dan typische publieke onderwijs-sentimentbronnen.
• Ontwerp voor Gecontroleerde Generatie: Een methodologie die toezichtstargets scheidt van contextuele nuance, waardoor dezelfde aspectlabels kunnen voorkomen in uiteenlopende studentenpersona's en cursuscontexten zonder te vervallen in repetitieve promptpatronen.
• Reproduceerbare Benchmarksetting: Een gedocumenteerd train-validatie-testprotocol dat directe vergelijking mogelijk maakt tussen lokale supervised modellen en generatieve basismodellen op het moment van inferentie.
• Initiële Externe Relevantie: Bewijs van gedeeltelijke synthetisch-naar-echt transfer op een gemapte real-world dataset, samen met diagnostiek die de grenzen van labeltrouw verduidelijkt.

Resultaten

• Interne Benchmarkprestaties: De taak is niet triviaal. Het sterkste ongetuneerde lokale model, bert-base-uncased, behaalde een vastgehouden micro-F1 van 0,2760 voor aspectdetectie. Een bescheiden aanpassing van het trainingschema (lagere leersnelheid, meer epochs) verbeterde dit tot 0,2930. Gezamenlijke encoders en TF-IDF-basismodellen scoorden lager, terwijl ALBERT en RoBERTa neigden naar hoge recall maar slechte precisie.
• GPT-gebaseerde Inferentie: Batch-inferentie met GPT-5.2 in zero-shot-modus behaalde een micro-F1 van 0,2519, wat beter presteerde dan TF-IDF en gezamenlijke encoders, maar onderbleef bij de sterkste fine-tuned tweestaps transformers. Retrieval-gebaseerde few-shot prompting leverde vergelijkbare resultaten op (0,2501).
• Externe Transfer: Op het gemapte Herath-dataset (9-aspecten overlap) behaalde bert-base-uncased een micro-F1 van 0,4593. Deze prestatie was hoger dan de interne scores, waarschijnlijk vanwege de verminderde aspectcomplexiteit en de dominantie van het lecturer_quality-signaal in de echte data.
• Generator-diagnostiek:
  • Realiteit: De rechter-bewerkerprocedure slaagde erin synthetische aanwijzingen te verminderen, waarbij de nauwkeurigheid van de rechter in de laatste cyclus daalde tot willekeurig niveau (0,4333), hoewel statistische equivalentie met echte reviews niet definitief werd vastgesteld.
  • Trouw: Hoewel 77% van de gedeclareerde aspecten tekstueel werd ondersteund, waren de mate van overeenstemming van sentimentpolariteit lager (42,3% op aspectniveau, 21,2% op het niveau van de volledige review), wat aangeeft dat het corpus een nuttige maar ruwe resource is in plaats van een gouden standaard.

Betekenis en Claims
Het artikel claimt dat gecontroleerde synthetische supervisie een productieve aanpak is voor het bestuderen van onderwijs-ABSA in domeinen met een tekort aan data. Het claimt niet menselijke annotatie te vervangen of een perfecte gouden standaarddataset te bieden. In plaats daarvan positioneert het het synthetische corpus als een steiger voor:

1. Model-Bootstrapping: Instellingen in staat stellen om modellen voor te trainen op synthetische data voordat ze worden gefine-tuned op kleine, beoordeelde echte datasets.
2. Longitudinale Monitoring: Het bieden van een stabiele maatstaf voor het volgen van modelprestaties over termijnen en cohorten heen.
3. Stress-testen: Het blootleggen van minderheidsaspecten (bijv. toegankelijkheid, transparantie in cijfering) die vaak ondervertegenwoordigd zijn in archieven van één enkele instelling.

De studie concludeert dat hoewel het synthetische corpus labelruis introduceert, met name wat betreft sentimentpolariteit, het succesvol interne leerbaarheid, reproduceerbare modelvergelijking en gedeeltelijke transfer naar echte onderwijsfeedbackruimtes ondersteunt. Het werk benadrukt de waarde van de combinatie van taakframing, controleerbare generatie en benchmarkintegratie boven synthetische tekstgeneratie op zich.