Toward using Speech to Sense Student Emotion in Remote Learning Environments

Dit onderzoek toont aan dat spraakdata verzameld tijdens zelfcontrole-taken gebruikt kan worden om studentenemoties in afstandsonderwijs te detecteren en automatisch te voorspellen, waardoor paralinguïstische technologieën kunnen worden geïntegreerd om de leerervaring te verbeteren.

De kern

Stel je voor dat je een leraar bent in een klaslokaal. Je ziet de gezichten van je leerlingen, je hoort hun stemmen en je kunt direct voelen: "Hé, die ene kijkt verward" of "Die andere is echt enthousiast". Je kunt dan direct schakelen, een glimlach geven of uitleggen.

Nu stel je je voor dat diezelfde les plaatsvindt op afstand, via een computer. Je ziet niemand, je hoort niemand (tenzij ze zelf iets zeggen). Het is alsof je een brief schrijft aan een klas die je nooit ziet. De vraag is: Hoe weet je dan of je leerlingen zich vervelen, gefrustreerd zijn of juist blij zijn?

Dit artikel onderzoekt precies dat probleem. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stille" Klas

In online lessen ontbreekt de "emotie-geur". Normaal gesproken ruik je de sfeer in een kamer. Online is het alsof je door een muur praat. De auteurs willen weten of we die muur kunnen doorbreken door te luisteren naar wat leerlingen zeggen terwijl ze zelf hun werk controleren.

2. De Oplossing: De "Stem-Test"

De onderzoekers hebben een slimme truc bedacht. In plaats van dat leerlingen alleen tekst typen, moesten ze in een online leeromgeving (van een Zwitserse afstandsuniversiteit) hun antwoorden in spreken.

• De Analogie: Stel je voor dat je een spreekwoordelijke "stem-test" doet. Je krijgt een vraag, en je moet het antwoord hardop vertellen.
• Het Doel: Klinkt je stem anders als je een vraag moeilijk vindt dan wanneer je het antwoord weet? Klinkt je stem anders als je gefrustreerd bent dan als je trots bent?

3. De Verzameling: Het "SPOT-ED" Verzamelpunt

Ze hebben 56 studenten gevraagd om deze "stem-tests" te doen. Ze hebben duizenden stukjes opname verzameld.

• De Metafoor: Denk aan een grote emmer met waterdruppels. Elke druppel is een zinnetje van een student. De onderzoekers hebben gekeken of ze in die emmer verschillende "kleuren" (emoties) kunnen vinden.
• Ze hebben de opnames in kleine stukjes gesneden en gekeken: "Is dit stukje blij, boos of neutraal?"

4. De Menselijke Check: De "Emotie-Detectives"

Voordat ze computers lieten oordelen, hebben ze eerst echte mensen ingeschakeld. Ze hadden zes "emotie-detectives" (psychologen en taalkundigen) die naar de opnames luisterden.

• Ze moesten niet zeggen "dit is boos", maar ze moesten de stem op een schaal van 1 tot 9 beoordelen op drie dingen:
  1. Hoe positief/negatief is het? (Valentie)
  2. Hoe opgewonden/kalm is het? (Arousal)
  3. Hoe machtig/zwak voelt de spreker? (Dominantie)
• Het Resultaat: De detectives waren het redelijk met elkaar eens. Dit bewijst dat er inderdaad echte emotie te horen is in deze "droge" zelfcontrole-opdrachten. Het is niet alleen maar tekst; de stem verraadt de gemoedstoestand.

5. De Computer: De "Digitale Leraar"

Nu kwam de echte test: Kan een computer dit ook?
Ze hebben verschillende slimme algoritmen (AI) getraind om naar die opnames te luisteren en de emoties te voorspellen.

• De Vergelijking: Het is alsof je een robot opleidt om een orkest te horen en te zeggen of de violist nerveus is of de drummer enthousiast, zonder dat hij de muziek zelf kan spelen.
• Ze gebruikten twee soorten "oren" voor de computer:
  1. De Oude School: Een computer die luistert naar technische details (hoe hoog is de stem, hoe snel ademt iemand?).
  2. De Moderne AI: Een computer die is getraind op miljoenen andere geluiden en zelf leert wat emotie is (zoals een baby die leert praten door te luisteren).
• Het Resultaat: De combinatie van de "oude school" en de "moderne AI" werkte het beste. De computer kon de emoties van de studenten redelijk goed voorspellen, bijna net zo goed als de menselijke detectives.

6. Waarom is dit belangrijk? (De Toekomst)

Dit onderzoek is als het vinden van een nieuwe zintuig voor online onderwijs.

• Huidige situatie: Online leren is vaak een eenrichtingsverkeer. De leraar weet niet of de leerling vastloopt.
• Toekomstvisie: Stel je voor dat het computersysteem in de toekomst zegt: "Hé, deze student klinkt gefrustreerd in zijn antwoord. Misschien moet de leraar even een geruststellend berichtje sturen of een extra uitlegvideo aanbieden."

Samenvatting in één zin

Dit artikel laat zien dat we, zelfs als we alleen maar naar de stem van een student luisteren terwijl die een oefening doet, kunnen horen of hij of zij zich goed voelt, en dat computers dit steeds beter kunnen leren doen om het online leren menselijker en effectiever te maken.

Technische samenvatting

Probleemstelling

In afstandsonderwijs (remote learning) vinden interacties vaak asynchroon plaats, wat het ontbreekt aan de niet-verbale emotionele signalen die cruciaal zijn in fysieke klaslokalen. Emoties beïnvloeden cognitieve functies zoals aandacht en geheugen, maar het is moeilijk om de emotionele toestand van studenten te detecteren zonder face-to-face contact. Bestaande methoden voor emotioneel ontwerp van onderwijs (zoals instructieontwerp) opereren vaak op een abstract niveau of vereisen specifieke, kunstmatige scenario's (zoals toneelspelen of Wizard-of-Oz setups) die niet natuurlijk zijn binnen het leerproces.

De kernvraag is: Kan spontane monoloogspraak, gegenereerd door studenten tijdens zelfcontrole-taken (self-control tasks) in een online leeromgeving, worden gebruikt om hun emoties te detecteren en te voorspellen? Een uitdaging hierbij is dat deze spraak spontaan is, niet-performant en mogelijk minder expressief dan gelabelde datasets uit de literatuur.

Methodologie

1. Dataverzameling en Dataset Ontwikkeling (SPOT-ED)

• Context: Data is verzameld bij de FFHS (Swiss Distance University of Applied Sciences) tijdens een projectmanagementcursus in het voorjaar van 2021.
• Opdracht: Studenten voerden "zelfcontrole-taken" uit waarbij ze open vragen beantwoordden via spraakinvoer in plaats van tekst. Ze namen hun antwoorden op, kregen een voorbeeldantwoord en reflecteerden op hun eigen antwoord.
• Dataset: Er werden 815 opnames verzameld van 56 studenten (totaal 4,7 uur).
• Preprocessing:
  • De audio werd opgesplitst in semantisch complete stukken (chunks) op basis van lange stiltes.
  • Er werd sentimentanalyse uitgevoerd op de getranscribeerde tekst (met een BERT-model) om een gebalanceerde selectie te maken van positieve, negatieve en neutrale fragmenten.
  • De uiteindelijke dataset, genaamd SPOT-ED, bevat 1.132 spraakfragmenten (1 uur en 21 minuten) van 56 sprekers.

2. Subjectieve Emotielabeling

• Dimensies: Emoties werden gelabeld volgens de dimensionele modellen: Valentie (positief/negatief), Arousal (rustig/opwinding) en Dominantie (zwak/sterk).
• Annotatie: Zes native luisteraars (waaronder psychologen en taalkundigen) labelden de data met een 9-punts Self-Assessment Manikin (SAM) schaal.
• Kwaliteitscontrole: Een A/B-test werd gebruikt voor training. Voor de aggregatie van de labels werd de Evaluator Weighted Estimator (EWE) methode gebruikt, waarbij annotatoren gewogen werden op basis van hun correlatie met het gemiddelde. Dit resulteerde in een hoge inter-annotator overeenstemming (correlatie $r \geq 0,6$).

3. Automatische Emotievoorspelling

• Doel: Voorspellen van de drie dimensionele labels (VAD) op basis van de audio.
• Features:
  • Kennisgebaseerd: De COMPARE-feature set (uit OpenSMILE) met 6373 dimensies (prosodie, spectrum, cepstrum).
  • Neuraal (Self-Supervised Learning - SSL): Embeddings van HuBERT Large, WavLM Large, en Wav2Vec2 (gefine-tuned op de MSP-PODCAST dataset).
• Modellen: Support Vector Regressors (SVR) met een radiale basisfunctie (RBF).
• Experimentele Opzet:
  • Spreker-afhankelijk: Trainen en testen op dezelfde sprekers (5-voudige cross-validatie per spreker).
  • Spreker-onafhankelijk: Trainen op een groep sprekers en testen op een andere groep (Leave-One-Speaker-Group-Out).
• Metrieken: Spearman-correlatie, Pearson-correlatie en Root Mean Square Error (RMSE).

Belangrijkste Resultaten

1. Subjectieve Validatie
De studie bevestigde dat spontane monoloogspraak van studenten inderdaad waarneembare variatie vertoont in de dimensies valentie, arousal en dominantie. De inter-annotator overeenstemming was vergelijkbaar met die van bestaande datasets zoals VAM, wat aantoont dat deze "ruwe" leerdata emotioneel rijk genoeg is voor analyse.

2. Voorspellende Prestaties

• Enkele Features: Zowel de traditionele COMPARE-features als de moderne SSL-embeddings (HuBERT, WavLM) leverden redelijke resultaten op. De op emotie gespecialiseerde Wav2Vec2-model (W2V2-MSP) presteerde over het algemeen het beste onder de losse modellen.
• Feature Combinatie: De beste prestaties werden behaald door de combinatie van kennisgebaseerde features (COMPARE) en neuraal embeddings (W2V2-MSP). Dit benadrukt de complementariteit tussen handgemaakte akoestische kenmerken en diepgeleerde representaties.
• Prestaties (Spreker-onafhankelijk met gecombineerde features):
  • Valentie: Correlatie (Spearman) ~0,54, RMSE ~0,060.
  • Arousal: Correlatie (Spearman) ~0,63, RMSE ~0,076.
  • Dominantie: Correlatie (Spearman) ~0,74, RMSE ~0,078.
• Feature Analyse: De analyse van de belangrijkste features toonde aan dat spectrale hellingen (spectral slope) en spectrale lengtemaatstaven (audspec lengthL1norm) cruciaal zijn voor het voorspellen van valentie en arousal/dominantie, wat overeenkomt met bevindingen in andere spontane spraakdatasets.

Bijdragen

1. SPOT-ED Dataset: De ontwikkeling van een unieke dataset met spontane monoloogspraak van studenten in een echte onderwijscontext, specifiek voor dimensionele emotieherkenning.
2. Validatie van Zelfcontrole-taken: Het aantonen dat spraakopnames tijdens zelfevaluatie-taken een bruikbare bron zijn voor het detecteren van emotionele fluctuaties zonder extra emotionele provocatie.
3. Methodologische Inzicht: Een bewijs dat de combinatie van traditionele paralinguïstische features en moderne self-supervised learning (SSL) modellen de prestaties van emotionele voorspelling significant verbetert in deze specifieke context.
4. Interdisciplinaire Koppeling: Het leggen van een brug tussen paralinguïstische spraakverwerking en instructieontwerp voor afstandsonderwijs.

Betekenis en Toekomstperspectief

Dit onderzoek opent nieuwe wegen voor het naadloos integreren van paralinguïstische technologie in de leerlus van afstandsonderwijs. Door de emotionele toestand van studenten automatisch te kunnen "sensen" via hun spraakantwoorden, kunnen educatieve systemen:

• Feedback genereren: Docenten of AI-systemen kunnen proactief ingrijpen bij tekenen van frustratie, verveling of angst.
• Instructieontwerp optimaliseren: Leeromgevingen kunnen dynamisch worden aangepast op basis van de collectieve emotionele respons van de studenten.
• Persoonlijk leren bevorderen: Het biedt een mechanisme om de leerervaring te personaliseren zonder de privacy van de student te schaden (gezien de data-anonimisering en lokale verwerking).

De studie concludeert dat hoewel de technische voorspelling mogelijk is, de volgende stap ligt in het interpreteren van deze emotionele schommelingen binnen de pedagogische context en het vertalen daarvan naar actieerbare feedback.