DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
Dit artikel introduceert DIPSER, een nieuw en uitgebreid dataset voor in-the-wild in-person studentengagementherkenning dat uniek multi-view RGB-camera-data, smartwatch-sensormetingen en diverse door experts gevalideerde labels combineert om de analyse van studentenaandacht en -emotie in verschillende educatieve contexten te faciliteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen hoe een student zich voelt of hoe gefocust ze zijn tijdens een les. Meestal moeten leraren gokken op basis van een snelle blik. Dit artikel introduceert een nieuw hulpmiddel genaamd DIPSER, dat werkt als een high-tech "super-observator" die precies vastlegt wat er in een echte klas gebeurt, niet in een nepomgeving.
Hier is een uiteenzetting van wat de onderzoekers hebben gebouwd, met behulp van eenvoudige analogieën:
1. De "Alziende Oog"-opstelling
Stel je de klas voor als een toneel. In het verleden bestudeerden onderzoekers studenten vaak vanuit hun woonkamers (online lessen) of in steriele wetenschappelijke laboratoria waar acteurs zich voordeden als studenten.
DIPSER is anders. Het is opgenomen in een echte universiteitsklas met echte studenten. Om het volledige plaatje te krijgen, hebben ze een "surveillance-zwerm" opgezet:
- Het Groothoekbeeld: Ze hebben camera's hoog opgehangen (zoals een bewakingsagent die naar beneden kijkt) om de hele ruimte, de houdingen van de studenten en hoe ze met elkaar interageren, te zien.
- Het Close-up-beeld: Elke student had een eigen camera op zijn of haar bureau, die inzoomde op het gezicht om kleine expressies te vangen (zoals een opgetrokken wenkbrauw of een frons).
- De "Pols"-bewaker: Elke student droeg een smartwatch. Dit werkt als een fitnesstracker en registreert hun hartslag, hoeveel ze bewogen (gyroscoop) en hoe snel ze trilden (versnellingsmeter).
2. Het "Vijfsterren"-beoordelingssysteem
Hoe weet je of de camera's en horloges de waarheid spreken? De onderzoekers vertrouwden niet alleen op computers; ze gebruikten een "panel van rechters".
Voor elke student verzamelden ze vijf verschillende meningen over hoe gefocust of emotioneel de student op een bepaald moment was:
- De eigen stem van de student: Na de les keek de student terug naar de video en beoordeelde zichzelf.
- Vier deskundige rechters: Vier verschillende menselijke experts bekeken de beelden en gaven hun eigen beoordelingen.
Ze combineerden deze tot een "gouden standaard"-label voor elke seconde van de video. Als een student aangaf verveeld te zijn en de experts waren het daarmee eens, werd de data gemarkeerd als "verveeld".
3. Het "Negen-scène"-spel
De data was niet zomaar één lange, saaie lezing. De onderzoekers filmde de studenten terwijl ze negen verschillende soorten schoolactiviteiten doorliepen, zoals scènes in een toneelstuk:
- Nieuws lezen.
- Ideeën brainstormen.
- Luisteren naar een traditionele lezing.
- Een quiz maken op hun telefoons.
- Projecten presenteren.
- Spelen met robots.
- Het ontwerpen van educatieve spellen.
Deze variatie is vergelijkbaar met het testen van een auto op een snelweg, een zandweg en een racecircuit om te zien hoe deze omgaat met verschillende omstandigheden.
4. De Omvangrijke Bibliotheek
Het resultaat is een enorme digitale bibliotheek met meer dan 1,3 miljoen afbeeldingen en bijna 52 uur aan video.
- Het bevat de ruwe video.
- Het bevat de smartwatch-data (hartslagen, bewegingen).
- Het bevat "voorverpakte" data waarbij computers al gezichten hebben omcirkeld, leeftijden hebben geschat en emoties hebben geraden, waardoor andere onderzoekers tijd besparen.
5. Waarom Dit Belangrijk Is (Volgens Het Artikel)
De auteurs betogen dat eerdere datasets als "oefentests" (online of neplaboratoria) werkten die het echte leven niet weerspiegelden.
- Realisme: Dit is "in het wild" opgenomen (een echte klas).
- Diversiteit: Het omvat studenten van verschillende achtergronden (in deze versie specifiek Kaukasisch onderwerp, hoewel ze van plan zijn later meer diversiteit toe te voegen).
- Diepgang: Het is de eerste die video, smartwatch-sensoren en meerdere menselijke experts combineert in een echte klasomgeving.
De Conclusie
Het artikel presenteert DIPSER als een nieuwe, enorme en zeer gedetailleerde dataset. Het is een gereedschapskist voor computerwetenschappers die machines willen leren menselijke aandacht en emotie te begrijpen in echte schoolomgevingen. De auteurs hebben deze data beschikbaar gesteld aan andere onderzoekers zodat ze betere AI-tools kunnen bouwen, mits die tools worden gebruikt voor academisch onderzoek en niet voor het verkopen van producten.
Opmerking: Het artikel richt zich uitsluitend op het creëren en valideren van deze dataset. Het claimt niet dat dit systeem momenteel wordt gebruikt om studenten te beoordelen, medische aandoeningen te diagnosticeren of de manier waarop scholen worden gerund te veranderen; het is strikt een bron voor onderzoek.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.