Event-Aligned Learning Analytics for Instructor Priority Review: Preceding Performance Signals and Task-Progression Interruption in a Large-Scale Online Course
Deze studie toont aan dat het analyseren van interpreteerbare signalen van prestaties binnen een taak die voorafgaan aan onderbrekingen in de taakprogressie in grootschalige online cursussen instructeurs in staat stelt om beperkte middelen voor beoordelingen te prioriteren op kritieke overgangspunten, waarbij effectief meer dan de helft van de daaropvolgende onderbrekingen van studenten wordt geïdentificeerd door zich te richten op een klein deel van de risicovolle populatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, stille gangen van een grote online universiteitscursus loggen duizenden studenten in, bekijken video's en dienen opdrachten in. Voor een docent is dit digitale spoor een vloedgolf aan data: een continue stroom van klikken, scores en tijdstempels. De uitdaging voor onderwijzers is niet een gebrek aan informatie, maar een overdaad eraan. Een docent kan het onmogelijk bijhouden van het evoluerende dossier van elke student in realtime lezen, maar kan het zich ook niet veroorloven om de studenten te missen die stilletjes wegglijden. Traditionele methoden vertrouwen vaak op het kijken naar het eindcijfer of een enkele lage score om te beslissen wie hulp nodig heeft, maar dit is als het beoordelen van het uithoudingsvermogen van een hardloper pas nadat deze al is ingestort. Een nuttigere aanpak zou zijn om de specifieke momenten te begrijpen waarop het leerproces van een student daadwerkelijk stokt, en om te zoeken naar de subtiele tekenen die verschijnen vlak voordat die breuk plaatsvindt. Dit is de kern van een nieuwe manier van denken over leren, een manier die onderwijs niet beschouwt als een statisch resultaat, maar als een reis met duidelijke fasen, waarbij de timing van een struikelpartij even belangrijk is als de struikelpartij zelf.
Een onderzoeker zette zich in om een praktisch probleem op te lossen in een enorme online cursus kunstmatige intelligentie aan een Chinese universiteit. Ze wilden weten of er een specifiek moment in het cursusprogramma was waarop studenten het meest waarschijnlijk stopten met het uitvoeren van hun taken, en of ze een waarschuwingssignaal konden herkennen in het werk dat studenten vlak voor dat moment inleverden. De cursus was gestructureerd in drie duidelijke fasen: een vroege week, een middelste week en een late week, met drie genoteerde opdrachten die in elke fase werden vrijgegeven. De onderzoeker analyseerde de gegevens van bijna 5.000 studenten uit twee opeenvolgende jaren van de cursus. In plaats van te proberen te voorspellen wie zou zakken voor de hele cursus, richtten ze zich op een specifieke gebeurtenis: de eerste keer dat een student een hele week lang geen geldige werkzaamheden meer inleverde. Ze noemden dit een "onderbreking van de taakprogressie". Door terug te kijken vanaf deze onderbrekingen, stelden ze een eenvoudige vraag: vertoonden de studenten die uiteindelijk stopten met werken tekenen van strijd in het werk dat zij tijdens de voorgaande week hadden ingeleverd?
Het antwoord was een duidelijk en consistent ja. De onderzoeker vond dat studenten die later stopten met het inleveren van werk, tijdens de opdrachten die zij voltooiden in de week vóór de onderbreking, al aanzienlijk slechter presteerden ten opzichte van hun medestudenten. Dit patroon hield stand voor zowel de eerste als de tweede jaren van de cursus en voor zowel de overgang van de vroege naar de middelste fase als de overgang van de middelste naar de late fase. De onderzoeker ontdekte echter dat één specifieke overgang veel kritieker was dan de andere. De verschuiving van de eerste week naar de tweede week was waar de onderbrekingen het vaakst plaatsvonden. In beide jaren stopten meer studenten met werken tijdens deze vroeg-naar-middel fase-overgang dan tijdens de latere overgang. Bovendien werd het waarschuwingssignaal van lagere relatieve prestaties gereproduceerd in dit specifieke venster. Dit identificeerde een "kritiek overgangsvenster", een specifiek punt in het cursusprogramma waar het risico dat studenten uit de workflow vallen het grootst is en waar een duidelijk signaal van problemen vooraf zichtbaar is.
De studie testte vervolgens of dit signaal een docent daadwerkelijk kon helpen om hun beperkte tijd te beheren. Stel je een docent voor die slechts een klein deel van de klas kan beoordelen. Als zij simpelweg willekeurig studenten zouden kiezen, zouden zij de meeste studenten die op het punt staan te stoppen met werken waarschijnlijk missen. Maar wanneer de onderzoeker studenten rangschikte op basis van hoe slecht zij presteerden in de week vóór de kritieke overgang, ontstond een ander beeld. Door slechts de onderste twintig procent van de studenten te beoordelen op basis van hun relatieve prestaties, zou de docent meer dan de helft van de studenten vangen die op het punt stonden hun eerste grote onderbreking te ervaren. In één jaar dekte het beoordelen van ongeveer een vijfde van de klas bijna zestig procent van de studenten die vervolgens stopten met werken. In het andere jaar was de dekking zelfs nog hoger. Dit betekent dat een docent niet iedereen hoeft te monitoren om de studenten in nood te vinden; zij kunnen hun aandacht richten op een veel kleinere, gerichte groep en nog steeds de meerderheid bereiken die hulp nodig heeft.
Cruciaal was dat de onderzoeker voorzichtig was in het definiëren van wat hun gegevens wel en niet lieten zien. Ze beweerden niet dat een lage score automatisch betekende dat een student op het punt stond op te geven, noch suggereerden ze dat een docent automatisch moet ingrijpen zonder verder te kijken. De gegevens konden niet het onderscheid maken tussen een student die een leeg document inleverde en een student die simpelweg niets inleverde, dus de "onderbreking" werd strikt gedefinieerd als een gebrek aan geldige prestatiegegevens, en niet noodzakelijkerwijs een totale terugtrekking uit de cursus. De studie was ook retrospectief, wat betekent dat er in het verleden naar records werd gekeken om patronen te vinden, in plaats van een live interventie in realtime te testen. Daarom tonen de bevindingen aan dat er een nuttig signaal bestaat en dat dit gebruikt kan worden om aandacht te prioriteren, maar ze bewijzen niet dat handelen op basis van dit signaal de uitkomst voor elke student zal veranderen. De waarde ligt in de efficiëntie van de zoektocht: het stelt een onderwijzer in staat om de studenten te vinden die waarschijnlijk moeite zullen hebben met een fractie van de inspanning die nodig is om iedereen te controleren.
Deze aanpak biedt een nieuwe manier om over onderwijstechnologie na te denken. In plaats van complexe systemen te bouwen die proberen de toekomst met perfecte nauwkeurigheid te voorspellen, stelt de onderzoeker een methode voor die aansluit bij hoe docenten daadwerkelijk beslissingen nemen. Ze behandelen de digitale sporen die studenten achterlaten niet als een glazen bol, maar als een kaart van het terrein. Door te identificeren waar het pad het meest waarschijnlijk wordt onderbroken en door te zoeken naar de specifieke tekenen van instabiliteit die verschijnen vlak voor de breuk, kunnen onderwijzers hun beperkte menselijke aandacht richten waar die het meest nodig is. De studie biedt geen universele regel die voor elke online cursus geldt, aangezien de timing van deze kritieke momenten afhangt van het specifieke ontwerp van de cursus. Het biedt echter een betrouwbare methode om deze momenten in elke cursus te vinden. Het suggereert dat het meest effectieve gebruik van leeranalyse niet is om het oordeel van de docent te vervangen, maar om het te verscherpen, waardoor een vloedgolf aan data wordt omgezet in een beheersbare lijst van prioriteiten die recht doet aan de realiteit van de tijd van een docent en de complexiteit van de reis van een student.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.