Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

In het uitgestrekte landschap van het moderne onderwijs vindt een stille revolutie plaats binnen de digitale systemen die onze klaslokalen beheren. Decennialang hebben docenten vertrouwd op cijfers en presentielijsten om te peilen hoe goed een student het doet, maar deze traditionele maten komen vaak te laat om een worstelende leerling te helpen. Vandaag de dag, nu universiteiten hun cursussen steeds vaker online aanbieden, laat elke klik, elke login en elk moment dat op een digitaal platform wordt doorgebracht een spoor achter. Onderzoekers noemen deze sporen "digitale markers". Het zijn de voetstappen van het dagelijks leven van een student in een cursus, die een inkijkje bieden in hun gewoonten, betrokkenheid en potentiële problemen, lang voordat er ooit een eindexamen is geschreven. De vraag die deze nieuwe studieveld drijft is simpel maar diepgaand: kunnen we deze digitale voetstappen lezen om een student te spotten die op het punt staat te zakken, en kunnen we dat vroeg genoeg doen om hun pad te veranderen?

Dit is de uitdaging waar een team van onderzoekers aan de Universiteit van Zambia voor stond, die hun aandacht richtten op een berucht moeilijk eerstejaars vak: Computer Systems and Architecture. In dit vak zakt historisch gezien bijna veertig procent van de studenten, een percentage dat veel briljante geesten achterlaat voordat hun studie echt is begonnen. De instructeurs wisten dat er iets mis was, maar ze hadden geen manier om te identificeren wie er een risico liep totdat het te laat was. Om dit op te lossen, besloot het team verder te kijken dan de eindcijfers en in plaats daarvan de digitale kruimels te onderzoeken die studenten over vier jaar achterlieten. Ze verzamelden gegevens van bijna driehonderd studenten, waarbij ze hun basisachtergrondinformatie combineerden met hun scores op vroege quizzen en toetsen, en de ruwe logs van hoe zij interactie hadden met het online leersysteem van de universiteit. Hun doel was om een model te bouwen dat kon fungeren als een vroeg waarschuwingssysteem, dat studenten die waarschijnlijk zouden zakken zou signaleren, zodat docenten konden ingrijpen met ondersteuning terwijl er nog tijd was om het tij te keren.

De onderzoekers begonnen door te luisteren naar de mensen die de cursus het beste kenden: de docenten, de tutors en de studenten zelf. Door middel van interviews en enquêtes identificeerden zij tien factoren die succes leken te beïnvloeden, zoals tijdmanagement, motivatie en of een student wel een computer bezat. Vervolgens vertaalden zij deze menselijke inzichten naar datapunten en creëerden zij een uitgebreide lijst met kenmerken om te testen. Ze ontwikkelden een speciale score genaamd "weighted academic momentum" (gewogen academisch momentum), die keek naar hoe een student presteerde op de allereerste quizzen en toetsen, waarbij meer belang werd toegekend aan de latere, meer uitgebreide vroege beoordelingen. Ze volgden ook of een student ooit in het online systeem had ingelogd en hoeveel verschillende dagen zij actief waren. Door al deze informatie in een computermodel te voeren, testten ze welke combinatie van factoren het beste kon voorspellen wie zou zakken.

Wat zij ontdekten was zowel verrassend als geruststellend. De krachtigste voorspeller van falen was niet een complexe enquête over de motivatie van een student of hun eerdere ervaring met computers, maar eerder een simpele combinatie van drie dingen: hun vroege academische momentum, hun basisachtergrond en een enkel ja-of-nee-vraag over of ze ooit het online leersysteem hadden aangeraakt. Het model vond dat de prestaties van een student in de eerste paar weken van de beoordelingen het sterkste signaal waren van hun toekomstige succes. Echter, dit signaal was nog veelzeggender wanneer het werd gecombineerd met een eenvoudige controle van hun digitale aanwezigheid. Als een student hoge vroege scores had maar nooit in het online systeem had ingelogd, vormden zij nog steeds een aanzienlijk risico. Dit suggereerde dat sommige studenten mogelijk leunden op natuurlijk talent of voorkennis, zich er niet bewust van waren dat ze de online ondersteuningsstructuren misten, of misschien overmoedig waren in hun vermogen om zonder interactie met het cursusmateriaal te slagen.

Toen de onderzoekers hun definitieve model testten op een groep studenten die het nog nooit eerder had gezien, bleek het opmerkelijk effectief in zijn primaire taak: het vinden van de studenten die in de problemen zaten. Het systeem identificeerde correct achtentenvijftig procent van de studenten die uiteindelijk voor het vak zouden zakken. Deze hoge succesratio ging gepaard met een trade-off: het model gaf ook sommige studenten die zouden zijn geslaagd ten onrechte aan als zijnde een risico, wat resulteerde in een foutalarmpercentage van eenenveertig procent. De onderzoekers stellen dat dit een acceptabele prijs is om te betalen in een educatieve setting. Het is veel beter om extra hulp te bieden aan een student die het niet nodig heeft, dan een student te missen die in stilte worstelt en op het punt staat te zakken. Het model bereikte dit door te kijken naar de gegevens die vijf weken na aanvang van het semester beschikbaar waren, een tijdskader dat docenten een cruciaal venster biedt om in te grijpen.

De studie onthulde ook dat het toevoegen van complexere gegevens de voorspelling niet noodzakelijkerwijs beter maakte. Het opnemen van gedetailleerde enquête-antwoorden over de gevoelens van een student of hun specifieke werklast verbeterde de nauwkeurigheid van het model niet. Sterker nog, de eenvoudigste aanpak — gericht op vroege cijfers en een basiscontrole van online activiteit — werkte het best. Dit suggereert dat voor dit specifieke vak de acties die een student onderneemt in de eerste weken een betrouwbaardere indicator zijn van hun toekomst dan hun gerapporteerde gevoelens of achtergronddetails. De onderzoekers gebruikten een methode genaamd SHAP-analyse om te begrijpen waarom het model zijn beslissingen nam, wat bevestigde dat het gewogen academische momentum de belangrijkste factor was, gevolgd door de interactie tussen dat momentum en of de student betrokken was bij het online systeem.

Dit werk biedt een praktisch blauwdruk voor hoe universiteiten de gegevens die zij al hebben kunnen gebruiken om hun studenten te ondersteunen. Door zich te richten op eenvoudige, vroege digitale markers, kunnen onderwijzers overgaan van reageren op falen naar het voorkomen ervan. De onderzoekers zijn van plan hun bevindingen om te zetten in een live dashboard dat instructeurs automatisch zal waarschuwen wanneer een student tekenen van problemen vertoont, waarbij hen duidelijke redenen voor de waarschuwing wordt gegeven zodat zij gerichte hulp kunnen bieden. Hoewel de studie werd uitgevoerd aan een enkele universiteit in Zambia, suggereert de aanpak een universele waarheid: in het digitale tijdperk spreekt de manier waarop een student verschijnt, zelfs op de kleinste manieren, vaak luider dan hun achtergrond of hun initiële zelfvertrouwen. Het pad naar succes ligt niet altijd verborgen in complexe statistieken, maar soms in het stille, consistente ritme van het verschijnen in de les, zowel fysiek als online.