A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Dit artikel introduceert een verenigde, multidimensionale survival-benchmark voor de voorspelling van het risico op tijdelijke uitval met behulp van de OULAD-dataset, waarbij wordt aangetoond dat gedragsmatige en temporele signalen statische attributen overtreffen, terwijl tegelijkertijd de noodzaak wordt benadrukt om modelfamilies te scheiden om evaluatie-artefacten te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk semester worden universiteiten geconfronteerd met een stille crisis: studenten die aan hun cursussen beginnen maar nooit afstuderen. Decennialang hebben onderwijzers geprobeerd te voorspellen wie waarschijnlijk zal afhaken, in de hoop hulp te bieden voordat het te laat is. Dit vakgebied, bekend als learning analytics, behandelt studentgegevens als een kaart, waarbij patronen worden gezocht die op problemen wijzen. Traditioneel waren deze kaarten statische momentopnames, gebaseerd op de achtergrond van een student, hun leeftijd of hun cijfers uit voorgaande jaren. Maar de reis van een student is geen enkele foto; het is een film die zich week na week afspeelt. Het risico op het verlaten van een cursus staat niet stil; het verschuift en groeit naarmate een student interactie heeft met de online materialen, deadlines mist, of simpelweg stopt met klikken door de website van de cursus. De centrale vraag voor onderzoekers is geweest of we een betere kaart kunnen bous door deze film in realtime te bekijken, in plaats van alleen naar de openingscredits te kijken.
Een team onderzoekers aan de Eastern University zette zich af om deze vraag te beantwoorden door een nieuw soort test te bouwen om verschillende manieren van het voorspellen van studentuitval te vergelijken. Ze gebruikten een enorme, bekende collectie gegevens van de Open University, die duizenden studenten over verschillende cursussen volgt. In plaats van simpelweg één computermodel als winnaar uit te roepen, ontwierpen ze een rigoureus experiment dat respect had voor het verschil tussen twee verschillende manieren van naar tijd kijken. Eén groep modellen, die ze de "Dynamic Weekly" familie noemden, volgde de studenten week voor week en verfijnde de voorspelling elke keer dat er een nieuw stukje activiteit verscheen. De andere groep, de "Static Early-Window" familie, hanteerde een andere aanpak: deze keek alleen naar de eerste vier weken van het gedrag van een student en maakte vervolgens een enkele, vaste voorspelling voor de rest van de cursus. De onderzoekers beschouwden deze twee benaderingen niet als rivalen die tegen elkaar moesten worden afgezet, maar als twee verschillende lenzen om hetzelfde fenomeen te bekijken, om ervoor te zorgen dat de vergelijking eerlijk was en dat de resultaten niet werden vervormd door de manier waarop de gegevens waren georganiseerd.
De studie vergeleken veertien verschillende computermodellen, variërend van eenvoudige statistische instrumenten tot complexe kunstmatige intelligentiesystemen. De onderzoekers maten hoe goed elk model twee dingen kon doen: correct studenten rangschikken op basis van hun risiconiveau, en een waarschijnlijkheidsgetal leveren dat overeenkwam met het werkelijke aantal studenten dat uitviel. Omdat de twee families verschillende risicovormuleringen gebruiken, rapporteerden de onderzoekers de resultaten binnen elke familie afzonderlijk, in plaats van een enkel gecombineerd ranglijst te maken. Binnen de "Static Early-Window" groep kwam een model genaamd Random Survival Forest als de meest betrouwbare naar voren. Het was het beste in het identificeren van welke studenten een risico liepen en, cruciaal, de schattingen van de waarschijnlijkheid waren zeer nauwkeurig. Wanneer dit model bijvoorbeeld een kans van dertig procent voorspelde dat een student zou afhaken, lag het werkelijke uitvalpercentage voor die groep studenten zeer dicht bij de dertig procent. Deze nauwkeurigheid is essentieel omdat het betekent dat scholen de cijfers kunnen vertrouwen om te beslissen wie hulp nodig heeft. Binnen de "Dynamic Weekly" groep klonterden de modellen qua prestaties zeer dicht bij elkaar, waarbij een Poisson Piecewise-Exponential model een lichte voorsprong vertoonde in één specifieke metriek, hoewel geen enkel model domineerde over alle maatstaven heen.
Misschien was de meest significante ontdekking niet welke computermodel de slimste was, maar welke informatie de modellen daadwerkelijk gebruikten om hun beslissingen te nemen. De onderzoekers testten dit door verschillende soorten gegevens één voor één uit de modellen te verwijderen. Ze haalden de statische achtergrondinformatie weg, zoals de leeftijd, het geslacht of de eerdere opleiding van een student. Daarna haalden ze de gedragsgegevens weg, zoals hoe vaak een student op cursusmateriaal klikte of hoeveel weken zij actief waren. De resultaten waren duidelijk en consistent over bijna elk model: de achtergrondinformatie deed er nauwelijks toe. Wanneer de gedragsgegevens werden verwijderd, stortte het vermogen van de modellen om uitval te voorspellen in. Het dominante signaal was niet wie de student was, maar wat de student deed. Specifiek waren het aantal klikken in de eerste vier weken en het aantal actieve weken de sterkste voorspellers. Dit suggereert dat uitval geen vaststaand kenmerk van een persoon is, maar een proces dat zich ontvouwt door hun dagelijkse betrokkenheid.
De studie onthulde ook dat niet alle modellen gelijk zijn als het gaat om betrouwbaarheid. Hoewel de meeste top-presterende modellen eerlijke waarschijnlijkheidsschattingen gaven, presteerde een model in de statische groep, genaamd XGBoost AFT, slecht over de hele linie. Het had moeite om studenten correct te rangschikken en de waarschijnlijkheidsschattingen waren volkomen onjuist, wat suggereert dat de wiskundige structuur ervan niet flexibel genoeg was om de veranderende aard van studentrisico aan te kunnen. Deze bevinding versterkt het idee dat de manier waarop een model is gebouwd even belangrijk is als de gegevens die het ziet. De onderzoekers concludeerden dat voor instellingen die op zoek zijn naar vroege waarschuwingssystemen, de beste aanpak is om een model te gebruiken dat zich richt op de eerste maand van gedrag. Ze kunnen studenten aan het einde van de vierde week scoren met eenvoudige gegevens zoals klikaantallen en actieve weken, degenen met een hoog risico op uitval markeren, en dan ingrijpen. De studie beweerde niet dat deze methode voor elke universiteit of elke cursus werkt, aangezien de gegevens afkomstig waren van een specifieke set modules, maar het bood een duidelijk, verenigd kader voor het begrijpen van hoe risico te meten. De les is dat het pad om in school te blijven wordt geplaveid met dagelijkse acties, en de beste manier om te voorspellen wie zal vertrekken is door die acties nauwlettend te volgen, in plaats van te vertrouwen op wie de student was voordat hij arriveerde.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.