Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

In het uitgestrekte landschap van online onderwijs genereren platforms een continue stroom van digitale voetafdrukken: klikken op cursusmateriaal, het inleveren van opdrachten en patronen van inlogactiviteit. Docenten en beheerders hopen deze gegevens te gebruiken om studenten die moeite hebben te signaleren voordat het te laat is, om hulp te bieden aan hen die anders zouden uitvallen. Het omzetten van deze digitale sporen in een betrouwbaar waarschuwingssysteem is echter problematisch. Een model dat perfect werkt voor één cursus, faalt vaak wanneer het op een andere wordt toegepast, simpelweg omdat de studenten, de onderwijsstijl of de manier waarop cijfers worden toegekend verschillen. Bovendien kan een computerprogramma erg goed zijn in het rangschikken van studenten van "meest risicovol" naar "minst risicovol", maar als het specifieke getal dat aan het risico van een student wordt toegekend onjuist is, wordt het gevaarlijk. Als een systeem een docent vertelt dat een student negentig procent kans heeft om te zakken terwijl de werkelijke kans slechts dertig procent is, kan de docent kostbare tijd verspillen aan een student die het niet nodig heeft, of erger nog, een student negeren die dat wel echt nodig heeft. De kernuitdaging is niet alleen het voorspellen wie er moeite zal hebben, maar het waarborgen dat de probabiliteitsgetallen die de computer uitspuugt eerlijk en betrouwbaar zijn, zelfs wanneer het systeem naar een nieuwe klasomgeving wordt verplaatst.

Onderzoekers aan de Shandong Yingcai Universiteit pakten dit probleem aan door een raamwerk te bouwen dat ontworpen is om deze risicovoorspellingen betrouwbaar te maken over verschillende universitaire modules, of cursussen. Ze gebruikten een enorme, geanonimiseerde dataset van de Open University, die gegevens bevatte van bijna dertigduizend studenten verspreid over zeven verschillende modules. Het team stelde een rigoureuze test op waarbij ze hun modellen trainden op gegevens van zes van de modules en vervolgens probeerden die modellen toe te passen op de zevende module, die ze nog nooit eerder hadden gezien. Deze aanpak, bekend als een "leave-one-module-out"-test, simuleert een scenario in de echte wereld waarbij een school een systeem wil gebruiken dat gebouwd is voor een bepaalde set lessen om te helpen bij een totaal andere set lessen. Ze controleerden hun voorspellingen op vier verschillende momenten in de tijd: twee weken, vier weken, zes weken en acht weken na de start van de cursus. Dit stelde hen in staat om te zien hoe de nauwkeurigheid van de voorspellingen veranderde naarmate er meer informatie over de studenten beschikbaar kwam.

De studie toonde aan dat hoewel de modellen vrij goed waren in het rangschikken van studenten — het identificeren van welke meer waarschijnlijk zouden zakken dan anderen — de ruwe waarschijnlijkheidsgetallen die ze produceerden vaak misleidend waren wanneer ze naar een nieuwe cursus werden overgebracht. Wanneer de onderzoekers een model dat getraind was op één module direct toepasten op een andere zonder aanpassingen, kwamen de voorspelde waarschijnlijkheden niet overeen met de werkelijke uitkomsten. Bijvoorbeeld, het systeem zou een bepaald risiconiveau kunnen voorspellen dat consequent te hoog of te laag was in vergelijking met wat er daadwerkelijk gebeurde. Dit is een kritiek falen voor een vroeg waarschuwingssysteem, omdat beheerders moeten weten dat een label "hoog risico" werkelijk een hoge kans op zakken betekent, en niet slechts een relatieve vergelijking. Om dit op te lossen, ontwikkelden de onderzoekers een methode genaamd target-adaptive kalibratie. Dit proces houdt in dat men een kleine hoeveelheid historische gegevens van de nieuwe cursus neemt — specif_ (Note: The user requested a translation of the entire text provided. I will proceed with the full translation.)

In het uitgestrekte landschap van online onderwijs genereren platforms een continue stroom van digitale voetafdrukken: klikken op cursusmateriaal, het inleveren van opdrachten en patronen van inlogactiviteit. Docenten en beheerders hopen deze gegevens te gebruiken om studenten die moeite hebben te signaleren voordat het te laat is, om hulp te bieden aan hen die anders zouden uitvallen. Het omzetten van deze digitale sporen in een betrouwbaar waarschuwingssysteem is echter problematisch. Een model dat perfect werkt voor één cursus, faalt vaak wanneer het op een andere wordt toegepast, simpelweg omdat de studenten, de onderwijsstijl of de manier waarop cijfers worden toegekend verschillen. Bovendien kan een computerprogramma erg goed zijn in het rangschikken van studenten van "meest risicovol" naar "minst risicovol", maar als het specifieke getal dat aan het risico van een student wordt toegekend onjuist is, wordt het gevaarlijk. Als een systeem een docent vertelt dat een student negentig procent kans heeft om te zakken terwijl de werkelijke kans slechts dertig procent is, kan de docent kostbare tijd verspillen aan een student die het niet nodig heeft, of erger nog, een student negeren die dat wel echt nodig heeft. De kernuitdaging is niet alleen het voorspellen wie er moeite zal hebben, maar het waarborgen dat de probabiliteitsgetallen die de computer uitspuugt eerlijk en betrouwbaar zijn, zelfs wanneer het systeem naar een nieuwe klasomgeving wordt verplaatst.

Onderzoekers aan de Shandong Yingcai Universiteit pakten dit probleem aan door een raamwerk te bouwen dat ontworpen is om deze risicovoorspellingen betrouwbaar te maken over verschillende universitaire modules, of cursussen. Ze gebruikten een enorme, geanonimiseerde dataset van de Open University, die gegevens bevatte van bijna dertigduizend studenten verspreid over zeven verschillende modules. Het team stelde een rigoureuze test op waarbij ze hun modellen trainden op gegevens van zes van de modules en vervolgens probeerden die modellen toe te passen op de zevende module, die ze nog nooit eerder hadden gezien. Deze aanpak, bekend als een "leave-one-module-out"-test, simuleert een scenario in de echte wereld waarbij een school een systeem wil gebruiken dat gebouwd is voor een bepaalde set klassen om te helpen bij een compleet andere set klassen. Ze controleerden hun voorspellingen op vier verschillende momenten in de tijd: twee weken, vier weken, zes weken en acht weken na de start van de cursus. Dit stelde hen in staat om te zien hoe de nauwkeurigheid van de voorspellingen veranderde naarmate er meer informatie over de studenten beschikbaar kwam.

De studie onthulde dat hoewel de modellen vrij goed waren in het rangschikken van studenten — het identificeren van welke meer waarschijnlijk zouden zakken dan anderen — de ruwe waarschijnlijkheidsgetallen die ze produceerden vaak misleidend waren wanneer ze naar een nieuwe cursus werden overgebracht. Wanneer de onderzoekers een model dat getraind was op één module direct op een andere toepasten zonder aanpassingen, kwamen de voorspelde waarschijnlijkheden niet overeen met de werkelijke uitkomsten. Bijvoorbeeld, het systeem zou een bepaald risiconiveau kunnen voorspellen dat consistent te hoog of te laag was in vergelijking met wat er daadwerkelijk gebeurde. Dit is een kritiek falen voor een vroeg waarschuwingssysteem, omdat beheerders moeten weten dat een label "hoog risico" werkelijk een hoge kans op zakken betekent, en niet slechts een relatieve vergelijking. Om dit op te lossen, ontwikkelden de onderzoekers een methode genaamd target-adaptive kalibratie. Dit proces houdt in dat men een kleine hoeveelheid historische gegevens van de nieuwe cursus neemt — specifiek de resultaten van eerdere jaren van diezelfde cursus — en deze gebruikt om de getallen van het model voorzichtig aan te passen. Ze testten het gebruik van historische gegevens die tien, twintig of dertig procent van de studentenpopulatie vertegenwoordigden om te zien hoeveel aanpassing er nodig was.

De resultaten toonden aan dat zelfs een bescheiden hoeveelheid historische gegevens van de nieuwe cursus de betrouwbaarheid van de voorspellingen drastisch kon verbeteren. Wanneer de onderzoekers historische gegevens van dertig procent van de studentenpopulatie gebruikten om het model te herkalibreren, verbeterde de nauwkeurigheid van de waarschijnlijkheidschattingen aanzienlijk. De maatstaf voor fouten, de Brier-score, daalde van een waarde van 0,243 naar 0,205, en een andere maatstaf voor hoe goed de waarschijnlijkheden overeenkwamen met de werkelijkheid, de expected calibration error, daalde van 0,158 naar 0,076. Cruciaal was dat deze aanpassing de volgorde waarin studenten werden gerangschikt niet veranderde; de studenten die het meest risicovol waren, bleven bovenaan de lijst staan. In plaats daarvan zorgde de aanpassing er simpelweg voor dat de getallen die aan die studenten werden gekoppeld nauwkeuriger waren. Dit betekent dat een docent die naar een student kijkt met een "hoog risico"-score, erop kan vertrouwen dat het getal werkelijk de waarschijnlijkheid weerspiegelt dat die student zal zakken, in plaats van een vertekende gok gebaseerd op een andere cursus.

De onderzoekers verkenden ook of complexere methoden, zoals het wiskundig herwegen van de gegevens om rekening te houden met verschillen tussen cursussen, betere resultaten zouden opleveren. Ze ontdekten dat deze complexere benaderingen geen significant voordeel boden ten opzichte van de eenvoudigere methode van het gebruiken van historische gegevens om de waarschijnlijkheden aan te passen. De meest effectieve strategie was simpelweg om de output van het model te nemen en het bij te sturen met de bekende uitkomsten uit het verleden van de nieuwe cursus. Dit bevinding is belangrijk omdat het suggereert dat scholen geen volledig nieuwe, complexe modellen hoeven te bouren voor elke cursus die ze aanbieden. In plaats daarvan kunnen ze een algemeen model gebruiken en het vervolgens verfijnen met een kleine hoeveelheid lokale gegevens om het betrouwbaar te maken.

Buiten de cijfers keken de onderzoekers ook naar hoe deze gekalibreerde waarschijnlijkheden zich vertalen naar actie in de echte wereld. In een schoolsetting hebben docenten en ondersteunend personeel beperkte tijd en kunnen zij slechts een bepaald aantal studenten beoordelen. De onderzoekers simuleerden deze beperking door de vraag te stellen: als een docent alleen naar de meest risicovolle tien procent van de studenten kan kijken, hoeveel van de werkelijke toekomstige uitvallers zouden zij dan vangen? Ze ontdekten dat de gekalibreerde waarschijnlijkheden een veel duidelijker begrip boden van deze afweging. Zonder kalibratie zou een docent een drempelwaarde kunnen instellen die redelijk lijkt, maar die er uiteindelijk toe leidt dat er veel te veel studenten worden beoordeeld of dat er te veel risicovolle individuen worden gemist. Met de gekalibreerde waarschijnlijkheden kan de docent een specifieke drempelwaarde instellen en precies weten hoeveel studenten gemarkeerd zullen worden en hoeveel risicovolle studenten er gevangen zullen worden. Bijvoorbeeld, bij een specifieke risicodrempel verminderde het gekalibreerde systeem de werklast met bijna de helft, terwijl het nog steeds een aanzienlijk deel van de studenten die zouden zakken, ving, wat het systeem veel praktischer maakt voor drukke onderwijsinstellingen.

De studie onderzocht ook de eerlijkheid van deze voorspellingen over verschillende groepen studenten, zoals studenten met verschillende achtergronden of capaciteiten. Ze ontdekten dat hoewel het algemene systeem goed functioneerde, er nog steeds variaties waren in de nauwkeurigheid waarmee uitkomsten voor specifieke subgroepen werden voorspeld. Dit benadrukt dat zelfs een goed gekalibreerd systeem voortdurende monitoring vereist om te voorkomen dat het bepaalde groepen leerlingen onbedoeld benadeelt. De onderzoekers gebruikten instrumenten om uit te leggen welke factoren de voorspellingen aanstuurden, waarbij ze vonden dat de belangrijkste signalen gerelateerd waren aan ontbrekende opdrachten en recente inactiviteit. Deze transparantie helpt onderwijzers te begrijpen dat het systeem studenten signaleert op basis van concrete gedragingen, zoals het niet inleveren van werk of het stoppen met betrokkenheid, in plaats van op verborgen of bevooroordeelde factoren.

Uiteindelijk biedt dit onderzoek een routekaart voor het betrouwbaarder en nuttiger maken van kunstmatige intelligentie in het onderwijs. Het toont aan dat de grootste hindernis bij het verplaatsen van een voorspellend systeem van de ene cursus naar de andere niet noodzakelijkerwijs het vermogen is om studenten correct te rangschikken, maar het vermogen om de waarschijnlijkheidsgetallen eerlijk te maken. Door een eenvoudig proces van het aanpassen van het model met een kleine hoeveelheid lokale historische gegevens te gebruiken, kunnen scholen ervoor zorgen dat hun vroege waarschuwingssystemen zowel accuraat als actiegericht zijn. De studie concludeert dat hoewel de technologie krachtig is, de werkelijke waarde ligt in het vermogen om het aan te passen aan de specifieke context van de klas, zodat de waarschuwingen die naar onderwijzers worden gestuurd niet alleen statistisch onderbouwd zijn, maar ook werkelijk behulpzaam zijn bij het ondersteunen van studenten die moeite hebben.