From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support

In het uitgestrekte digitale landschap van het moderne onderwijs leggen learning management systems een constante stroom van studentactiviteit vast: klikken op cursuspagina's, het inleveren van quizzen, deelname aan forums en de timing van elke login. Jarenlang hebben datawetenschappers deze digitale sporen gebruikt om modellen te bouwen die voorspellen welke studenten waarschijnlijk moeite zullen hebben of zullen zakken. Deze voorspellende instrumenten fungeren als een vroeg waarschuwingssysteem dat risicovolle leerlingen signaleert voordat er een crisis optreedt. Echter, een voorspelling van problemen is slechts de helft van de oplossing. Weten dat een student in gevaar is, vertelt een docent of adviseur niet welke specifieke, praktische stappen kunnen worden ondernomen om te helpen. Een waarschuwing die zegt "deze student zal zakken" is minder nuttig dan een gids die zegt "als deze student deze drie pagina's doorneemt en één ondersteuningssessie bijwoont, neemt hun kans om te slagen aanzienlijk toe." De uitdaging ligt in het omzetten van een statistische risicoscore naar een concreet, actiegericht plan dat rekening houdt met de reële beperkingen van tijd, middelen en de privacy van de student.

Dit is het centrale probleem dat wordt aangepakt door een nieuw framework genaamd SC2R, ontwikkeld door onderzoekers om de kloof te overbruggen tussen het voorspellen van falen en het mogelijk maken van succes. Het team, werkend met gegevens uit de Open University Learning Analytics Dataset, zocht naar een manier om verder te gaan dan eenvoudige risicoscores door interventieplannen te genereren die niet alleen wiskundig mogelijk zijn, maar ook daadwerkelijk haalbaar binnen de beperkingen van een echte klasomgeving. Zij erkenden dat een aanbeveling nutteloos is als deze een student vraagt iets onmogelijks te doen, zoals een klas bijwonen nadat de deadline is verstreken, een permanente persoonlijke eigenschap veranderen of toegang krijgen tot een bron die niet beschikbaar is. Om dit op te lossen, combineerden zij een voorspellend model met een systeem dat elke voorgestelde actie controleert tegen een reeks strikte, machineleesbare regels met betrekking tot timing, budget en beschikbaarheid.

De onderzoekers bouwten een systeem dat in drie afzonderlijke stadia werkt. Eerst kijkt het naar de huidige staat van een student, waarbij de recente activiteit en de prestaties uit het verleden op specifieke momenten vóór een komend examen worden vastgelegd. Een voorspellend model schat vervolgens de waarschijnlijkheid in dat die student het volgende assessment zal halen. Als de waarschijnlijkheid te laag is, schakelt het systeem over naar de tweede fase: het genereren van een lijst met potentiële acties om de uitkomst te verbeteren. Dit zijn geen vage suggesties, maar discrete, telbare stappen, zoals het doorlopen van een specifiek aantal oefentoetsen of het opnieuw bekijken van een reeks cursuspagina's. Het systeem gebruikt een wiskundige optimalisatiemethode om de combinatie van acties te vinden die de beste kans op succes biedt, terwijl de student de minste inspanning hoeft te leveren.

De ware innovatie van dit werk ligt echter in de derde fase, waar het systeem fungeert als een rigoureuze poortwachter. Voordat een plan ooit aan een mens wordt gepresenteerd, wordt het vertaald naar een gestructureerd digitaal formaat en onderworpen aan een semantische validatiecontrole. Dit proces verifieert dat elke voorgestelde actie binnen de realiteit van de onderwijsomgeving past. Het zorgt ervoor dat de voorgestelde activiteiten voltooid kunnen worden vóór de deadline van het examen, dat de totale inspanning een redelijke limiet niet overschrijdt, en dat de student niet wordt gevraagd onveranderlijke feiten over hun identiteit of geschiedenis te wijzigen. Het systeem controleert ook of de vereiste middelen, zoals een specifieke labsessie of een ondersteuningscentrum, daadwerkelijk open en beschikbaar zijn tijdens de voorgestelde tijd.

Toen de onderzoekers dit framework testten op gegevens van meer dan 127.000 studentensamples, benadrukten de resultaten het cruciale belang van deze beperkingen. Het voorspellende component van het systeem presteerde sterk en identificeerde studenten die een risico liepen met een hoge mate van betrouwbaarheid. Nog belangrijker was dat het systeem erin slaagde om duizenden compacte interventieplannen te genereren, waarbij het gemiddelde plan slechts iets meer dan één actie vereiste om een gewenste verbetering in de slaagkans te bereiken. De gemiddelde kosten van deze interventies werden berekend op ongeveer 10,3 eenheden, een metriek die de vereiste inspanning vertegenwoordigt. Cruciaal was dat de semantische validatielaag onthulde dat zonder deze strikte controles veel plannen die op papier goed leken, in de praktijk zouden worden afgewezen. In een gecontroleerde test van 200 gevallen, toen het systeem werd gevraagd om rekening te houden met de beschikbaarheid van middelen, werd bijna 13 procent van de plannen die aanvankelijk geldig leken, gemarkeerd als onmogelijk omdat de vereiste middelen niet beschikbaar waren op de voorgestelde tijdstippen.

De studie suggereert dat de waarde van een dergelijk systeem niet ligt in het garanderen dat een student zal slagen, maar in het waarborgen dat het gegeven advies betrouwbaar en operationeel solide is. De onderzoekers ontdekten dat hoewel het systeem plannen kon genereren die wiskundig geldig waren, de semantische beperkingen noodzakelijk waren om die plannen te filteren die in de praktijk onuitvoerbaar waren. Dit onderscheid is essentieel voor het opbouien van vertrouwen tussen docenten en kunstmatige intelligentie. Als een systeem een plan suggereert dat een docent weet onmogelijk uit te voeren is, verliest het hele instrument zijn geloofwaardigheid. Door de haalbaarheid van een plan machine-controleerbaar te maken, zorgt het framework ervoor dat aanbevelingen niet alleen model-valide zijn, maar ook semantisch haalbaar en interpreteerbaar.

Het werk onderzocht ook hoe stabiel deze aanbevelingen zijn wanneer de onderliggende gegevens licht veranderen of wanneer het model opnieuw wordt getraind. De resultaten lieten zien dat de plannen redelijk stabiel waren tegen kleine veranderingen in de input van de student, maar minder stabiel wanneer het voorspellende model zelf werd bijgewerkt. Dit geeft aan dat hoewel het framework robuust is voor directe besluitvorming, de aanbevelingen opnieuw bekeken moeten worden als de leeromgeving of het begrip van het model daarover significant verschuift. De onderzoekers merkten er zorgvuldig bij op dat hun evaluatie offline werd uitgevoerd met historische gegevens, wat betekent dat zij niet konden bewijzen dat het volgen van deze plannen daadwerkelijk de uitkomsten van studenten zou veranderen in een live setting. De studie vestigt de haalbaarheid van de methode, niet de causale impact van de interventies.

Uiteindelijk biedt dit onderzoek een nieuwe manier om over onderwijsondersteuning na te denken. Het verplaatst het gesprek van simpelweg identificeren wie er een risico loopt naar het definiëren van wat erover gedaan kan worden, mits de oplossing respect heeft voor het complexe web van tijd, middelen en regels die het onderwijs beheersen. Door interventieplanning te behandelen als een probleem dat zowel wiskundige optimalisatie als semantische realiteitschecks vereist, biedt het framework een pad naar besluitvormingsondersteuning die even praktisch als voorspellend is. De bevindingen suggereren dat voor kunstmatige intelligentie om werkelijk nuttig te zijn in het onderwijs, het in staat moet zijn de taal van het klaslokaal te spreken, waarbij het niet alleen de cijfers begrijpt, maar ook de beperkingen die die cijfers betekenis geven.