A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Deze studie presenteert een wiskundig raamwerk voor de tijdsgebonden modellering van studieverlating en het simuleren van tegenwerkelijke beleidsmaatregelen op basis van LMS-gegevens, waarmee de capaciteit wordt aangetoond om interne structurele scenario's te vergelijken binnen de beperkingen van observationele data.

De kern

De Kern: Een Weerbericht voor Studeren

Stel je voor dat een universiteit een enorme weersvoorspelling heeft. Maar in plaats van te zeggen "morgen regent het", zegt deze voorspelling: "Student X heeft een 30% kans om deze week te stoppen met studeren."

Dit onderzoek van Rafael, Jeff en Gregory gaat over het bouwen van zo'n slimme weersvoorspelling voor studenten die dreigen te stoppen (drop-out). Ze willen niet alleen weten wie in de problemen zit, maar vooral wanneer het gevaar het grootst is en wat er zou gebeuren als de universiteit op dat moment ingrijpt.

De Drie Delen van het Onderzoek

Het onderzoek bestaat uit drie hoofdstukken, die we kunnen vergelijken met het bouwen van een auto, het testen van de remmen en kijken of de auto voor iedereen even goed rijdt.

1. De Voorspelling (Het Radarbeeld)

Het probleem: Veel universiteiten kijken alleen naar het eindresultaat: "Heeft de student geslaagd of niet?" Dat is te laat. Het onderzoek wil kijken naar het proces, week na week.
De oplossing: Ze gebruiken data van het online leerplatform (LMS). Denk aan: Heeft de student ingelogd? Heeft hij geklikt? Hoe lang is het geleden dat hij iets deed?
De analogie: Stel je voor dat je een auto hebt die continu de brandstofmeet. Als de tank bijna leeg is, geeft hij een waarschuwing. Dit model doet precies dat: het meet elke week of de "brandstof" (de motivatie/activiteit) van een student op is.
Het resultaat: Het model is erg goed in het voorspellen wanneer het risico stijgt. Het is als een radar die een storm ziet aankomen voordat de eerste druppel valt.

2. Het Simuleren van Interventies (De "Wat als?"-test)

Het probleem: We weten nu wanneer het gevaar is, maar wat moeten we doen? Moeten we een mailtje sturen? Een gesprek? En werkt dat?
De oplossing: Omdat ze niet echt kunnen experimenteren met echte studenten (dat zou oneerlijk of onveilig zijn), bouwen ze een virtuele simulatie. Ze spelen een spelletje: "Wat als we elke student die 7 dagen niet heeft ingelogd, een digitale 'duwtje' geven?"
De analogie: Het is alsof je een video-game speelt waarin je twee scenario's test:

• Scenario A (De Schok): Je geeft een plotselinge beloning aan iedereen die stil stond.
• Scenario B (De Mechanische aanpassing): Je past het spel zelf aan, zodat het makkelijker wordt om weer te beginnen.
  Het resultaat:
• Bij de "plotselinge schok" (Scenario A) zagen ze dat de studenten iets langer bleven studeren (een klein beetje meer overleving).
• Bij de "mechanische aanpassing" (Scenario B) werkte het helaas niet zo goed in deze simulatie.
• Belangrijk: Ze zeggen niet dat dit zeker werkt in het echte leven, maar dat het model laat zien dat deze strategie in theorie zou kunnen werken. Het is een proefballon.

3. De Rechtvaardigheidstest (Rijdt de auto voor iedereen even goed?)

Het probleem: Werkt deze voorspelling en deze hulp voor iedereen even goed? Of helpt het alleen mannen en niet vrouwen, of alleen rijke studenten?
De oplossing: Ze keken specifiek naar het verschil tussen mannen en vrouwen in hun simulatie.
De analogie: Stel je voor dat je een nieuwe remtest doet voor een vrachtwagen. Je moet controleren of de remmen voor de bestuurder én de passagier even goed werken.
Het resultaat: Het verschil tussen mannen en vrouwen was heel klein en stabiel. De strategie werkte (of werkte niet) voor beide groepen op dezelfde manier. Er was geen groot onrechtvaardig effect gevonden in deze test.

Waarom is dit belangrijk?

Vroeger waren scholen vaak reactief: "Oh, Jan is gestopt, dat is jammer."
Met dit nieuwe model kunnen scholen proactief zijn: "Hé, Jan logt al 3 weken niet meer in. De kans dat hij stopt is nu groot. Laten we nu even bellen."

Samenvatting in één zin

De auteurs hebben een slim computerprogramma gebouwd dat als een weersvoorspelling werkt voor studeren: het voorspelt wanneer een student dreigt te stoppen, en laat zien welke ingrepen in een virtuele wereld zouden kunnen helpen, zodat scholen beter kunnen beslissen wie ze wanneer moeten helpen.

Let op: De auteurs benadrukken dat dit een simulatie is. Het is een krachtig hulpmiddel om plannen te maken, maar het is nog geen garantie dat het in de echte wereld precies zo zal werken. Het is een blauwdruk, geen voltooide brug.

Technische samenvatting

Titel: Een wiskundig raamwerk voor tijdsgebonden modellering en contrafactual beleidsimulatie van studentenafval

1. Probleemstelling

Studenten die voortijdig stoppen met hun studie (dropout) in het hoger onderwijs veroorzaken aanzienlijke kosten voor individuen, instellingen en de maatschappij. Bestaande aanpakken voor het voorspellen van afval zijn vaak statisch: ze voorspellen wie waarschijnlijk zal stoppen, maar bieden weinig inzicht in wanneer het risico toeneemt tijdens het studiejaar.
De huidige uitdagingen zijn:

• Gebrek aan temporaliteit: Risico's worden vaak als statische scores weergegeven in plaats van als een dynamisch proces dat zich over tijd ontwikkelt.
• Operationalisatie van interventies: Het is moeilijk om voorspellingen om te zetten in auditabele beslissingsregels (bijv. wanneer moet een interventie plaatsvinden?).
• Causale identificatie: In observationele data (zoals leermanagement-systemen, LMS) is het vaak onmogelijk om causale effecten van interventies direct te meten omdat er geen gecontroleerde experimenten (zoals A/B-tests) zijn uitgevoerd.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat drie componenten combineert: tijdsgebonden hazard-modellering, contrafactual beleidsimulatie en subgroep-analyse. De studie maakt gebruik van de Open University Learning Analytics Dataset (OULAD).

A. Dataconstructie en Eindevent

• Eenheid van analyse: Inschrijvingen (per cursus) in plaats van individuele studenten.
• Tijdsindeling: Discrete weken (person-period rows). Elke inschrijving wordt uitgebreid tot een reeks wekelijkse rijen totdat het eindpunt wordt bereikt.
• Doelvariabele (Event): Administratief terugtrekken (Withdrawn) met een geldige datum. Zonder geldige datum worden gevallen als "censored" (gecensureerd) behandeld.
• Features: Dynamische covariaten zoals totale klikken, recency (hoe lang geleden er interactie was), streak (aantal opeenvolgende weken activiteit) en ingediende opdrachten.

B. Tijdsgebonden Hazard Modellering (RQ1)

• Model: Een gepenaliseerde, klassen-gebalanceerde logistische regressie op wekelijkse rijen.
• Doel: Schatting van de weekelijkse hazard $h_{it}$ (de kans op afval in week $t$ gegeven dat de student tot dan toe is blijven zitten).
• Validatie: Het model wordt getraind met een stratified temporal split (op inschrijvingsniveau) om data-lekkage te voorkomen. Kalibratie gebeurt via Platts scaling.
• Survival: De overlevingskans $S(t)$ wordt berekend als het cumulatieve product van $(1 - \hat{h})$.

C. Contrafactual Beleidsimulatie (RQ2)

Omdat causale effecten niet direct identificeerbaar zijn, simuleert het raamwerk beleidsscenario's om structurele contrasten te evalueren:

• Trigger: Een regel gebaseerd op "recency" (geen LMS-activiteit in de laatste 7 dagen).
• Scenario's:
  1. Shock-situatie: De hazard wordt direct verlaagd met een factor $\delta$ gedurende een actief venster (simulatie van een directe interventie).
  2. Mechanisme-bewuste situatie: Covariaten (zoals klikgedrag) worden in de simulatie aangepast (verhoogd) en de hazard wordt opnieuw berekend op basis van deze nieuwe covariatenpaden.
• Resultaat: Het verschil in overleving $\Delta S(t)$ tussen het beleidsscenario en de baseline.

D. Subgroep-analyse (RQ3)

• Onderzoek naar hoe dezelfde beleidsregels de kloof tussen subgroepen (bijv. geslacht) beïnvloeden.
• Berekening van $\Delta Gap(t)$: de verandering in het verschil tussen groepen onder het beleid ten opzichte van de baseline.
• Onzekerheid: Gequantificeerd via bootstrapping (500 resamples).

3. Belangrijkste Bijdragen

1. Dynamisch Raamwerk: Verschuiving van statische risicoscores naar een tijdsgebonden hazard-model dat wekelijkse risico's schat.
2. Structurele Beleidsvergelijking: Een methodologie om beleidsregels te testen via contrafactual simulatie zonder claims te doen over causale identificatie in observationele data.
3. Dual-Horizon Evaluatie: Een onderscheid tussen een substantief rapportage-horizon ($T_{policy} = 18$ weken) en een technisch horizon voor stabiele metrieken ($T_{metrics} = 37$ weken), gebaseerd op censureringsstabiliteit.
4. Audit en Reproduceerbaarheid: Volledige traceerbaarheid van beleidscontracten, scenario-parameters en operator-specifieke logs, beschikbaar via een open-source repository.

4. Resultaten

De resultaten zijn gebaseerd op de testset van de OULAD-dataset (9.778 inschrijvingen).

• RQ1 (Modelkwaliteit):
  • Het model toont een sterke discriminatie voor wekelijkse hazard: AUC 0,8350 (train) en 0,8405 (test).
  • De kalibratie is over het algemeen acceptabel, maar de hoogste risicobins hebben weinig steun (weinig data), wat interpretatie daar voorzichtig vereist.
• RQ2 (Beleidsimulatie):
  • Shock-scenario: Toont positieve overlevingswinsten ($\Delta S$) afhankelijk van de intensiteit van de interventie. Bij een conservatieve schok ($\delta=0,08$) is $\Delta S(18) = 0,0102$; bij een sterke hypothetische schok ($\delta=0,60$) is $\Delta S(18) = 0,0819$.
  • Mechanisme-bewust scenario: Dit scenario leverde geen positieve winst op; de resultaten waren licht negatief ($\Delta S(18) = -0,0078$). Dit suggereert dat het simpele verhogen van klikgedrag in de simulatie niet voldoende is om de hazard te verlagen onder de huidige modelparameters.
• RQ3 (Subgroep):
  • Het beleid leidt tot een zeer kleine, maar richtingstabiele verandering in de geslachtskloof ($\Delta Gap \approx -0,0005$). De 95% betrouwbaarheidsintervallen sluiten nul uit, wat aangeeft dat de richting stabiel is, maar de effectgrootte verwaarloosbaar klein is.

5. Betekenis en Conclusie

Dit onderzoek biedt een robuust analytisch raamwerk om studentenafval te analyseren als een dynamisch proces.

• Praktische toepassing: Instellingen kunnen dit model gebruiken om te bepalen wanneer risicogroepen het kwetsbaarst zijn en om verschillende interventiestrategieën te vergelijken voordat ze worden ingezet.
• Beperkingen: De resultaten zijn geen causale bewijzen van interventiesuccessen, maar eerder structurele vergelijkingen binnen het model. De effecten zijn afhankelijk van de gekozen scenario-parameters.
• Toekomst: Het raamwerk is portabel naar andere LMS-omgevingen zolang er tijdsgebonden interactiedata en administratieve eindpunten beschikbaar zijn. Het benadrukt de noodzaak van tijdsgebonden data voor het optimaliseren van studentenondersteuning.

Samenvattend bewijst het artikel dat het mogelijk is om van voorspelling naar beleidsanalyse te gaan door middel van een strikt gedefinieerd, reproduceerbaar en auditbaar simulatieproces, zelfs zonder experimentele data.