Technische Samenvatting: Naar Duurzaam Leren in Online Educatie: Een Reinforcement Learning-benadering

1. Probleemstelling

Online onderwijs staat voor een fundamentele spanning: hoewel het ongekende schaalbaarheid biedt, worstelt het met een laag leerengagement, hoge uitvalpercentages en een gebrekkige langetermijnretentie van kennis. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën met elk hun eigen beperkingen:

• Predictieve Modellen: Deze richten zich vaak op kortetermijndoelen, zoals het maximaliseren van de kans op succes bij de volgende leermodule, maar falen in het optimaliseren van langetermijnengagement of duurzame retentie.
• Reinforcement Learning (RL) Modellen: Hoewel deze de focus verleggen naar langetermijnbeloningen, gaan ze er doorgaans van uit dat leerlingen consequent aanbevelingen opvolgen (waarbij het risico op uitval wordt genegeerd) en geven ze prioriteit aan kennisuitbreiding boven systematische herhaling, waarbij de afweging tussen het verwerven van nieuwe concepten en het versterken van voorkennis wordt verwaarloosd.

De auteurs identificeren de noodzaak voor een systeem dat gezamenlijk duurzaam engagement (het voorkomen van uitval) en langetermijneffectiviteit (het waarborgen van kennisretentie) optimaliseert, waarbij de inherente afwegingen tussen het vooruithelpen van de leerling en het toestaan van noodzakelijke herhaling worden geadresseerd.

2. Methodologie: Het AI-Tutor Framework

Het paper stelt AI-Tutor voor, een gepersonaliseerd aanbevelingssysteem voor leertrajecten gebouwd op een Model-Based Reinforcement Learning (RL) framework. Het systeem is ontworpen om aan te sluiten bij de dubbele doelen van duurzaam leren via drie kerncomponenten:

A. Knowledge Graph (KG) Representatie

Om de structurele afhankelijkheden van kennis te verwerken, construeren de auteurs een gerichte Knowledge Graph $G=(V, E)$ waarbij knopen kennisitems representeren en randen relaties representeren.

• Edge Types: De graaf integreert Curriculum-Driven Edges (door experts gedefinieerde vereisten) en Empirically-Driven Edges (afgeleid uit historische data via association rule mining om latente ondersteunende relaties te identificeren).
• State Encoding: Een Graph Neural Network (specifiek Deep Graph Infomax) leert embeddings voor zowel individuele kennisitems als de huidige kennisstatus van de leerling (gerepresenteerd als een subgraph van geleerde items).
• Action Space Masking: De actieruimte van de RL-agent wordt beperkt tot knopen die aangrenzend zijn aan de huidige kennis-subgraph van de leerling. Dit zorgt ervoor dat aanbevelingen pedagogisch verantwoord zijn (conform de constructivistische leertheorie) en computationeel efficiënt.

B. Learner Simulator (LearnSim)

Om de inefficiëntie van data en de veiligheidsrisico's van het direct trainen van RL-agents op live gebruikers te vermijden, hanteren de auteurs een Model-Based RL benadering met behulp van een Learner Simulator (LearnSim).

• Architectuur: LearnSim maakt gebruik van een Transformer-architectuur om het historische traject van een leerling te verwerken.
• Multi-Task Voorspelling: Het voorspelt simultaan drie cruciale grootheden voor de RL-trainingslus:
  1. Engagement Probability ($p_{t}^{eng}$): De waarschijnlijkheid dat de leerling zal voortgaan na de huidige interactie.
  2. Recall Probability ($p_{t}^{rec}$): De waarschijnlijkheid dat de leerling het item kan herinneren vóór de interactie.
  3. Half-Life Strength ($h_{post}(t)$): De bijgewerkte geheugensterkte na de interactie, gebruikt om de vergeetcurve te modelleren.
• Training: LearnSim wordt getraind op historische data met behulp van binary cross-entropy losses voor engagement/recall en een gespecialiseerde loss-functie voor de schatting van de half-life gebaseerd op toekomstige recall-uitkomsten.

C. RL Policy Optimization met Cognitieve Theorie

De AI-Tutor agent gebruikt een Actor-Critic framework met specifieke modificaties aan de standaard Bellman-vergelijking om de geïdentificeerde hiaten aan te pakken:

1. Reward Function Design: De directe beloning $r_t$ is een gewogen som van twee componenten die geworteld zijn in de cognitieve theorie:

   • Knowledge Acquisition Gain ($r_{t}^{acq}$): Gebaseerd op de verbetering in de recall-waarschijnlijkheid (1 - voorspelde pre-interactie recall).
   • Knowledge Retention Gain ($r_{t}^{ret}$): Gebaseerd op de toename in half-life geheugensterkte ($h_{post} - h_{pre}$), afgeleid van de Vergetencurve theorie.
   • Formule: $r_t = r_{t}^{acq} + \beta r_{t}^{ret}$.

2. Engagement-Aware Value Estimation: De auteurs herzien de klassieke Q-functie om rekening te houden met de stochastische aard van uitval bij leerlingen. In plaats van een vaste kortingsfactor $\gamma$, integreren zij de dynamische engagement-waarschijnlijkheid $p_{t}^{eng}$:

   • Gemodificeerde Bellman-vergelijking: $Q^\pi(s_t, a_t) = r_t + p_{t}^{eng} \mathbb{E}[Q^\pi(s_{t+1}, a_{t+1})]$.
   • Dit dwingt de agent om de potentiële toekomstige beloningen af te wegen tegen het risico dat de leerling uit het leerproces stapt, wat effectief fungeert als een "risicomanager" voor het leertraject.

3. Belangrijkste Bijdragen

Het paper claimt twee primaire bijdragen:

1. Een Nieuw RL Framework voor Duurzaam Leren: In tegenstelling tot eerder werk, balanceert dit framework expliciet tussen kennisuitbreiding en retentie, en integreert het gedragsmatig engagement in de langetermijn-beloningsschatting. Het adresseert de afweging tussen academische progressie en leerlingmotivatie.
2. Theory-Driven Model Design: De benadering is een van de eersten die domeintheorieën (constructivistische leertheorie voor action masking; de Vergetencurve en Memory Strength theorieën voor de reward-formulering) direct in de RL-modelformulering implementeert, in plaats van ze als post-hoc heuristieken te behandelen.

4. Empirische Resultaten

Het model werd geëvalueerd op een dataset van 23,6 miljoen leerrecords van 33.700 leerlingen op het taalplatform MaiMemo (Engelse woordenschat voor de Graduate Entrance Examination).

• Baselines: AI-Tutor werd vergeleken met:

  • Myopic Greedy: Prioriteert onmiddellijke moeilijkheid.
  • FSRSv1/v2: Industrie-standaard spaced repetition systemen (gebruikmakend van respectievelijk HLR en LearnSim).
  • DRL-SRS: Een deep Q-learning benadering voor spaced repetition.
  • Ablatie Varianten: AI-Tutor zonder engagement modeling (v1), zonder KG masking (v2), en zonder retention rewards (v3).

• Prestatie-metrieken:

  • Course Completion Rate: AI-Tutor behaalde een voltooiingspercentage van 31,1%, wat aanzienlijk hoger is dan DRL-SRS (11,2%) en alle andere baselines. Dit vertegenwoordigt een toename van 177,7% ten opzichte van de beste niet-ablatie baseline.
  • Final Exam Performance: AI-Tutor behaalde een score van 55,9%, een verbetering van 149,6% ten opzichte van DRL-SRS (22,4%).
  • Learner Simulator: LearnSim presteerde beter dan standaard baselines (Logistic Regression, Random Forest, Gradient Boosting) in engagement-voorspelling (verbetering van de balanced accuracy met >35%) en geheugenvoorspellings-taken.

• Ablatie Inzichten:

  • Het verwijderen van engagement modeling (AI-Tutorv1) veroorzaakte de meest significante prestatiedaling, wat de noodzaak bevestigt om het risico op uitval te modelleren.
  • Het verwijderen van KG-gebaseerde action masking (AI-Tutorv2) leidde tot hogere uitvalpercentages zonder winst in leren.
  • Het verwijderen van retention rewards (AI-Tutorv3) resulteerde in lagere scores voor het eindexamen, wat het belang van systematische herhaling benadrukt.

5. Betekenis en Claims

Het paper concludeert dat AI-Tutor er succesvol in slaagt de dubbele doelen van duurzaam leren in online onderwijs te bereiken: effectieve langetermijnretentie van kennis en duurzaam leerengagement.

• Mensgerichte Adaptatie: Analyses van leertrajecten laten zien dat AI-Tutor dynamisch aanpast aan leerlingprofielen (bijv. het toewijzen van lagere moeilijkheidsgraad en meer herhaling voor minder presterende leerlingen) en de balans tussen uitdaging en motivatie bewaakt, waardoor de "overload" die bij agressieve greedy strategieën optreedt, wordt voorkomen.
• Generaliseerbaarheid: De auteurs beweren dat het framework aanpasbaar is voor andere domeinen buiten het taalonderwijs. Zij stellen dat elk onderwerp met een gestructureerde knowledge graph, periodieke herhalingscycli en eindtoetsen dit framework kan gebruiken door een domeinspecifieke LearnSim en AI-Tutor te trainen.
• Theoretische Afstemming: De studie demonstreert dat het direct integreren van cognitieve psychologische theorieën (vergetencurves, constructivisme) in de RL-rewardstructuren en state-representaties superieure praktische resultaten oplevert vergeleken met puur datagedreven of regelgebaseerde benaderingen.