Understanding Self-Regulated Learning Behavior Among High and Low Dropout Risk Students During CS1: Combining Trace Logs, Dropout Prediction and Self-Reports

1. Probleemstelling

De introductiecursus programmeren (CS1) vormt een kritieke knelpunt in het informatica-onderwijs, gekenmerkt door hoge uitvalpercentages en aanzienlijke uitdagingen voor beginnende studenten. Hoewel voorspellende leeranalyses studenten met risico's met hoge nauwkeurigheid kunnen identificeren, missen deze modellen vaak uitlegbaarheid. Docenten hebben moeite om te begrijpen waarom een student wordt voorspeld om uit te vallen of hoe hun specifieke leergedrag bijdraagt aan dat risico.

Huidig onderzoek vertrouwt vaak op post-cursus vergelijkingen van hoog- versus laagpresterende studenten of maakt gebruik van zelfrapportages die geen temporale granulariteit bieden. Er is behoefte aan een methode die:

• Real-time gedragsdata (trace logs) koppelt aan voorspellende uitvalmodellen.
• Onderscheid maakt tussen tijdelijke strijd en onomkeerbare paden naar uitval.
• Theorie over zelfgestuurd leren (SRL) integreert om deze gedragingen te interpreteren.

2. Methodologie

De studie hanteerde een mixed-methods aanpak die kwantitatieve leeranalyses combineerde met kwalitatieve zelfrapportages, gebaseerd op de theorie van Zelfgestuurd Leren (SRL) (specifiek het tactiek-strategie-framework van Winne & Hadwin).

2.1 Datacollectie

• Context: Een 6-EC CS1-cursus aan de Universiteit van Jyväskylä (herfst 2023) met 321 ingeschreven studenten.
• Deelnemers: 47 toestemmende studenten leverden trace logs; 29 hiervan voltooiden een post-cursus zelfrapportagevragenlijst.
• Databronnen:
  • Trace Logs: 86.738 ruwe gebeurtenissen uit een Virtueel Leeromgeving (VLE), inclusief gebruik van cursusboeken, colleges, taakindieningen (introductie, kern, basis, bonus, guru), TA-sessies en beoordelingen van modelantwoorden.
  • Prestatiedata: Wekelijkse taakscores, examenscores en eindcijfers.
  • Zelfrapportages: Open vragen over studiegewoonten, uitdagingen en hulpbronnengebruik.

2.2 Dataanalysepijplijn

De auteurs ontwikkelden een pijplijn in vijf stappen om ruwe logs om te zetten in interpreteerbare leerprofielen:

1. Log Preprocessing: Ruwe gebeurtenissen werden gegroepeerd in studentsessies met behulp van een drempelwaarde van 25 minuten (gebaseerd op de geschatte tijd voor taakvoltooiing). Sessies met slechts één gebeurtenis werden verwijderd om ruis te filteren.
2. Ontdekking van Leertactieken:
   • Sessies werden omgezet in frequentievectoren van gebeurtenissen (82 distincte gebeurteniscodes).
   • $k$-medoids clustering (met gebruik van $\ell_1$-afstand) werd toegepast om 12 distincte Leertactieken te identificeren (bijv. "Focus op cursusmateriaal", "Pogingen tot kerntaken", "Terugkijken op vorige weken").
3. Formulering van Leerstrategieën:
   • Sessies werden opnieuw gelabeld met hun corresponderende tactiekcodes.
   • Logs werden opgesplitst in wekelijkse sub-logs om de evolutie van strategieën over de 11 weken durende cursus vast te leggen.
   • Een weekelijkse reeks tactieken vormt een Leerstrategie.
4. Karakterisering van Leerstrategieën (Risicogroepering):
   • Een vooraf getraind Logistic Regression Dropout Prediction Model (gebaseerd op taakprestaties) werd toegepast op elke student-week om een uitvalkans ($p_{drop}$) te genereren.
   • Strategieën werden gelabeld als Hoog Risico ($p_{drop} > 0.5$) of Laag Risico ($p_{drop} \leq 0.5$).
   • Clustering: Strategieën binnen elke risicogroep werden geklusterd met Expectation Maximization (EM) op First-Order Markov-modellen (FOMM) van tactiekovergangen.
   • Interpretatie: Clusters werden gevisualiseerd met Heuristische Netten (process mining) en SHAP watervalplots (om voorspellingskenmerken te verklaren) om distincte strategietypes te definiëren.
5. Studentkarakterisering:
   • Studenten werden geklusterd op basis van de frequentie van strategietypes die ze gedurende de cursus gebruikten (Agglomerative Clustering).
   • Brunner-Munzel-tests werden gebruikt om clusters statistisch te vergelijken wat betreft cijfers, uitvalvoorspellingen en zelfgerapporteerde meningen.
   • Kwalitatieve inhoudsanalyse van zelfrapportages werd gebruikt om de kwantitatieve clusters te valideren en te contextualiseren.

3. Belangrijkste Bijdragen

• Methodologische Integratie: Een innovatieve pijplijn die process mining, voorspellende modellering en zelfrapportages combineert om uit te leggen waarom een student risico loopt, verder dan eenvoudige classificatie.
• Granulaire Strategie Taxonomie: Identificatie van 12 distincte weekelijkse leerstrategietypes, gecategoriseerd op risiconiveau:
  • 3 Laag-Risico Strategieën: Taakgericht (prestatiegericht), Zoeken naar begrip (hulpbronnenintensief) en Hulpbron-gericht (materiaal > taken).
  • 9 Hoog-Risico Strategieën: Variërend van herstelbare strijd (bijv. "Trage start", "Pogingen met voorbeelden") tot kritieke faalmodi (bijv. "Achteruitlopen, te laat beseffen dat er strijd is", "Risicovolle focus uitsluitend op verplichte taken").
• Longitudinale Profilering: Definitie van 5 Studentleerprofieltypes op basis van hoe studenten deze strategieën gedurende het hele semester hebben doorlopen.
• Triangulatie: Aangetoond hoe zelfrapportages ambiguïteiten in trace log-data kunnen oplossen (bijv. uitleggen waarom een student die "risicovolle" strategieën gebruikt toch slaagde).

4. Belangrijkste Resultaten

4.1 Gedrag met Laag Uitvalrisico (RQ1)

Studenten met een laag uitvalrisico vertoonden over het algemeen drie hoofdwekelijkse strategieën:

1. Taakgericht: Gericht op het efficiënt voltooien van verplichte en basis taken.
2. Zoeken naar Begrip: Prioriteit geven aan diepgaand begrip via colleges en aanvullende hulpbronnen voordat taken werden aangepakt.
3. Hulpbron-gericht: Veel tijd besteden aan cursusmateriaal en modelantwoorden in plaats van directe taakvoltooiing.

• Profielen: Deze gedragingen correleerden met profielen zoals "Adaptieve Begripzoekers" (die strategieën aanpasten op basis van context) en "Actieve Taakgerichte Lerenden".

4.2 Gedrag met Hoog Uitvalrisico (RQ2)

Hoog-risico studenten vertoonden negen distincte strategieën. Cruciaal was dat de studie onderscheid maakte tussen tijdelijke en terminale risico's:

• Herstelbare Risico's: Strategieën zoals "Trage start" of "Moeite om te begrijpen" werden vaak gebruikt door studenten die uiteindelijk herstelden en slaagden.
• Terminale Risico's: Strategieën zoals "Achteruitlopen, te laat beseffen dat er strijd is" (bekijken van modelantwoorden zonder taken te doen) en "Risicovolle focus uitsluitend op verplichte taken" waren sterk geassocieerd met studenten die uitvielen.
• Inzicht: Studenten die uitvielen keerden doorgaans 1–2 weken voor vertrek terug naar hoog-risico strategieën, vaak na de introductie van een specifiek moeilijk onderwerp.

4.3 Studentprofielen en Zelfrapportages (RQ3)

De studie identificeerde vijf studentprofielen:

1. Adaptieve Begripzoekers (N=20): Pasten strategieën aan op basis van weekonderwerpen; hoge betrokkenheid bij diverse hulpbronnen.
2. Vlijtige Volgers van Cursusinhoud (N=14): Volgden strikt het voorgestelde schema; hoge afhankelijkheid van TAs en studiegroepen.
3. Actieve Taakgerichte Lerenden (N=5): Gebruikten consequent laag-risico strategieën; hoge taakvoltooiingspercentages.
4. Volhardend tot het Einde (N=1): Een uitschieter die hoog-risico strategieën gebruikte (minimaal taakwerk) maar met toppunten slaagde door uitzonderlijke examennprestaties. Zelfrapportages onthulden dat deze student slecht tijdmanagement had maar sterke vaardigheden in informatieopzoeking.
5. Cursusuitvallers (N=7): Vielen allemaal uit tegen het halve punt. Zij gebruikten uitsluitend hoog-risico strategieën in de weken die leidden tot vertrek.

Validatie: Zelfrapportages bevestigden de kwantitatieve bevindingen. Bijvoorbeeld, de "Adaptieve" groep rapporteerde aanpassingen van routines vanwege persoonlijke omstandigheden, terwijl de "Vlijtige" groep aangaf zwaar te vertrouwen op externe hulp. Het zelfrapport van de enige "Volhardende" uitschieter verklaarde hun unieke pad (examen-gericht) dat door trace logs alleen mogelijk verkeerd zou zijn geclassificeerd als een mislukking.

5. Betekenis en Praktische Implicaties

• Gerichte Interventies: De studie biedt een raamwerk voor TAs en docenten om niet alleen te identificeren wie risico loopt, maar welk specifiek gedrag het risico veroorzaakt. Bijvoorbeeld: een student die "Late afhankelijkheid van modelantwoorden" gebruikt, heeft een andere interventie nodig (bijv. dwingende taakvoltooiing) dan een student met "Trage start" (bijv. coaching in tijdmanagement).
• Vroege Waarschuwingssystemen: Door weekelijkse strategietypes te koppelen aan uitvalkansen kunnen docenten tijdens de cursus ingrijpen in plaats van achteraf.
• Holistisch Perspectief: De combinatie van trace logs en zelfrapportages voorkomt misinterpretatie. Een student die in logs "risicovol" lijkt, kan een "Volhardende" leraar zijn met een andere (maar effectieve) strategie, wat onnodige of verkeerd gerichte interventies voorkomt.
• Schaalbaarheid: De pijplijn maakt gebruik van bestaande VLE-data en standaard machine learning-modellen, waardoor deze toepasbaar is op grote CS1-cohorten zonder dat er intrusieve nieuwe dataverzamelingsmethoden nodig zijn.

Concluderend toont dit artikel aan dat leerstrategietypes voorspellender en verklarender zijn dan ruwe activiteitstellingen. Door gedrag te categoriseren in specifieke risicoprofielen, biedt de studie een actiebaar stappenplan om CS1-uitval te verminderen door tijdige, gedrags-specifieke ondersteuning.