Understanding Self-Regulated Learning Behavior Among High and Low Dropout Risk Students During CS1: Combining Trace Logs, Dropout Prediction and Self-Reports

1. Énoncé du problème

Le cours d'introduction à la programmation (CS1) constitue un goulot d'étranglement critique dans l'enseignement de l'informatique, caractérisé par des taux d'abandon élevés et des défis significatifs pour les apprenants novices. Bien que les analyses prédictives d'apprentissage puissent identifier les étudiants à risque avec une grande précision, ces modèles manquent souvent de transparence (explicabilité). Les éducateurs peinent à comprendre pourquoi un étudiant est prédit comme susceptible d'abandonner ou comment leurs comportements d'apprentissage spécifiques contribuent à ce risque.

La recherche actuelle repose souvent sur des comparaisons post-cours entre les étudiants performants et ceux qui le sont moins, ou utilise des auto-déclarations qui manquent de granularité temporelle. Il existe un besoin pour une méthode qui :

• Relie les données comportementales en temps réel (journaux de traces) aux modèles prédictifs d'abandon.
• Distingue les luttes temporaires des trajectoires irréversibles vers l'abandon.
• Intègre la théorie de l'apprentissage autorégulé (SRL) pour interpréter ces comportements.

2. Méthodologie

L'étude a adopté une approche mixte combinant des analyses quantitatives d'apprentissage avec des auto-déclarations qualitatives, ancrée dans la théorie de l'Apprentissage Autorégulé (SRL) (spécifiquement le cadre tactique-stratégique de Winne et Hadwin).

2.1 Collecte des données

• Contexte : Un cours CS1 de 6 crédits à l'Université de Jyväskylä (automne 2023) avec 321 étudiants inscrits.
• Participants : 47 étudiants consentants ont fourni des journaux de traces ; 29 d'entre eux ont rempli un questionnaire d'auto-déclaration post-cours.
• Sources de données :
  • Journaux de traces : 86 738 événements bruts provenant d'un Environnement Numérique de Travail (VLE), incluant l'utilisation du manuel de cours, les cours magistraux, les soumissions de tâches (introduction, cœur, basique, bonus, guru), les séances avec les assistants pédagogiques (TA) et les consultations de réponses modèles.
  • Données de performance : Scores hebdomadaires aux tâches, scores aux examens et notes finales.
  • Auto-déclarations : Questions ouvertes concernant les habitudes d'étude, les défis et l'utilisation des ressources.

2.2 Pipeline d'analyse des données

Les auteurs ont développé un pipeline en cinq étapes pour transformer les journaux bruts en profils d'apprentissage interprétables :

1. Prétraitement des journaux : Les événements bruts ont été regroupés en sessions d'étudiants en utilisant un seuil de coupure de 25 minutes (basé sur le temps estimé de réalisation des tâches). Les sessions ne contenant qu'un seul événement ont été supprimées pour filtrer le bruit.
2. Découverte de tactiques d'apprentissage :
   • Les sessions ont été converties en vecteurs de fréquence d'événements (82 codes d'événements distincts).
   • Un clustering $k$-médoïdes (utilisant la distance $\ell_1$) a été appliqué pour identifier 12 Tactiques d'Apprentissage distinctes (par exemple, « Se concentrer sur le matériel du cours », « Tenter les tâches principales », « Réviser les semaines précédentes »).
3. Formulation de stratégies d'apprentissage :
   • Les sessions ont été reétiquetées avec leurs codes de tactique correspondants.
   • Les journaux ont été divisés en sous-journaux hebdomadaires pour capturer l'évolution des stratégies sur les 11 semaines du cours.
   • Une séquence hebdomadaire de tactiques constitue une Stratégie d'Apprentissage.
4. Caractérisation de la stratégie d'apprentissage (Regroupement par risque) :
   • Un Modèle Prédictif d'Abandon par Régression Logistique pré-entraîné (basé sur la performance aux tâches) a été appliqué à chaque semaine d'étudiant pour générer une probabilité d'abandon ($p_{drop}$).
   • Les stratégies ont été étiquetées Haut Risque ($p_{drop} > 0,5$) ou Faible Risque ($p_{drop} \leq 0,5$).
   • Clustering : Les stratégies au sein de chaque groupe de risque ont été regroupées en utilisant l'Maximisation de l'Espérance (EM) sur des Modèles de Markov d'Ordre Un (FOMM) des transitions de tactiques.
   • Interprétation : Les clusters ont été visualisés à l'aide de Réseaux Heuristiques (fouille de processus) et de graphiques en cascade SHAP (pour expliquer les caractéristiques de prédiction) afin de définir des types de stratégies distincts.
5. Caractérisation de l'étudiant :
   • Les étudiants ont été regroupés en fonction de la fréquence des types de stratégies qu'ils ont utilisées tout au long du cours (Clustering Agglomératif).
   • Des tests de Brunner-Munzel ont été utilisés pour comparer statistiquement les clusters concernant les notes, les prédictions d'abandon et les opinions déclarées.
   • Une analyse qualitative du contenu des auto-déclarations a été utilisée pour valider et contextualiser les clusters quantitatifs.

3. Contributions clés

• Intégration méthodologique : Un pipeline novateur combinant la fouille de processus, la modélisation prédictive et les auto-déclarations pour expliquer pourquoi un étudiant est à risque, allant au-delà de la simple classification.
• Taxonomie granulaire des stratégies : Identification de 12 types de stratégies d'apprentissage hebdomadaires distincts, catégorisés par niveau de risque :
  • 3 Stratégies à Faible Risque : Orientées vers la tâche (axées sur la performance), Recherche de compréhension (riche en ressources) et Axées sur les ressources (matériel > tâches).
  • 9 Stratégies à Haut Risque : Allant de luttes récupérables (par exemple, « Démarrage lent », « Tentative avec exemples ») à des modes d'échec critiques (par exemple, « En retard, réalisant la lutte trop tard », « Focus risqué uniquement sur les tâches obligatoires »).
• Profilage longitudinal : Définition de 5 Types de Profils d'Apprentissage Étudiant basés sur la manière dont les étudiants ont navigué à travers ces stratégies tout au long du semestre.
• Triangulation : Démonstration de la manière dont les auto-déclarations peuvent résoudre les ambiguïtés des données de journaux de traces (par exemple, expliquer pourquoi un étudiant utilisant des stratégies « risquées » a tout de même réussi).

4. Résultats clés

4.1 Comportements à faible risque d'abandon (RQ1)

Les étudiants à faible risque d'abandon ont généralement présenté trois stratégies hebdomadaires principales :

1. Orienté vers la tâche : Se concentrer sur l'achèvement efficace des tâches obligatoires et basiques.
2. Recherche de compréhension : Prioriser la compréhension approfondie via les cours et les ressources supplémentaires avant de tenter les tâches.
3. Axé sur les ressources : Passer beaucoup de temps sur le matériel du cours et les réponses modèles plutôt que sur l'achèvement immédiat des tâches.

• Profils : Ces comportements étaient corrélés à des profils tels que « Chercheurs de compréhension adaptatifs » (qui ajustaient les stratégies en fonction du contexte) et « Apprenants actifs axés sur la tâche ».

4.2 Comportements à haut risque d'abandon (RQ2)

Les étudiants à haut risque ont présenté neuf stratégies distinctes. Crucialement, l'étude a distingué les risques temporaires des risques terminaux :

• Risques récupérables : Des stratégies comme « Démarrage lent » ou « Lutte pour comprendre » étaient souvent utilisées par des étudiants qui ont fini par se rétablir et réussir.
• Risques terminaux : Des stratégies comme « En retard, réalisant la lutte trop tard » (consulter les réponses modèles sans faire les tâches) et « Focus risqué uniquement sur les tâches obligatoires » étaient fortement associées aux étudiants qui ont abandonné.
• Insight : Les étudiants qui ont abandonné sont généralement revenus à des stratégies à haut risque 1 à 2 semaines avant de partir, souvent après l'introduction d'un sujet particulièrement difficile.

4.3 Profils d'étudiants et auto-déclarations (RQ3)

L'étude a identifié cinq profils d'étudiants :

1. Chercheurs de compréhension adaptatifs (N=20) : Ajustaient les stratégies en fonction des sujets hebdomadaires ; engagement élevé avec des ressources diverses.
2. Suiveurs diligents du contenu du cours (N=14) : Suivaient strictement le calendrier suggéré ; forte dépendance aux TA et aux groupes de pairs.
3. Apprenants actifs axés sur la tâche (N=5) : Utilisaient constamment des stratégies à faible risque ; taux d'achèvement des tâches élevé.
4. Persévérants jusqu'au bout (N=1) : Un cas aberrant qui a utilisé des stratégies à haut risque (travail minimal sur les tâches) mais a réussi avec les meilleures notes grâce à une performance exceptionnelle à l'examen. Les auto-déclarations ont révélé que cet étudiant avait une mauvaise gestion du temps mais d'excellentes compétences en recherche d'information.
5. Abandons du cours (N=7) : Tous ont abandonné avant la mi-parcours. Ils ont exclusivement utilisé des stratégies à haut risque dans les semaines menant à leur départ.

Validation : Les auto-déclarations ont confirmé les résultats quantitatifs. Par exemple, le groupe « Adaptatif » a signalé l'ajustement des routines en raison de circonstances personnelles, tandis que le groupe « Diligent » a signalé une forte dépendance à l'aide externe. L'auto-déclaration du seul cas aberrant « Persévérant » a expliqué son parcours unique (axé sur l'examen) que les journaux de traces seuls auraient pu mal classifier comme un échec.

5. Importance et implications pratiques

• Interventions ciblées : L'étude fournit un cadre pour que les TA et les instructeurs identifient non seulement qui est à risque, mais quel comportement spécifique cause ce risque. Par exemple, un étudiant utilisant une « Dépendance tardive aux réponses modèles » a besoin d'une intervention différente (par exemple, imposer l'achèvement des tâches) qu'un étudiant ayant un « Démarrage lent » (par exemple, coaching en gestion du temps).
• Systèmes d'alerte précoce : En reliant les types de stratégies hebdomadaires aux probabilités d'abandon, les éducateurs peuvent intervenir pendant le cours plutôt qu'après coup.
• Vision holistique : La combinaison des journaux de traces et des auto-déclarations prévient les interprétations erronées. Un étudiant apparaissant « risqué » dans les journaux pourrait être un apprenant « Persévérant » qui a simplement une stratégie différente (mais efficace), évitant ainsi des interventions inutiles ou mal orientées.
• Évolutivité : Le pipeline utilise les données existantes du VLE et des modèles d'apprentissage automatique standards, le rendant applicable à de grandes cohortes de CS1 sans nécessiter de nouvelles méthodes de collecte de données intrusives.

En conclusion, cet article démontre que les types de stratégies d'apprentissage sont plus prédictifs et explicatifs que les comptes d'activité bruts. En catégorisant les comportements en profils de risque spécifiques, l'étude offre une feuille de route concrète pour réduire l'attrition en CS1 grâce à un soutien opportun et spécifique aux comportements.