A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Cet article introduit un benchmark de survie unifié et multidimensionnel pour la prédiction du risque d'abandon temporel utilisant le jeu de données OULAD, démontrant que les signaux comportementaux et temporels surpassent les attributs statiques tout en soulignant la nécessité de séparer les familles de modèles pour éviter les artefacts d'évaluation.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque semestre, les universités sont confrontées à une crise silencieuse : les étudiants qui commencent leurs cours mais ne les terminent jamais. Depuis des décennies, les éducateurs tentent de prédire qui est susceptible d'abandonner, espérant offrir de l'aide avant qu'il ne soit trop tard. Ce domaine, connu sous le nom d'analyse de l'apprentissage (learning analytics), traite les données des étudiants comme une carte, cherchant des motifs qui signalent des difficultés. Traditionnellement, ces cartes sont des instantanés statiques, construits à partir du profil de l'étudiant, de son âge ou de ses notes des années précédentes. Mais le parcours d'un étudiant n'est pas une photographie unique ; c'est un film qui se joue semaine après semaine. Le risque de quitter un cours ne reste pas immobile ; il évolue et croît à mesure que l'étudiant interagit avec ses supports en ligne, manque des échéances ou cesse simplement de cliquer sur le site du cours. La question centrale pour les chercheurs a été de savoir si nous pouvions construire une meilleure carte en regardant ce film en temps réel, plutôt qu'en consultant simplement le générique de début.
Une équipe de chercheurs de l'Université d'Eastern s'est donné pour mission de répondre à cette question en construisant un nouveau type de test pour comparer différentes manières de prédire l'abandon des étudiants. Ils ont utilisé une collection de données massive et bien connue de l'Open University, qui suit des milliers d'étudiants à travers plusieurs cours. Au lieu de simplement déclarer un modèle informatique vainqueur, ils ont conçu une expérience rigoureuse qui respectait la différence entre deux façons distinctes de percevoir le temps. Un groupe de modèles, qu'ils ont appelé la famille « Dynamique Hebdomadaire », observait les étudiants semaine après semaine, mettant à jour sa prédiction chaque fois qu'une nouvelle donnée d'activité apparaissait. L'autre groupe, la famille « Fenêtre Initiale Statique », adoptait une approche différente : il ne regardait que les quatre premières semaines du comportement de l'étudiant, puis faisait une prédiction unique et fixe pour le reste du cours. Les chercheurs ont traité ces deux approches non pas comme des rivales à classer l'une contre l'autre, mais comme deux lentilles différentes pour observer le même phénomène, garantissant que la comparaison soit équitable et que les résultats ne soient pas déformés par la manière dont les données étaient organisées.
L'étude a comparé quatorze modèles informatiques différents, allant d'outils statistiques simples à des systèmes d'intelligence artificielle complexes. Les chercheurs ont mesuré la capacité de chaque modèle à accomplir deux tâches : classer correctement les étudiants selon leur niveau de risque, et fournir un chiffre de probabilité correspondant au nombre réel d'étudiants ayant abandonné. Comme les deux familles utilisent des formulations de risque différentes, les chercheurs ont rapporté les résultats au sein de chaque famille séparément, plutôt que de créer un classement combiné unique. Au sein du groupe « Fenêtre Initiale Statique », un modèle appelé Random Survival Forest s'est révélé le plus fiable. Il était le meilleur pour identifier les étudiants à risque et, surtout, ses estimations de probabilité étaient très précises. Par exemple, lorsque ce modèle prédisait une probabilité de trente pour cent qu'un étudiant abandonne, le taux d'abandon réel pour ce groupe d'étudiants était très proche de trente pour cent. Cette précision est vitale car elle signifie que les établissements peuvent faire confiance aux chiffres pour décider qui a besoin d'aide. Au sein du groupe « Dynamique Hebdomadaire », les modèles se sont regroupés très étroitement en termes de performance, un modèle nommé Poisson Piecewise-Exponential montrant un léger avantage sur une métrique spécifique, bien qu'aucun modèle unique ne domine l'ensemble des mesures.
La découverte la plus significative ne concernait peut-être pas de savoir quel modèle informatique était le plus intelligent, mais plutôt quelles informations les modèles utilisaient réellement pour prendre leurs décisions. Les chercheurs ont testé cela en supprimant un par un différents types de données des modèles. Ils ont retiré les informations contextuelles statiques, telles que l'âge, le genre ou l'éducation antérieure de l'étudiant. Ensuite, ils ont retiré les données comportementales, telles que la fréquence à laquelle l'étudiant cliquait sur les supports de cours ou le nombre de semaines où il était actif. Les résultats ont été clairs et cohérents pour presque tous les modèles : les informations contextuelles importaient peu. Lorsque les données comportementales ont été supprimées, la capacité des modèles à prédire les abandons s'est effondrée. Le signal dominant n'était pas qui était l'étudiant, mais ce qu'il faisait. Plus précisément, le nombre de clics lors des quatre premières semaines et le nombre de semaines d'activité étaient les prédicteurs les plus puissants. Cela suggère que l'abandon n'est pas un trait fixe d'une personne, mais un processus qui se déroule à travers son engagement quotidien.
L'étude a également révélé que tous les modèles ne sont pas égaux en termes de fiabilité. Alors que la plupart des modèles les plus performants fournissaient des estimations de probabilité honnêtes, un modèle du groupe statique, appelé XGBoost AFT, a donné de mauvais résultats sur toute la ligne. Il peinait à classer correctement les étudiants et ses estimations de probabilité étaient totalement erronées, suggérant que sa structure mathématique n'était pas assez flexible pour gérer la nature changeante du risque étudiant. Cette conclusion renforce l'idée que la façon dont un modèle est construit importe autant que les données qu'il reçoit. Les chercheurs ont conclu que pour les institutions souhaitant mettre en place des systèmes d'alerte précoce, la meilleure approche consiste à utiliser un modèle qui se concentre sur le premier mois de comportement. Elles peuvent évaluer les étudiants à la fin de la quatrième semaine en utilisant des données simples comme le nombre de clics et les semaines d'activité, signaler ceux qui présentent un risque élevé d'abandon, puis intervenir. L'étude ne prétend pas que cette méthode fonctionne pour chaque université ou chaque cours, car les données provenaient d'un ensemble spécifique de modules, mais elle a fourni un cadre clair et unifié pour comprendre comment mesurer le risque. La conclusion est que le chemin vers la réussite scolaire est pavé d'actions quotidiennes, et la meilleure façon de prédire qui partira est d'observer attentivement ces actions, plutôt que de se fier à ce que l'étudiant était avant son arrivée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.