Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

Dans le vaste paysage de l'éducation moderne, une révolution tranquille s'opère au sein des systèmes numériques qui gèrent nos salles de classe. Pendant des décennies, les enseignants se sont appuyés sur les notes et les feuilles de présence pour évaluer la réussite d'un étudiant, mais ces mesures traditionnelles arrivent souvent trop tard pour aider un apprenant en difficulté. Aujourd'hui, alors que les universités transfèrent de plus en plus leurs cours en ligne, chaque clic, chaque connexion et chaque moment passé sur une plateforme numérique laisse une trace. Les chercheurs appellent ces traces des « marqueurs numériques ». Ce sont les empreintes de la vie quotidienne d'un étudiant dans un cours, offrant un aperçu de ses habitudes, de son engagement et de ses difficultés potentielles bien avant qu'un examen final ne soit jamais écrit. La question qui anime ce nouveau champ d'étude est simple mais profonde : pouvons-nous lire ces empreintes numériques pour repérer un étudiant sur le point d'échouer, et pouvons-nous le faire assez tôt pour changer sa trajectoire ?

C'est le défi auquel est confrontée une équipe de chercheurs de l'Université de Zambie, qui a porté son attention sur un cours de première année notoirement difficile : Systèmes informatiques et architecture. Dans ce cours, près de quarante pour cent des étudiants échouent historiquement, un taux qui laisse de nombreux esprits brillants sur le côté avant même que leurs études n'aient véritablement commencé. Les instructeurs savaient que quelque chose n'allait pas, mais ils manquaient d'un moyen d'identifier qui était à risque avant qu'il ne soit trop tard. Pour résoudre ce problème, l'équipe a décidé de regarder au-delà des notes finales et d'examiner plutôt les miettes de pain numériques laissées par les étudiants sur quatre ans. Ils ont recueilli des données provenant de près de trois cents étudiants, combinant leurs informations de base, leurs scores aux premiers quiz et tests, ainsi que les journaux bruts de leurs interactions avec le système d'apprentissage en ligne de l'université. Leur objectif était de construire un modèle capable de servir de système d'alerte précoce, signalant les étudiants susceptibles d'échouer afin que les enseignants puissent intervenir avec un soutien tant qu'il est encore temps de redresser la barre.

Les chercheurs ont commencé par écouter les personnes qui connaissaient le mieux le cours : les instructeurs, les tuteurs et les étudiants eux-mêmes. À travers des entretiens et des sondages, ils ont identifié dix facteurs qui semblaient influencer la réussite, tels que la gestion du temps, la motivation et le fait de posséder ou non un ordinateur. Ils ont ensuite traduit ces intuitions humaines en points de données, créant une liste complète de caractéristiques à tester. Ils ont élaboré un score spécial appelé « élan académique pondéré » (weighted academic-momentum), qui examinait la performance de l'étudiant lors de ses tout premiers quiz et tests, en accordant plus d'importance aux évaluations initiales ultérieures, plus exhaustives. Ils ont également suivi si un étudiant s'était déjà connecté au système en ligne et combien de jours distincts il avait été actif. En injectant toutes ces informations dans un modèle informatique, ils ont testé quelle combinaison de facteurs pouvait le mieux prédire l'échec.

Ce qu'ils ont découvert fut à la fois surprenant et rassurant. Le prédicteur de l'échec le plus puissant n'était pas un sondage complexe sur la motivation d'un étudiant ou son expérience préalable de l'informatique, mais plutôt une simple combinaison de trois éléments : son élan académique précoce, son bagage de base et une simple question par oui ou par non sur le fait d'avoir déjà touché au système d'apprentissage en ligne. Le modèle a révélé que la performance d'un étudiant lors des premières semaines d'évaluation était le signal le plus fort de sa réussite future. Cependant, ce signal était encore plus révélateur lorsqu'il était combiné à un contrôle simple de sa présence numérique. Si un étudiant présentait des scores initiaux élevés mais n'avait jamais accédé au système en ligne, il restait néanmoins à un risque significatif. Cela suggérait que certains étudiants pourraient se reposer sur leurs capacités naturelles ou leurs connaissances préaliales, ignorant qu'ils manquaient les structures de soutien disponibles en ligne, ou étant peut-être trop confiants dans leur capacité à réussir sans s'engager avec le matériel de cours.

Lorsque les chercheurs ont testé leur modèle final sur un groupe d'étudiants qu'il n'avait jamais vus auparavant, celui-ci s'est avéré remarquablement efficace dans sa mission principale : trouver les étudiants en difficulté. Le système a correctement identifié quatre-vingt-sept pour cent des étudiants qui ont fini par échouer au cours. Ce taux de réussite élevé s'accompagnait d'un compromis : le modèle signalait également certains étudiants qui auraient réussi comme étant à risque, entraînant un taux de fausse alerte de quarante et un pour cent. Les chercheurs soutiennent que c'est un prix acceptable à payer dans un cadre éducatif. Il vaut bien mieux offrir une aide supplémentaire à un étudiant qui n'en a pas besoin que de manquer un étudiant qui lutte en silence et est sur le point d'échouer. Le modèle a atteint ce résultat en examinant les données disponibles seulement cinq semaines après le début du semestre, un délai qui offre aux instructeurs une fenêtre cruciale pour intervenir.

L'étude a également révélé que l'ajout de données plus complexes ne rendait pas nécessairement la prédiction meilleure. Inclure des réponses détaillées aux sondages sur les sentiments d'un étudiant ou sur sa charge de travail spécifique n'a pas amélioré la précision du modèle. En fait, l'approche la plus simple — se concentrer sur les premières notes et un contrôle basique de l'activité en ligne — a fonctionné le mieux. Cela suggère que pour ce cours spécifique, les actions qu'un étudiant entreprend dans les premières semaines sont un indicateur plus fiable de son avenir que ses ressentis auto-déclarés ou ses détails de parcours. Les chercheurs ont utilisé une méthode appelée analyse SHAP pour comprendre pourquoi le modèle prenait ses décisions, ce qui a confirmé que l'élan académique pondéré était le facteur le plus important, suivi de près par l'interaction entre cet élan et le fait que l'étudiant ait interagi avec le système en ligne.

Ce travail offre un schéma directeur pratique sur la manière dont les universités peuvent utiliser les données dont elles disposent déjà pour soutenir leurs étudiants. En se concentrant sur des marqueurs numériques simples et précoces, les éducateurs peuvent passer de la réaction face à l'échec à la prévention de celui-ci. Les chercheurs prévoient de transformer leurs conclusions en un tableau de bord en direct qui alertera automatiquement les instructeurs lorsqu'un étudiant montre des signes de difficulté, en leur fournissant des raisons claires pour l'alerte afin qu'ils puissent offrir une aide ciblée. Bien que l'étude ait été menée dans une seule université en Zambie, l'approche suggère une vérité universelle : à l'ère numérique, la façon dont un étudiant se manifeste, même par de petits gestes, parle souvent plus fort que son parcours ou sa confiance initiale. Le chemin vers le succès ne se cache pas toujours dans des statistiques complexes, mais parfois dans le rythme calme et constant de la présence en classe, tant en personne qu'en ligne.