How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

Dans l'université moderne, une vaste quantité de la vie étudiante laisse une empreinte numérique. Chaque fois qu'un apprenant se connecte à un site de cours, clique sur un lien ou télécharge un document, un enregistrement est créé. Les éducateurs et les chercheurs considèrent depuis longtemps ces traces numériques comme une fenêtre sur la réussite des étudiants. La logique semble simple : si un étudiant est actif en ligne, il est probablement engagé, et s'il est engagé, il est susceptible de bien réussir dans son cours. Cette croyance a favorisé la création de tableaux de bord et de systèmes d'alerte précoce conçus pour repérer les étudiants en difficulté en comptant leurs clics. Cependant, une question critique est restée sans réponse : l'activité elle-même cause-t-elle les bonnes notes, ou les bonnes notes sont-elles simplement le signe d'un étudiant qui était déjà préparé et motivé ? La différence est immense. Si l'activité n'est qu'un symptôme du succès, alors forcer un étudiant à cliquer davantage sur des boutons ne l'aidera pas à apprendre. Si, en revanche, l'activité est un véritable moteur d'apprentissage, alors encourager plus d'interactions pourrait être un outil puissant d'amélioration.

Une équipe de chercheurs s'est donné pour mission de démêler cette relation en utilisant une collection massive de données provenant de l'Open University au Royaume-Uni. Ils ont examiné les dossiers de plus de vingt-et-un mille étudiants ayant participé à vingt-deux présentations de cours en ligne différentes. L'ensemble de données était riche, contenant des détails sur le parcours des étudiants, leurs performances académiques passées et plus de dix millions d'interactions avec l'environnement virtuel d'apprentissage. Les chercheurs se sont concentrés spécifiquement sur la période précédant le moment où un étudiant soumettait un travail de cours. Ils ont compté le nombre de clics et d'activités survenus dans les jours précédant la date limite de soumission, en veillant à ce que toute activité se produisant après le rendu du travail ne soit pas comptabilisée. Ce minutieux calibrage temporel était crucial pour s'assurer qu'ils observaient un comportement ayant eu lieu avant que le résultat ne soit connu.

L'étude a commencé par examiner les chiffres bruts, le genre d'association simple qui apparaît souvent dans les rapports standards. Ils ont trouvé un lien fort : pour chaque augmentation standard du volume d'activité en ligne, la note d'évaluation augmentait d'environ trois points et quart. Ce chiffre est celui qu'un tableau de bord typique mettrait en évidence pour suggérer qu'une activité accrue équivaut à une meilleure performance. Cependant, les chercheurs savaient que ce chiffre brut incluait probablement l'influence de nombreux autres facteurs. Les étudiants qui avaient réussi par le passé pourraient naturellement cliquer davantage parce qu'ils sont confiants, ou ils pourraient cliquer davantage parce qu'ils sont déjà bons dans la matière. Pour trouver le véritable effet de l'activité elle-même, les chercheurs ont utilisé une méthode statistique sophistiquée conçue pour éliminer ces différences préexistantes. Ils ont ajusté les données pour tenir compte de tout ce qu'ils savaient des étudiants avant l'ouverture de la fenêtre d'activité, y compris leurs notes antérieures, leur origine démographique et leur historique d'utilisation de la plateforme.

Lorsque les chercheurs ont appliqué cet ajustement, l'histoire a considérablement changé. Le lien entre l'activité et les notes n'a pas disparu, mais il a considérablement diminué. Après avoir pris en compte l'historique antérieur, l'augmentation de la note est passée de trois points et quart à un peu moins de un point et trois-quarts pour la même augmentation d'activité. Cela signifie que près de la moitié de la connexion originale entre le clic et la note était en réalité due au parcours et aux performances passées des étudiants, et non à l'activité elle-même. Le lien restant, bien que toujours réel et statistiquement significatif, était beaucoup plus faible que ce que les chiffres bruts suggéraient. Cela indique que, bien que l'activité en ligne contienne des informations utiles sur la progression d'un étudiant, s'appuyer sur les chiffres non ajustés conduirait les institutions à surestimer à quel point le simple fait d'augmenter les clics améliorerait la note d'un étudiant.

Les chercheurs ont également cherché à savoir si cette relation ajustée différait selon le type d'étudiants ou le type de travaux. Ils ont découvert que le lien était plus fort pour les devoirs exigeant des réponses écrites et ouvertes, corrigées par un tuteur humain, par rapport aux questions à choix multiples corrigées par un ordinateur. Cela suggère que le type de travail importe ; l'activité numérique pourrait être plus étroitement liée à la réflexion profonde requise pour les tâches de type essai que pour les quiz rapides et automatisés. Ils ont également découvert que la connexion était plus forte pour les étudiants ayant obtenu des notes plus faibles par le passé. Pour ces apprenants, l'activité en ligne semblait être un signal plus fiable de leur performance actuelle. En revanche, le lien ne montrait pas de différence claire selon que l'étudiant venait d'un milieu défavorisé ou présentait un handicap, bien que les données ne soient pas assez précises pour exclure entièrement de petites différences.

Malgré ces résultats, les chercheurs sont restés prudents quant à l'affirmation que l'activité cause les notes. Pour tester l'existence de facteurs cachés qu'ils ne pouvaient mesurer, ils ont effectué un contrôle spécifique. Ils ont cherché à savoir si l'activité en ligne actuelle pouvait prédire une note d'un devoir précédent qui avait déjà été complété avant même que l'activité actuelle ne commence. Logiquement, des clics futurs ne peuvent pas modifier une note passée. Pourtant, les données ont montré que les étudiants qui cliquaient davantage dans la fenêtre actuelle avaient effectivement des scores plus élevés sur ce devoir précédent, même après tous les ajustements. Ce résultat signale qu'il existe encore des forces invisibles à l'œuvre. Peut-être que certains étudiants sont naturellement plus motivés ou possèdent de meilleures habitudes d'étude qui existent en dehors du système numérique, pilotant à la fois leur activité en ligne et leurs notes. De ce fait, les chercheurs ont conclu que, bien que le lien ajusté soit réel, il ne s'agit pas d'une garantie qu'une intervention visant à forcer davantage de clics augmenterait automatiquement les scores du montant total de la valeur ajustée.

L'étude offre une leçon claire sur la manière dont les universités utilisent les données pour soutenir les étudiants. Les traces numériques laissées par les apprenants sont précieuses, mais elles ne sont pas un simple interrupteur qui déclenche l'apprentissage. L'association brute entre l'activité et le succès est forte, mais elle est lourdement influencée par qui est l'étudiant et ce qu'il a fait auparavant. Lorsque les éducateurs utilisent ces chiffres pour décider qui a besoin d'aide, ils doivent comprendre que les chiffres racontent une histoire de corrélation, et non nécessairement de cause à effet. Un étudiant avec une faible activité peut avoir besoin de soutien, mais simplement lui dire de cliquer davantage ne résoudra pas le problème si l'enjeu sous-jacent est un manque de connaissances préalables ou de motivation. L'approche la plus efficace consiste à utiliser ces signaux comportementaux comme une incitation au dialogue et au diagnostic, en reconnaissant que l'activité est un panneau indicateur pointant vers l'état d'un étudiant, plutôt qu'un levier que l'on peut actionner pour forcer un meilleur résultat.