From Partial Correctness to Completion: Predicting Learners’ Early Success in Programming Practice

Imaginez que vous regardez un ami essayer de résoudre un casse-tête difficile. Autrefois, un enseignant ne se souciait peut-être que du moment final : ont-ils terminé le casse-tête ou ont-ils abandonné ? C'est une réponse simple par « oui » ou par « non ». Mais dans le monde de la programmation informatique, l'apprentissage ressemble davantage à un long et désordonné voyage d'essais et d'erreurs. Les étudiants écrivent du code, l'ordinateur dit « faux », ils corrigent une petite erreur, l'ordinateur dit « encore faux, mais plus proche », et ils continuent d'essayer jusqu'à ce qu'ils réussissent enfin. Ce processus se déroule sur des sites web spéciaux appelés « Online Judges » (juges en ligne), qui agissent comme de gigantesques machines de notation automatisées qui enregistrent chaque tentative effectuée par un étudiant.

La grande question que les chercheurs posent est la suivante : pouvons-nous observer les tentatives intermédiaires et désordonnées d'un étudiant pour deviner s'il est sur le point de réussir, ou s'il est coincé dans une boucle d'échec ? Cela ressemble un peu à un entraîneur regardant un joueur de basket rater quelques tirs. Si le joueur rate de peu et que sa forme s'améliore, l'entraîneur sait qu'un panier arrivera bientôt. Mais si le joueur rate de manière totalement erratique et s'impatiente, il pourrait avoir besoin d'aide. Cet article explore précisément cette idée, en essayant de déterminer la meilleure façon de prédire le succès futur d'un étudiant en se basant sur sa lutte actuelle, en utilisant les mathématiques et des modèles informatiques pour distinguer l'état de « presque arrivé » de celui de « coincé ».

---

L'article : De « Faux » à « Vrai » en un clin d'œil

Cette étude est comme une histoire de détective située dans le terrain de jeu numérique de l'Aizu Online Judge (AOJ), un site web massif où les étudiants s'exercent à la programmation en résolvant des centaines de problèmes. Les chercheurs, une équipe de l'Université d'Aizu et de l'Université de Notre Dame, voulaient résoudre un mystère spécifique : pouvons-nous prédire si un étudiant résoudra un problème de codage lors de ses prochaines tentatives, simplement en observant comment il échoue en ce moment ?

Pour ce faire, ils n'ont pas seulement regardé le résultat final (résolu vs non résolu). Au lieu de cela, ils ont testé trois façons différentes de décrire la progression d'un étudiant, un peu comme si l'on décrivait la course d'un coureur de trois manières différentes :

1. La vue « Binaire » (l'ancienne méthode) : C'est la vue la plus simple. Elle ne voit que deux choses : l'étudiant a-t-il réussi ? Oui ou Non. Elle ignore tout ce qui se trouve entre les deux. C'est comme un entraîneur qui ne se soucie que du fait que vous ayez franchi la ligne d'arrivée, ignorant si vous couriez ou si vous rampiez.
2. La vue « Ordinale » (la méthode du classement) : C'est un peu mieux. Elle classe les tentatives de l'étudiant de « complètement faux » à « presque juste ». C'est comme dire : « Vous avez raté le panier, mais vous étiez plus proche que la dernière fois. » Cela donne un peu plus de détails, mais traite toujours les étapes comme de simples niveaux sur une échelle.
3. La vue « Exactitude partielle et Progression » (la nouvelle méthode ultra-détaillée) : C'est la star du spectacle. Elle examine combien de parties du problème l'étudiant a résolues dans chaque tentative (comme réussir 40 % des cas de test) et, surtout, si l'étudiant s'améliore à chaque essai. Elle suit le « gain » : ont-ils progressé par rapport à la tentative précédente ? C'est comme un entraîneur qui remarque non seulement que vous êtes plus proche du panier, mais que votre hauteur de saut augmente et que votre visée se stabilise.

La grande expérience

Les chercheurs ont utilisé un immense ensemble de données de plus de 295 000 tentatives de codage provenant d'un cours appelé « Algorithm and Data Structures I » (ALDS1) et d'un ensemble plus restreint d'un cours de « Géométrie Computationnelle » (CGL). Ils ont injecté ces données dans six modèles de cerveau informatique différents (algorithmes d'apprentissage automatique), dont un très populaire appelé Random Forest, afin de voir laquelle des trois « vues » de la progression de l'étudiant fonctionnait le mieux pour prédire l'avenir.

Ce qu'ils ont trouvé

Les résultats étaient clairs et cohérents. La nouvelle méthode détaillée de « l'Exactitude partielle et de la Progression » (M3) a été la gagnante, battant les deux autres méthodes à chaque fois.

• Le score : En utilisant le meilleur modèle (Random Forest), la nouvelle méthode a atteint un PR-AUC de 75,39 %. C'est un score sophistiqué qui mesure la capacité du modèle à identifier les cas de « succès ».
• La comparaison : Il s'agissait d'un bond significatif. L'ancienne méthode « Binaire » n'a obtenu que 70,99 %, et la méthode « Ordinale » 71,21 %.
• L'amélioration : La nouvelle méthode a amélioré la précision d'environ 6,63 % par rapport à la méthode binaire et de 6,78 % par rapport à la méthode ordinale.

En termes plus simples, en prêtant attention à comment les étudiants échouaient et à comment ils progressaient, l'ordinateur pouvait deviner leur succès avec beaucoup plus de précision qu'en attendant simplement de voir s'ils finiraient par réussir.

Pourquoi c'est important : Les « Groupes de risque »

Les chercheurs ne se sont pas arrêtés aux scores ; ils ont utilisé leur modèle gagnant pour classer les étudiants en trois « groupes de risque » afin de voir si cela avait du sens dans le monde réel :

• Risque faible : Ces étudiants allaient presque certainement résoudre le problème bientôt.
• Risque modéré : Ils étaient entre les deux, en difficulté mais en progression.
• Risque élevé : Ils allaient probablement continuer à échouer.

Le point fort ? La nouvelle méthode a créé la séparation la plus nette entre ces groupes. La différence de taux de réussite entre le groupe « Risque faible » (qui a réussi 71,20 % du temps) et le groupe « Risque élevé » (qui n'a réussi que 24,06 % du temps) était énorme. Les anciennes méthodes ne pouvaient pas séparer les groupes aussi clairement.

Cela suggère que la nouvelle méthode peut agir comme un système d'alerte précoce intelligent. Si un enseignant voit un étudiant dans la zone de « Risque élevé », il sait qu'il doit intervenir avec un indice ou un problème plus simple avant que l'étudiant ne soit frustré. Si un étudiant est en « Risque faible », l'enseignant sait qu'il peut le laisser continuer ou peut-être lui donner un défi plus difficile.

L'essentiel

L'article suggère que dans l'enseignement de la programmation, la façon dont vous échouez compte tout autant que votre réussite. En suivant les minuscules améliorations et les types spécifiques d'erreurs commises par les étudiants, nous pouvons construire de meilleurs outils pour les aider à apprendre. L'étude confirme qu'observer l'« exactitude partielle » et la « progression » des tentatives d'un étudiant nous donne une boule de cristal bien plus claire pour prédire leur succès futur que de simplement regarder le bouton final « Réussite » ou « Échec ». Cela transforme le processus désordonné du débogage en une feuille de route pour l'apprentissage.