Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Chaque année, les universités du monde entier sont confrontées à une crise silencieuse : une partie importante de leurs étudiants quitte l'établissement avant d'avoir obtenu leur diplôme. Il ne s'agit pas seulement d'une perte pour les étudiants, qui font souvent face à de moins bonnes perspectives d'emploi et à des revenus inférieurs, mais aussi d'un coup financier lourd pour les institutions elles-mêmes. Depuis des décennies, des chercheurs tentent de résoudre cette énigme en construisant des programmes informatiques capables de repérer quels étudiants sont susceptibles d'abandonner. Ces programmes, connus sous le nom de modèles d'apprentissage automatique (machine learning), analysent le parcours d'un étudiant — ses notes, sa situation financière et son parcours — pour prédire son avenir. L'objectif a toujours été de détecter les étudiants à risque tôt afin que les écoles puissent offrir de l'aide avant qu'il ne soit trop tard. Cependant, une faille critique a persisté dans ces efforts. Si les ordinateurs peuvent faire une prédiction, ils disent rarement à l'école à quel point ils doivent faire confiance à cette prédiction. Un modèle peut indiquer qu'un étudiant est à risque, mais il n'offre aucun moyen de savoir si cet avertissement est un fait solide ou une supposition fragile. Sans connaître la fiabilité de la prévision, les établissements risquent de gaspiller des ressources pour des étudiants qui vont en réalité très bien ou, pire encore, de passer à côté des étudiants qui en ont réellement besoin.

Une nouvelle étude de Kazi Sabbir Ahmad Nahin, chercheur à l'Université du Kentucky, s'attaque à ce problème en changeant la manière dont ces prédictions sont délivrées. Au lieu de demander à l'ordinateur de donner une réponse unique et définitive comme « cet étudiant va abandonner » ou « cet étudiant va obtenir son diplôme », l'étude utilise une méthode appelée prédiction conforme (conformal prediction). Cette approche demande à l'ordinateur de fournir un ensemble de résultats possibles accompagné d'une garantie de la fréquence à laquelle cet ensemble sera correct. Considérez cela comme la différence entre un prévisionniste météo qui dit « il pleuvra demain » sans aucun contexte, par rapport à celui qui dit « il y a 95 % de chances qu'il pleuve, et si nous nous trompons, cela se situera dans cette plage de possibilités spécifique ». Le chercheur a appliqué cette méthode à des données provenant de plus de 4 400 étudiants d'une université portugaise, testant six types différents de modèles informatiques pour voir lesquels pouvaient le mieux prédire si un étudiant obtiendrait son diplôme, abandonnerait ou resterait simplement inscrit.

L'étude a révélé que les modèles informatiques étaient effectivement assez doués pour distinguer les étudiants qui termineraient leurs diplômes de ceux qui partiraient. Les modèles les plus performants, qui utilisaient des techniques avancées pour apprendre des données, identifiaient correctement le résultat dans environ 90 % des cas lorsqu'ils ne considéraient que les deux résultats finaux : l'obtention du diplôme ou l'abandon. Cependant, la véritable percée est survenue lorsque les chercheurs ont ajouté la couche d'incertitude. Lorsque les modèles ont été sollicités pour être hautement confiants — spécifiquement, pour avoir raison 95 % du temps — ils n'ont pas imposé une réponse unique pour chaque étudiant. Au lieu de cela, pour environ 9 à 12 % des étudiants, les modèles ont renvoyé un ensemble contenant à la fois « diplômé » et « abandon ». Ce n'était pas un échec de l'ordinateur ; c'était un succès de la nouvelle méthode. Cela signifiait que pour ces étudiants spécifiques, les preuves disponibles n'étaient pas assez fortes pour choisir un futur plutôt qu'un autre. L'ordinateur admettait honnêtement : « Je ne peux pas en être sûr pour le moment ».

Cette incertitude était encore plus prononcée lorsque les chercheurs ont inclus une troisième catégorie : les étudiants toujours inscrits mais n'ayant pas encore obtenu leur diplôme. Dans ce scénario plus complexe, les modèles ont constaté que pour près de 40 % des étudiants, les preuves pointaient vers des futurs multiples. Le groupe des « toujours inscrits » représente un état de transition où le parcours de l'étudiant est véritablement indécis. En imposant une étiquette unique à ces étudiants, les études précédentes auraient pu masquer le fait que la prédiction était fragile. Le nouveau cadre, quant à lui, a rendu cette ambiguïté visible. Il a montré que pour une grande partie du corps étudiant, la trajectoire n'était pas encore claire et que l'ordinateur ne pouvait pas prédire avec certitude le résultat final. Il s'agit d'une distinction cruciale pour les administrateurs scolaires, car elle leur évite de traiter une supposition fragile avec le même poids qu'un fait solide.

Au-delà de la simple mesure de l'incertitude, l'étude a également examiné les facteurs qui influençaient ces prédictions. En utilisant une technique qui décompose le processus de décision de l'ordinateur, les chercheurs ont découvert que les signaux les plus forts provenaient de la progression académique de l'étudiant. Plus précisément, le nombre de cours réussis par un étudiant et ses notes au second semestre étaient les indicateurs les plus puissants de son avenir. Le stress financier jouait également un rôle majeur ; les étudiants accusant un retard dans le paiement de leurs frais de scolarité ou ayant des detues étaient plus susceptibles d'être signalés comme étant à risque. Ces conclusions rejoignent les théories de longue date sur les raisons pour lesquelles les étudiants quittent l'école, confirmant que l'intégration académique et la stabilité financière sont des piliers clés de la persévérance. L'étude ne prétend pas que ces facteurs causent l'abandon des étudiants, mais plutôt qu'ils sont les indices les plus fiables dont l'ordinateur peut disposer pour repérer les difficultés.

Les implications de ce travail sont pratiques et immédiates pour la gestion des ressources universitaires. L'étude propose un système hiérarchisé pour agir sur ces prédictions. Si l'ensemble de prédiction d'un étudiant ne contient que « abandon », l'établissement peut le prioriser pour un soutien intensif immédiat, tel que du tutorat ou du conseil financier. Si l'ensemble ne contient que « diplômé », l'étudiant peut être laissé tranquille pour poursuivre ses études sans interférence inutile. Mais pour les étudiants dont l'ensemble de prédiction contient plusieurs résultats — ceux pour qui l'ordinateur ne peut pas décider — l'étude suggère une approche différente. Ces étudiants devraient être orientés vers des conseillers humains pour un examen plus approfondi. Un conseiller peut recueillir davantage d'informations, comme discuter avec l'étudiant ou vérifier sa présence, afin de résoudre l'incertitude avant de prendre une décision. Cela transforme l'ordinateur, passant de juge final à un outil utile qui souligne là où le jugement humain est le plus nécessaire.

En fin de compte, cette recherche suggère que l'avenir du soutien aux étudiants ne réside pas dans la construction d'ordinateurs qui ont toujours raison, mais dans la création de systèmes qui sont honnêtes lorsqu'ils sont incertains. En quantifiant l'incertitude, les établissements peuvent cesser de deviner et commencer à prendre des décisions éclairées. Ils peuvent diriger leurs ressources limitées vers les étudiants qui en ont le plus besoin, tout en évitant la stigmatisation et le gaspillage dans les cas où l'issue est en réalité claire. L'étude conclut que si l'apprentissage automatique est un outil puissant pour repérer des modèles dans les données des étudiants, il doit être couplé à des méthodes qui mesurent la fiabilité. Ce n'est qu'à cette condition que ces systèmes pourront véritablement soutenir l'objectif d'aider chaque étudiant à franchir la ligne d'arrivée.