Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Cette étude démontre que les prédictions quasi parfaites de l'obtention d'un diplôme de l'enseignement supérieur précédemment rapportées étaient des artefacts de fuite de données provenant d'attributs déterminés par le résultat, et établit que lorsqu'on utilise un protocole corrigé et exempt de fuite sur des dossiers administratifs de Gaza, les modèles d'apprentissage automatique atteignent une précision élevée mais réaliste (jusqu'à 89,16 %) avec le nombre de semestres achevés comme étant le prédicteur le plus fort.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans l'université moderne, une vaste trace numérique est laissée derrière chaque étudiant. Dès l'instant où ils postulent, leurs noms, leurs notes et leur assiduité sont enregistrés dans des systèmes administratifs, créant une archive massive d'histoire académique. Depuis des décennies, des chercheurs tentent d'exploiter ces données pour trouver des modèles capables de prédire qui obtiendra son diplôme et qui pourrait abandonner. L'objectif est d'identifier précocement les étudiants en difficulté, permettant ainsi aux établissements d'offrir de l'aide avant qu'il ne soit trop tard. Ce domaine, connu sous le nom de forage de données éducatives (educational data mining), repose sur une règle simple mais stricte : une prédiction doit être faite en utilisant uniquement les informations disponibles à ce moment précis. Si un modèle utilise une information qui n'existe qu'après la réalisation du résultat, il utilise une information future. Cette erreur, appelée fuite de cible (target leakage), crée un faux sentiment de certitude, rendant un modèle parfait alors qu'il ne fait que lire le corrigé.
Une équipe de chercheurs à Gaza, en Palestine, s'est donné pour mission de tester cette idée en utilisant vingt ans de dossiers de l'University College of Applied Sciences. Ils ont examiné les dossiers de près de 4 700 étudiants ayant étudié l'informatique entre 2000 et 2019. Leur enquête a débuté par une découverte frappante. Lorsqu'ils ont construit des modèles informatiques pour prédire la remise des diplômes en utilisant les données exactement telles qu'elles étaient stockées dans le système de l'école, les résultats étaient suspectement parfaits. Les modèles atteignaient une précision de 100 pour cent, ce qui signifie qu'ils ne commettaient aucune erreur. Cela semblait être un triomphe, mais les chercheurs ont réalisé que les modèles ne prédisaient pas réellement l'avenir. Ils regardaient simplement deux colonnes spécifiques dans la base de données : l'année d'obtention du diplôme et la moyenne générale finale. Ces chiffres n'apparaissent dans le système que si l'étudiant a déjà terminé son cursus. En les incluant, les modèles se voyaient essentiellement donner la réponse avant même d'avoir commencé l'examen.
Une fois que les chercheurs ont supprimé ces deux colonnes d'« informations futures », le tableau a radicalement changé. Les modèles, qui comprenaient des arbres de décision, des forêts aléatoires et des algorithmes de boosting de gradient, ont dû travailler avec seulement les informations disponibles pendant que les étudiants étaient encore en cours d'études. Dans ces conditions honnêtes, la précision est tombée à un niveau plus réaliste, oscillant autour de 89 pour cent. Bien qu'il s'agisse d'un résultat solide, cela est loin de la perfection impossible observée auparavant. Les chercheurs ont découvert que le signal le plus puissant pour déterminer si un étudiant obtiendrait son diplôme n'était pas sa moyenne générale, mais simplement le nombre de semestres qu'il avait validés avec succès. Un étudiant qui continuait à se présenter et à terminer ses sessions était bien plus susceptible d'obtenir son diplôme qu'un étudiant ayant des notes élevées mais qui cessait d'assister aux cours. Cela suggère que la persévérance est un prédicteur de réussite plus fort que la performance académique momentanée.
L'étude a également examiné à quel point ces prédictions pouvaient être faites tôt. Lorsque les chercheurs ont restreint les modèles pour n'utiliser que les informations disponibles au moment où l'étudiant postulait à l'université — comme ses notes de fin d'études secondaires et son âge — la précision est tombée à environ 70 pour cent. Cela indique que, si les écoles peuvent obtenir un aperçu général du risque avant même l'arrivée d'un étudiant, la véritable image n'émerge qu'une fois que l'étudiant commence son parcours et que son historique de présence commence à se construire. Les chercheurs ont également vérifié si les modèles traitaient les étudiants de sexe masculin et féminin de manière équitable. Ils ont constaté que les modèles ne discriminaient pas ; en fait, parce que les étudiantes de ce groupe spécifique avaient un taux de diplomation naturel plus élevé, les modèles prédisaient correctement qu'elles seraient plus susceptibles de réussir. La version antérieure de l'étude avait suggéré une règle différente basée sur le genre, mais il s'agissait d'une illusion créée par des données erronées.
Les implications de ce travail s'étendent bien au-delà d'une seule université à Gaza. Cela sert de mise en garde pour les institutions du monde entier qui sont impatientes d'utiliser l'intelligence artificielle pour gérer la réussite des étudiants. Les chercheurs ont démontré qu'un modèle peut paraître incroyablement puissant tout en étant totalement inutile s'il est autorisé à jeter un coup d'œil à la réponse. Ils ont fourni une méthode claire pour que d'autres écoles puissent vérifier leurs propres données pour déceler ces failles cachées. Pour les conseillers universitaires, les conclusions corrigées offrent une voie pratique : se concentrer sur les étudiants qui cessent d'assister aux cours plutôt que sur ceux qui ont simplement de mauvaises notes, et utiliser ces prédictions comme un déclencheur pour une conversation humaine plutôt que comme une décision automatisée. L'étude conclut qu'une haute précision n'est pas la seule mesure d'un bon modèle ; un modèle qui est honnête sur ce qu'il sait et sur la manière dont il le sait est bien plus précieux pour aider les étudiants à naviguer dans leur éducation.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.