From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support

Dans le vaste paysage numérique de l'éducation moderne, les systèmes de gestion de l'apprentissage enregistrent un flux constant d'activités étudiantes : clics sur les pages de cours, soumissions de quiz, participation aux forums et l'horodatage de chaque connexion. Depuis des années, les scientifiques des données utilisent ces traces numériques pour construire des modèles capables de prédire quels étudiants sont susceptibles de rencontrer des difficultés ou d'échouer. Ces outils prédictifs agissent comme un système d'alerte précoce, signalant les apprenants à risque avant qu'une crise ne survienne. Cependant, une prédiction de difficulté n'est que la moitié de la solution. Savoir qu'un étudiant est en danger ne dit pas à un enseignant ou à un conseiller quelles étapes concrètes et pratiques peuvent être entreprises pour l'aider. Un avertissement disant « cet étudiant va échouer » est moins utile qu'un guide disant « si cet étudiant consulte ces trois pages et assiste à une session de soutien, ses chances de réussite augmentent considérablement ». Le défi consiste à transformer un score de risque statistique en un plan concret et actionnable qui respecte les limites réelles de temps, de ressources et de confidentialité des données des étudiants.

C'est le problème central abordé par un nouveau cadre appelé SC2R, développé par des chercheurs pour combler le fossé entre la prédiction de l'échec et la facilitation du succès. L'équipe, travaillant avec les données du jeu de données d'apprentissage de l'Open University (Open University Learning Analytics Dataset), a cherché à aller au-delà de simples scores de risque pour générer des plans d'intervention qui ne soient pas seulement mathématiquement possibles, mais aussi réellement réalisables dans les contraintes d'une salle de classe réelle. Ils ont reconnu qu'une recommandation est inutile si elle demande à un étudiant de faire quelque chose d'impossible, comme assister à un cours après la date limite, changer une caractéristique personnelle permanente ou accéder à une ressource qui n'est pas disponible. Pour résoudre cela, ils ont combiné un modèle prédictif avec un système qui vérifie chaque action suggérée par rapport à un ensemble de règles strictes et lisibles par machine concernant le temps, le budget et la disponibilité.

Les chercheurs ont construit un système qui fonctionne en trois étapes distinctes. Premièrement, il examine l'état actuel d'un étudiant, capturant son activité récente et ses performances passées à des moments spécifiques avant un examen à venir. Un modèle prédictif estime ensuite la probabilité que cet étudiant réussisse la prochaine évaluation. Si la probabilité est trop faible, le système passe à sa deuxième étape : la génération d'une liste d'actions potentielles pour améliorer le résultat. Il ne s'agit pas de suggestions vagues, mais d'étapes discrètes et dénombrables, comme réviser un nombre spécifique de quiz d'entraînement ou revisiter un ensemble de pages de cours. Le système utilise une méthode d'optimisation mathématique pour trouver la combinaison d'actions qui offre la meilleure chance de succès tout en exigeant le moins d'effort de la part de l'étudiant.

Cependant, la véritable innovation de ce travail réside dans la troisième étape, où le système agit comme un gardien rigoureux. Avant qu'un plan ne soit présenté à un humain, il est traduit en un format numérique structuré et soumis à une vérification de validation sémantique. Ce processus vérifie que chaque action proposée s'insère dans la réalité de l'environnement éducatif. Il garantit que les activités suggérées peuvent être accomplies avant la date limite de l'examen, que l'effort total ne dépasse pas une limite raisonnable et que l'étudiant n'est pas invité à modifier des faits immuables concernant son identité ou son histoire. Le système vérifie également que toute ressource requise, comme une session de laboratoire spécifique ou un bureau de soutien, est effectivement ouverte et disponible pendant le temps proposé.

Lorsque les chercheurs ont testé ce cadre sur des données provenant de plus de 127 000 instantanés d'étudiants, les résultats ont souligné l'importance critique de ces contraintes. La composante prédictive du système a performé avec force, identifiant avec précision les étudiants à risque avec un haut degré de fiabilité. Plus important encore, le système a réussi à générer des milliers de plans d'intervention compacts, le plan moyen ne nécessitant qu'un peu plus d'une action pour atteindre une amélioration souhaitée de la probabilité de succès. Le coût moyen de ces interventions a été calculé à environ 10,3 unités, une métrique représentant l'effort requis. Crucialement, la couche de validation sémantique a révélé que sans ces contrôles stricts, de nombreux plans qui semblaient bons sur le papier auraient été rejetés en pratique. Dans un test contrôlé de 200 cas, lorsque le système a été sollicité pour considérer la disponibilité des ressources, près de 13 % des plans qui semblaient initialement valides ont été signalés comme impossibles car les ressources requises n'étaient pas disponibles aux moments suggérés.

L'étude suggère que la valeur d'un tel système ne réside pas dans la garantie qu'un étudiant réussira, mais dans l'assurance que le conseil donné est digne de confiance et opérationnellement sain. Les chercheurs ont constaté que, bien que le système puisse générer des plans mathématiquement valides, les contraintes sémantiques étaient nécessaires pour filtrer ceux qui étaient pratiquement inapplicable. Cette distinction est vitale pour instaurer la confiance entre les éducateurs et l'intelligence artificielle. Si un système suggère un plan qu'un enseignant sait impossible à exécuter, l'outil entier perd sa crédibilité. En rendant la faisabilité d'un plan vérifiable par machine, le cadre garantit que les recommandations ne sont pas seulement valides selon le modèle, mais aussi sémantiquement réalisables et interprétables.

Le travail a également examiné la stabilité de ces recommandations lorsque les données sous-jacentes changent légèrement ou lorsque le modèle est réentraîné. Les résultats ont montré que les plans étaient modérément stables face à de petits changements dans les données de l'étudiant, mais moins stables lorsque le modèle prédictif lui-même était mis à jour. Cela indique que, bien que le cadre soit robuste pour la prise de décision immédiate, les recommandations peuvent devoir être revues si l'environnement d'apprentissage ou la compréhension du modèle de celui-ci change de manière significative. Les chercheurs ont pris soin de noter que leur évaluation a été menée hors ligne à l'aide de données historiques, ce qui signifie qu'ils ne pouvaient pas prouver que le suivi de ces plans changerait réellement les résultats des étudiants dans un cadre réel. L'étude établit la faisabilité de la méthode, et non l'impact causal des interventions.

En fin de compte, cette recherche offre une nouvelle façon de concevoir le soutien éducatif. Elle déplace la conversation de la simple identification de qui est à risque vers la définition de ce qui peut être fait à ce sujet, à condition que la solution respecte le réseau complexe de temps, de ressources et de règles qui régissent l'éducation. En traitant la planification de l'intervention comme un problème qui nécessite à la fois une optimisation mathématique et des vérifications de réalité sémantique, le cadre ouvre une voie vers un support à la décision qui est aussi pratique que prédictif. Les conclusions suggèrent que pour que l'intelligence artificielle soit véritablement utile en éducation, elle doit être capable de parler le langage de la salle de classe, comprenant non seulement les chiffres, mais aussi les contraintes qui donnent un sens à ces chiffres.