Decision-aware machine learning improves academic early warning

Résumé Technique : Apprentissage Automatique Sensible à la Décision pour l'Alerte Précoce Académique

Problématique
Les systèmes actuels d'alerte précoce en milieu académique dans l'enseignement supérieur sont principalement évalués comme des outils de prédiction visant à identifier les étudiants présentant un risque de violation des seuils réglementaires formels (ex. : GPA minimum, limites de crédits). Cependant, ces systèmes sont confrontés à un « écart entre prédiction et action ». Dans les environnements réglementés, les acteurs institutionnels ne peuvent pas agir de manière continue sur les signaux prédictifs ; ils doivent opérer au sein de cadres réglementaires stricts et ex-post, où l'intervention est souvent déclenchée uniquement après qu'un étudiant a déjà échoué. Ce désalignement temporel signifie que même des prédictions précises peuvent arriver trop tard pour une intervention efficace et proportionnée. De plus, les politiques d'intervention uniformes ne parviennent souvent pas à prendre en compte l'hétérogénéité des conditions d'apprentissage, ce qui peut renforcer les inégalités structurelles en retardant le soutien pour les étudiants issus de milieux défavorisés qui présentent des signaux de risque précoces plus bruités ou plus faibles. Le problème central abordé est la manière de traduire les estimations de risque prédictives en décisions institutionnelles opportunes, équitables et économes en ressources avant que les seuils réglementaires formels ne soient franchis, sans pour autant contourner ou violer les structures de gouvernance académique existantes.

Méthodologie
L'étude propose un cadre d'apprentissage automatique sensible à la décision qui reformule l'alerte précoce comme un problème de soutien à la décision pré-réglementaire plutôt que comme une simple tâche de prédiction. La méthodologie se compose de deux couches distinctes :

1. Couche d'Estimation du Risque (Pipeline IA) :

   • Données : Dossiers administrataux longitudinaux de six cohortes de premier cycle d'une université publique régionale au Vietnam, couvrant des instances étudiant-semestre.
   • Caractéristiques : Construites strictement à partir de données disponibles avant l'évaluation finale (ex. : GPA partiel, GPA cumulé, accumulation de crédits, crédits échoués et parcours d'entrée).
   • Modèles : Trois algorithmes d'apprentissage supervisé (Régression Logistique, Forêt Aléatoire, XGBoost) sont entraînés pour estimer la probabilité de violation de conditions réglementaires spécifiques dans un avenir proche.
   • Calibration : Les probabilités prédites sont calibrées par mise à l'échelle de Platt (Platt scaling) pour garantir leur fiabilité pour la prise de décision.

2. Couche de Décision (Politique Pré-Réglementaire) :

   • Coût Attendu de Violation Réglementaire (CAVR) : Au lieu d'agir uniquement sur des seuils de probabilité, le cadre calcule un CAVR pour chaque étudiant. Cette métrique combine la probabilité de risque calibrée avec une fonction de coût sensible au contexte ($C_k(g_i)$). Les coûts sont plus élevés pour les étudiants appartenant à des groupes structurellement défavorisés (ex. : zones rurales, minorités ethniques) afin de refléter les conséquences disproportionnées d'un retard d'intervention pour ces populations.
   • Règle de Décision : Une règle basée sur un seuil déclenche un soutien discrétionnaire (ex. : conseil, suivi) lorsque le CAVR dépasse un seuil de ressources limitées ($\tau$). Cette couche opère en amont des avertissements formels, préservant l'intégrité des réglementations officielles tout en permettant une gouvernance anticipative.

Contributions Clés

• Refonte du Paradigme : L'étude déplace l'accent de la maximisation de la précision prédictive (AUC, score de Brier) vers l'optimisation de la qualité de la décision sous contraintes réglementaires et de ressources. Elle démontre que la valeur de l'IA dans ce contexte réside dans la traduction du risque en action, et non seulement dans l'estimation du risque elle-même.
• Évaluation Sensible au Contexte : Le cadre introduit un mécanisme pour incorporer directement les conditions d'apprentissage hétérogènes dans la règle de décision via des paramètres de coût variables, plutôt que de s'appuyer uniquement sur des contraintes d'équité post-hoc ou des ajustements au niveau du modèle.
• Conception Sensible à la Réglementation : Le système est explicitement conçu pour fonctionner comme une couche « pré-réglementaire » qui soutient la discrétion humaine sans automatiser les sanctions, garantissant ainsi l'alignement avec la responsabilité institutionnelle et les cadres juridiques.

Résultats
L'évaluation empirique a comparé la politique proposée basée sur le CAVR à quatre lignes de base : Réglementation Uniquement (RO), Règle Uniforme (UR), Seuil de Prédiction (PT) et Insensibilité au Coût (CI).

• Taux d'Intervention Manquée (TIM) : La politique basée sur le CAVR a systématiquement obtenu le TIM le plus bas pour tous les noyaux prédictifs (Régression Logistique, Forêt Aléatoire, XGBoost). Elle a réduit les interventions manquées de manière plus significative que les politiques PT et CI, indiquant que le ciblage basé sur le coût attendu est plus efficace que le ciblage basé sur la probabilité seule.
• Efficacité des Ressources : Sous une couverture d'intervention précoce égale (EIC), la politique CAVR a produit la perte de décision pondérée par le coût (CDL) la plus faible, démontrant une allocation plus efficace des ressources de soutien limitées.
• Résultats d'Équité : Le cadre a considérablement réduit l'Écart d'Équité dans l'Intervention Manquée (EEIM). En attribuant des coûts plus élevés aux violations pour les étudiants structurellement défavorisés, la politique a priorisé le soutien précoce pour ces groupes, réduisant les disparités d'intervention manquée par rapport aux approches uniformes ou basées sur des seuils de probabilité.
• Robustesse : Les gains de performance étaient stables à travers différentes cohortes et modèles prédictifs, suggérant que les améliorations sont portées par la formulation de la décision plutôt que par des architectures de modèles spécifiques.

Signification et Revendications
L'article affirme que les systèmes d'alerte précoce académique ne doivent pas être évalués uniquement par des mesures de discrimination ou de calibration, mais par la qualité de la décision, l'efficacité des ressources et l'équité du soutien institutionnel.

• Gouvernance Institutionnelle : L'étude postule que l'analyse décisionnelle peut aider les universités à agir avant que les seuils formels ne soient franchis, transformant l'alerte précoce d'un statut administratif réactif en un mécanisme de gouvernance proactif.
• L'Équité comme Responsabilité Institutionnelle : Les conclusions suggèrent que l'équité dans l'éducation n'est pas seulement une propriété des modèles prédictifs, mais qu'elle est médiée par les paramètres de décision institutionnels. En opérationnalisant l'équité via des règles de décision sensibles au coût, les institutions peuvent traiter les inégalités structurelles sans compromettre l'autonomie réglementaire.
• Intelligence Augmentée : Le cadre illustre une « prise de décision institutionnelle augmentée », où l'IA améliore la cohérence et la prospective tout en préservant la supervision humaine et l'intégrité réglementaire. Les auteurs soulignent que ces systèmes ne sont pas des outils techniques neutres, mais des composantes de la gouvernance qui façonnent les opportunités éducatives et la mobilité sociale, particulièrement dans les contextes universitaires régionaux et diversifiés.

L'étude conclut que si la prédiction est nécessaire, elle est insuffisante ; le principal moteur de l'amélioration des résultats institutionnels est le lien explicite entre l'information prédictive et les processus de décision qui tiennent compte des contraintes réglementaires et des besoins hétérogènes des étudiants.