A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Cette étude propose un cadre de modélisation temporelle intégrant une couche de simulation contrefactuelle pour prédire l'abandon étudiant dans l'enseignement supérieur à l'aide de données d'engagement LMS, démontrant la capacité du modèle à comparer des scénarios de politiques éducatives bien que sans identification causale formelle.

L'essentiel

🎓 Le "GPS" pour éviter que les étudiants ne décrochent

Imaginez que vous êtes le capitaine d'un grand bateau (l'université) avec des milliers de passagers (les étudiants). Votre objectif est que tout le monde arrive à bon port (diplôme). Le problème ? Certains passagers commencent à sauter par-dessus bord avant d'arriver. C'est ce qu'on appelle le décrochage scolaire.

Jusqu'à présent, les universités utilisaient une carte statique : elles savaient qui risquait de sauter, mais pas quand ni comment les aider au bon moment. C'est comme savoir qu'il va pleuvoir, mais sans savoir si c'est dans 5 minutes ou dans 5 jours.

Cette étude propose un nouveau système, un peu comme un GPS dynamique et un simulateur de vol, pour résoudre ce problème.

1. Le GPS en temps réel (La Modélisation Temporelle)

Au lieu de prendre une photo de l'étudiant une fois par an, le système observe son comportement chaque semaine.

• L'analogie : Imaginez que vous surveillez un coureur sur un marathon. Si vous voyez qu'il ralentit soudainement, qu'il ne boit plus d'eau ou qu'il regarde son téléphone au lieu de courir, vous savez qu'il risque de s'arrêter bientôt.
• Ce que fait le modèle : Il analyse les "traces" numériques laissées par les étudiants sur leur plateforme d'apprentissage (clics, connexions, soumissions de devoirs). Il calcule chaque semaine la probabilité que l'étudiant abandonne.
• Le résultat : Le système est très bon pour dire : "Attention, cette semaine, l'étudiant X a un risque élevé de partir." Il est précis à 84 % pour détecter ces moments critiques.

2. Le Simulateur de Vol (La Simulation de Politiques)

C'est la partie la plus originale. Les chercheurs ne se contentent pas de prédire le problème ; ils testent des solutions dans un monde virtuel avant de les appliquer dans la réalité.

• L'analogie : C'est comme un pilote d'avion qui utilise un simulateur pour tester : "Que se passe-t-il si je change la trajectoire ici ?" ou "Et si je donne un coup de pouce au moteur maintenant ?".
• Les deux scénarios testés :
  1. Le "Choc" (Shock) : Imaginez que vous envoyez un message automatique très fort à tous ceux qui n'ont pas bougé depuis 7 jours. Le modèle simule : "Si on réduit le risque de 8 %, 20 % ou même 60 %, combien d'étudiants sont sauvés ?"
     • Résultat : Ça marche ! Plus le message est fort, plus le nombre d'étudiants qui restent augmente (un peu comme un parachute qui s'ouvre).
  2. Le "Mécanisme Intelligent" (Mechanism-Aware) : Ici, le système essaie de simuler un changement plus subtil : "Et si on augmentait virtuellement l'activité de l'étudiant pour le remettre dans le bain ?"
     • Résultat : Dans cette simulation précise, cela n'a pas fonctionné aussi bien. Cela montre que parfois, les solutions complexes ne sont pas toujours les meilleures.

3. L'Équité pour tous (L'Analyse de Sous-groupes)

Le système vérifie aussi si ces solutions fonctionnent aussi bien pour les hommes que pour les femmes, ou pour différents groupes.

• L'analogie : C'est comme vérifier si un nouveau médicament fonctionne aussi bien pour les enfants que pour les adultes.
• Le résultat : Le modèle a montré que la solution proposée réduisait très légèrement l'écart entre les groupes (ce qui est bien), mais l'effet était minuscule. L'important ici n'est pas la taille du chiffre, mais le fait que le système puisse vérifier cette équité sans faire de fausses promesses.

🚫 Ce que ce système ne fait PAS (Les limites importantes)

Les auteurs sont très honnêtes : ce système n'est pas une boule de cristal magique qui prédit l'avenir avec certitude.

• Ce n'est pas une preuve de cause à effet : Ils ne disent pas "Ce message a causé le sauvetage de l'étudiant". Ils disent : "Si nous appliquions cette règle, notre modèle prédit que cela pourrait aider." C'est une simulation structurée, pas une expérience médicale réelle.
• C'est un outil d'aide à la décision : Cela permet aux directeurs universitaires de comparer des stratégies ("Si on envoie un SMS le lundi, c'est mieux que le vendredi ?") avant de dépenser de l'argent ou du temps.

🏁 En résumé

Cette recherche propose une boîte à outils intelligente pour les universités :

1. Surveiller les étudiants semaine par semaine pour voir quand ils sont en danger.
2. Simuler différentes façons de les aider (messages, encouragements) dans un environnement virtuel pour voir ce qui marche le mieux.
3. Vérifier que ces solutions sont justes pour tout le monde.

C'est comme passer d'une approche réactive ("Oh non, il est parti, c'est dommage") à une approche proactive ("Attends, il ralentit, envoyons-lui un petit coup de pouce maintenant !").

Résumé technique

1. Problématique et Contexte

Le décrochage scolaire dans l'enseignement supérieur représente un défi majeur avec des coûts individuels, institutionnels et sociétaux élevés. Bien que de nombreuses approches utilisent l'apprentissage automatique pour prédire qui risque d'abandonner, la littérature actuelle présente deux limites critiques :

1. Staticité : La plupart des modèles fournissent des scores de risque statiques à un instant donné, sans modéliser l'évolution temporelle du risque au cours du semestre.
2. Manque de cadre d'action : Il existe un fossé entre la prédiction et l'intervention. Les institutions manquent de règles décisionnelles auditables pour déterminer quand agir et comment simuler l'impact de différentes politiques de soutien avant leur mise en œuvre réelle.

L'objectif de cette étude est de combler ce fossé en proposant un cadre mathématique qui transforme la prédiction du risque en une simulation de politiques contrefactuelles, permettant d'évaluer structurellement des scénarios d'intervention sans prétendre identifier des effets causaux à partir de données observationnelles.

2. Méthodologie

Le cadre proposé repose sur l'utilisation des données du Open University Learning Analytics Dataset (OULAD), intégrant des logs d'interaction temporels (LMS), des informations d'évaluation et des registres administratifs.

A. Modélisation du Risque Temporel (RQ1)

• Unité d'analyse : Le modèle opère au niveau de l'inscription par semaine (format "person-period"), transformant le décrochage en un événement de type "temps jusqu'à l'événement" (time-to-event).
• Algorithme : Une régression logistique pénalisée et équilibrée par classe est entraînée sur des données hebdomadaires pour estimer le risque conditionnel hebdomadaire (hazard) $\hat{h}_{it}$.
• Survie : La probabilité de survie $\hat{S}_i(t)$ est dérivée par produit cumulatif des risques hebdomadaires.
• Validation : Le modèle est évalué via une séparation temporelle stricte (train/test au niveau de l'inscription) pour éviter les fuites de données. Les métriques incluent l'AUC au niveau de la ligne (discrimination) et la calibration (Brier score pondéré par l'IPCW pour gérer la censure).

B. Simulation de Politiques Contrefactuelles (RQ2)

Le cadre introduit une couche de simulation structurelle pour comparer des scénarios d'intervention sous un "contrat" explicite :

• Déclencheur : Une règle basée sur l'absence d'activité LMS (recence $\ge$ 7 jours).
• Scénarios comparés :
  1. Scénario "Choc" (Shock) : Réduction immédiate et directe du risque de base (hazard) par un facteur $\delta$ pendant une fenêtre d'activation.
  2. Scénario "Conscient du Mécanisme" (Mechanism-aware) : Mise à jour étatique des covariables (ex: augmentation simulée des clics) qui se propagent dans le temps, influençant ensuite le risque calculé par le modèle.
• Mesure de contraste : Le contraste de survie structurelle $\Delta S(t) = \bar{S}^{(1)}(t) - \bar{S}^{(0)}(t)$ mesure la différence de survie entre le scénario d'intervention et la ligne de base.

C. Analyse de Sous-groupes (RQ3)

Le cadre évalue l'équité en mesurant comment un même scénario modifie l'écart de survie entre des groupes observables (ici, le genre). L'incertitude est quantifiée via le bootstrap pour déterminer la stabilité directionnelle du changement d'écart ($\Delta Gap$).

D. Gestion de la Censure et Horizons

Une distinction technique est faite entre l'horizon de rapport substantif ($T_{policy}=18$ semaines) et l'horizon de validité des métriques pondérées ($T_{eval\_metrics}=37$ semaines), basé sur la survie de la censure ($\hat{G}(t)$) pour éviter l'instabilité numérique des poids IPCW.

3. Contributions Clés

1. Cadre Temporel Discret : Passage d'une prédiction statique à une estimation de trajectoires de risque hebdomadaires, permettant une détection précoce des fenêtres de risque critiques.
2. Couche de Simulation Structurelle : Introduction d'un module permettant de comparer des scénarios d'intervention (choc vs mécanisme) de manière auditable, tout en clarifiant que les résultats sont des contrastes de modèle et non des effets causaux identifiés.
3. Audit de Sous-groupes : Capacité à quantifier l'impact différentiel des politiques sur les écarts de performance entre groupes, avec une estimation de l'incertitude.
4. Reproductibilité et Transparence : Le pipeline complet (prétraitement, split temporel, simulation, export) est ouvert, avec une documentation rigoureuse des hypothèses et des artefacts de preuve.

4. Résultats Principaux

• Qualité du Modèle (RQ1) : Le modèle atteint une AUC de 0,8405 sur l'ensemble de test pour la discrimination du risque hebdomadaire. La calibration est globalement acceptable, bien que les bins à très haut risque soient peu soutenus par les données.
• Contraste de Scénario (RQ2) :
  • Les scénarios de type "choc" montrent des gains de survie positifs ($\Delta S$) qui augmentent avec l'intensité de l'intervention (ex: $\Delta S = 0,0819$ pour un choc fort à la semaine 18).
  • Le scénario "conscient du mécanisme" (basé sur la mise à jour des covariables de clics) a produit un contraste négatif ($\Delta S \approx -0,0078$), suggérant que, dans cette configuration spécifique, la propagation des covariables n'a pas généré de gain de survie par rapport à la ligne de base.
• Équité (RQ3) : L'analyse par genre montre un changement d'écart ($\Delta Gap$) directionnellement stable mais de très faible magnitude ($\approx -0,0005$), indiquant que la politique simulée réduit très légèrement l'écart de survie entre les genres, avec une robustesse statistique confirmée par le bootstrap.

5. Signification et Limites

Signification :
Ce travail démontre qu'il est possible de transformer des données d'engagement temporelles en outils d'aide à la décision politique structurée. Il offre aux institutions un moyen de tester virtuellement des règles d'intervention (ex: "quand déclencher un rappel ?") et d'anticiper leurs impacts relatifs sur la rétention et l'équité, sans avoir à mener d'expérimentations coûteuses ou risquées sur le terrain.

Limites et Portée :

• Non-causalité : Les auteurs insistent sur le fait que les résultats sont des contrastes structurels simulés et non des effets causaux identifiés. Les données observationnelles ne permettent pas d'isoler l'effet réel d'une intervention.
• Dépendance aux hypothèses : Les résultats dépendent fortement des paramètres du scénario (intensité du choc, fenêtre d'activation) et de la qualité des données de censure.
• Généralisation : La validation a été effectuée sur OULAD ; la transférabilité à d'autres contextes nécessite des données de traces temporelles et des définitions claires de l'événement de sortie.

En conclusion, ce cadre fournit une infrastructure mathématique rigoureuse pour passer de la prédiction du décrochage à l'évaluation de politiques éducatives, en mettant l'accent sur la temporalité, la simulation de scénarios et l'audit d'équité.