A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Este estudio propone un marco matemático que combina modelado temporal y simulación de políticas contrafactuales para predecir la deserción estudiantil en educación superior utilizando datos de participación en sistemas de gestión del aprendizaje, demostrando su capacidad para comparar escenarios estructurales internos bajo restricciones de datos observacionales, aunque sin lograr identificación causal.

Lo esencial

Imagina que la universidad es como un viaje en barco a través de un océano de aprendizaje. Algunos pasajeros (los estudiantes) llegan a la meta, pero otros se bajan del barco antes de tiempo (abandonan los estudios).

Este artículo es como un manual para el capitán del barco que no solo quiere saber quién se va a bajar, sino cuándo y por qué, para poder intervenir a tiempo y salvar el viaje.

Aquí tienes la explicación de la investigación usando analogías sencillas:

1. El Problema: Ver el futuro en tiempo real

Antes, las universidades usaban "fotografías" estáticas para predecir quién abandonaría. Era como mirar una foto de un estudiante en el primer día y decir: "Este tipo se va a ir".

• El problema: No sabían cuándo ocurriría la crisis. ¿Sería la semana 3? ¿La semana 10? Sin saber el momento exacto, las ayudas llegan tarde, como un paraguas cuando ya está lloviendo a cántaros.

2. La Solución: Un "GPS" de Riesgo Semanal

Los autores crearon un sistema que funciona como un GPS de navegación en tiempo real.

• Cómo funciona: En lugar de una foto, toman un video continuo de la actividad del estudiante en la plataforma online (cuántas veces entra, cuándo hace clic, cuándo deja de moverse).
• La magia: Calculan el "riesgo de abandono" cada semana. Es como decir: "Oye, este pasajero ha dejado de mirar el mapa durante 7 días; su probabilidad de saltar al agua es alta esta semana".

3. La Prueba de Fuego: El "Simulador de Realidad Virtual"

Esta es la parte más creativa. Los investigadores no solo predicen el futuro; crean un simulador de videojuego para probar políticas.

• La idea: Imagina que tienes un videojuego donde puedes cambiar las reglas y ver qué pasa.
• El experimento: Ellos simulan dos escenarios en su computadora:
  1. Escenario "Shock" (El empujón): Imagina que el sistema envía una alerta automática y un mensaje de ánimo a todos los que llevan una semana sin entrar. ¿Salvan más vidas en el simulador?
  2. Escenario "Mecánico" (El cambio de ruta): Imagina que el sistema no solo avisa, sino que cambia el comportamiento del estudiante en el juego (aumentando su actividad). ¿Mejora el resultado?

El resultado sorprendente:

• El "empujón" (escenario de choque) funcionó bien en el simulador: redujo ligeramente el riesgo de abandono.
• El "cambio de ruta" (escenario mecánico) fue un fracaso en esta prueba: intentar cambiar la actividad del estudiante en el simulador no ayudó, e incluso empeoró ligeramente las cosas.
• Lección: No todas las intervenciones funcionan igual. A veces, un simple recordatorio es mejor que intentar forzar un cambio de comportamiento complejo.

4. La Prueba de Justicia: ¿Funciona para todos?

El equipo también se preguntó: "¿Este sistema ayuda por igual a hombres y mujeres?".

• Usaron el simulador para ver si la intervención reducía la brecha entre grupos.
• El hallazgo: La intervención funcionó de manera muy similar para ambos grupos. La diferencia fue tan pequeña que, aunque el sistema es justo, no logró cerrar grandes brechas en este caso específico. Es como un paraguas que protege a todos por igual, pero no es lo suficientemente grande para cambiar el clima.

5. La Advertencia Importante: Simulación vs. Realidad

Los autores son muy honestos: Esto es un simulador, no una realidad mágica.

• No pueden decir: "Si hacemos esto, seguro que los estudiantes se salvarán".
• Lo que dicen es: "Según nuestro modelo matemático y nuestras reglas, así es como debería comportarse el barco si aplicamos estas medidas".
• Es como un simulador de vuelo para pilotos: te dice qué hacer si fallan los motores, pero no garantiza que el avión nunca se estrelle. Sirve para preparar y tomar decisiones informadas, no para predecir el futuro con certeza absoluta.

En Resumen

Esta investigación es como construir un laboratorio de control de tráfico aéreo para estudiantes.

1. Detecta cuándo un estudiante está a punto de "caer" (abandonar) basándose en su actividad semanal.
2. Simula diferentes estrategias de rescate (mensajes, alertas, cambios de curso) para ver cuál funciona mejor en teoría.
3. Verifica que las estrategias no favorezcan a un grupo sobre otro.

El objetivo final no es solo predecir quién se va a ir, sino dar a las universidades un manual de instrucciones para intervenir en el momento exacto y con la herramienta correcta, evitando que los estudiantes se pierdan en el océano.

Resumen técnico

Resumen Técnico: Marco Matemático para el Modelado Temporal y Simulación de Políticas Contrafactuals en la Deserción Estudiantil

1. Planteamiento del Problema

La deserción estudiantil en la educación superior representa un costo significativo para individuos, instituciones y la sociedad. Aunque existe una amplia literatura sobre la predicción de la deserción utilizando modelos de aprendizaje automático, la mayoría de los enfoques operativos actuales se basan en estimaciones de riesgo estáticas (¿quién está en riesgo?).

Estos enfoques presentan limitaciones críticas:

• Falta de resolución temporal: No indican cuándo se intensifica el riesgo a lo largo del cronograma del curso.
• Brecha entre predicción y acción: No traducen el riesgo temporal en reglas de decisión audibles ni en ventanas de tiempo específicas para intervenciones.
• Dificultad de evaluación causal: En entornos observacionales, es difícil determinar el efecto causal de las intervenciones debido a la falta de documentación estructurada de las políticas y a la heterogeneidad de los datos.

El objetivo del estudio es cerrar esta brecha proponiendo un marco que no solo prediga quién abandonará, sino que modele el abandono como un proceso dinámico en el tiempo y permita la comparación estructural de escenarios de intervención hipotéticos.

2. Metodología

El estudio utiliza el Open University Learning Analytics Dataset (OULAD), integrando registros de interacción con el Sistema de Gestión del Aprendizaje (LMS), información de evaluaciones y registros administrativos.

A. Enfoque de Modelado:

• Operacionalización: La deserción se define como una retirada administrativa con una fecha válida, modelada como un evento de "tiempo hasta el evento" en semanas discretas.
• Unidad de Análisis: Se construye una tabla de formato persona-período (una fila por inscripción-semana).
• Modelo Principal: Se utiliza una regresión logística penalizada y balanceada por clases para estimar la hazard semanal (riesgo condicional de abandono en la semana $t$ dado que el estudiante ha permanecido hasta esa semana).
  • Las probabilidades se calibran mediante Platt scaling (calibración sigmoidal) para obtener probabilidades de hazard interpretables.
  • La supervivencia se deriva del producto acumulativo de las probabilidades de no abandonar: $\hat{S}_i(t) = \prod_{k \le t} (1 - \hat{h}_{ik})$.

B. Simulación de Políticas Contrafactuals:
El marco introduce una capa de simulación que compara trayectorias de supervivencia bajo diferentes reglas de intervención, sin afirmar identificación causal:

1. Regla de Disparador (Trigger): Se basa en la inactividad en el LMS (ej. "sin interacción en los últimos 7 días").
2. Escenarios Comparados:
   • Línea Base: Trayectoria de hazard observada.
   • Escenario de "Shock": Reduce directamente el hazard base en una proporción fija ($\delta$) durante una ventana activa. Se prueban intensidades conservadoras y de estrés.
   • Escenario "Consciente del Mecanismo" (Mechanism-Aware): Modifica las covariables subyacentes (ej. incrementa los "clics" simulando re-enganche) de manera estatal (stateful) y recalcula el hazard a través del modelo.

C. Validación y Métricas:

• División Temporal: Split estratificado a nivel de inscripción para evitar fugas de datos (leakage) entre semanas de la misma inscripción.
• Horizontes de Evaluación: Se distingue entre el horizonte de reporte sustantivo ($T_{policy}=18$ semanas) y el horizonte técnico de estabilidad para métricas ponderadas por censura ($T_{eval\_metrics}=37$ semanas), utilizando IPCW (Inverse Probability of Censoring Weighting) para corregir el sesgo de censura.
• Análisis de Subgrupos: Se evalúa el impacto de la política en la brecha de supervivencia entre grupos (ej. género) mediante el cambio en la brecha ($\Delta Gap$), con incertidumbre cuantificada mediante bootstrap.

3. Contribuciones Clave

1. Marco de Hazard Discreto Temporal: Formalización de un pipeline para estimar trayectorias de supervivencia semanales en lugar de puntuaciones de riesgo estáticas.
2. Capa de Simulación de Políticas Estructural: Un mecanismo para comparar escenarios contrafactuales (shock vs. consciente del mecanismo) bajo reglas de intervención explícitas, diferenciando claramente entre contraste estructural del modelo y efecto causal real.
3. Auditoría de Equidad Subgrupal: Capacidad para cuantificar cómo una misma política hipotética altera las brechas de resultados entre grupos observables, con intervalos de confianza.
4. Protocolo Reproducible: Implementación completa con validación de fugas, calibración y exportación de artefactos (código y datos) disponibles públicamente.

4. Resultados Principales

• Calidad del Modelo (RQ1):

  • El modelo logra un AUC de 0.8405 en el conjunto de prueba a nivel de fila (semana), demostrando una buena capacidad de discriminación del riesgo semanal.
  • La calibración es aceptable en general, aunque las bins de mayor riesgo tienen soporte limitado, lo que requiere cautela en la interpretación de los extremos.

• Contraste de Escenarios (RQ2):

  • Escenario de Shock: Muestra ganancias positivas en la supervivencia ($\Delta S > 0$) que aumentan con la intensidad de la intervención (ej. $\Delta S = 0.0819$ para un shock del 60% a la semana 18).
  • Escenario Consciente del Mecanismo: Bajo la configuración actual (modificación de clics y propagación de estado), el contraste fue negativo ($\Delta S \approx -0.0078$), indicando que la simulación de re-enganche mediante covariables no generó una mejora en la supervivencia en este entorno específico.
  • Conclusión: Las ganancias positivas dependen fuertemente de la forma en que la política se introduce en el sistema (reducción directa de hazard vs. modificación de covariables).

• Validación de Subgrupos (RQ3):

  • Al analizar por género, la política mostró un cambio en la brecha de supervivencia ($\Delta Gap$) direccionalmente estable pero de magnitud muy pequeña (aprox. -0.0005).
  • Los intervalos de confianza del 95% excluyeron el cero, indicando estabilidad en la dirección, pero sugiriendo que el efecto práctico sobre la equidad en este escenario es mínimo.

• Robustez:

  • Las conclusiones se mantienen consistentes en análisis de ablación (eliminación de características temporales como "recencia" o "racha" reduce el rendimiento) y en validación fuera de dominio (leave-one-run-out), aunque con variabilidad entre diferentes ejecuciones de cursos.

5. Significado e Implicaciones

Este trabajo no pretende identificar efectos causales de intervenciones reales (ya que los datos son observacionales), sino proporcionar un marco de validación estructural.

• Para Instituciones: Permite pasar de la predicción estática a la planificación dinámica de intervenciones, identificando ventanas temporales críticas y probando "qué pasaría si" bajo reglas de intervención audibles.
• Para la Investigación: Establece un protocolo riguroso para la simulación de políticas en entornos educativos donde los ensayos aleatorios (A/B testing) son operativamente difíciles de implementar.
• Limitaciones: Los resultados son contrastes de escenarios implícitos por el modelo. La validez de las simulaciones depende de la calidad de los datos de engagement y de las suposiciones sobre cómo las intervenciones hipotéticas afectarían las covariables futuras.

En resumen, el estudio demuestra que es posible construir un pipeline reproducible que traduzca el modelado de riesgo temporal en diagnósticos de política estructurados y evaluaciones de equidad, ofreciendo una herramienta valiosa para la toma de decisiones basada en datos en la educación superior.