A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Este artículo introduce un referente de supervivencia unificado y multidimensional para la predicción del riesgo de abandono temporal utilizando el conjunto de datos OULAD, demostrando que las señales conductuales y temporales superan a los atributos estáticos al tiempo que destaca la necesidad de separar las familias de modelos para evitar artefactos de evaluación.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada semestre, las universidades se enfrentan a una crisis silenciosa: estudiantes que comienzan sus cursos pero nunca los terminan. Durante décadas, los educadores han intentado predecir quién tiene probabilidades de abandonar, con la esperanza de ofrecer ayuda antes de que sea demasiado tarde. Este campo, conocido como analítica del aprendizaje, trata los datos de los estudiantes como un mapa, buscando patrones que señalen problemas. Tradicionalmente, estos mapas han sido instantáneas estáticas, construidas a partir del trasfondo de un estudiante, su edad o sus calificaciones de años anteriores. Pero el viaje de un estudiante no es una fotografía única; es una película que se reproduce semana tras semana. El riesgo de abandonar un curso no permanece inmóvil; cambia y crece a medida que el estudiante interactúa con sus materiales en línea, pierde fechas de entrega o, simplemente, deja de navegar por el sitio web del curso. La pregunta central para los investigadores ha sido si podemos construir un mejor mapa observando esta película en tiempo real, en lugar de solo mirar los créditos iniciales.
Un equipo de investigadores de la Universidad de Eastern se propuso responder a esta pregunta mediante la creación de un nuevo tipo de prueba para comparar diferentes formas de predecir la deserción estudiantil. Utilizaron una colección de datos masiva y muy conocida de la Open University, que rastrea a miles de estudiantes a través de varios cursos. En lugar de simplemente declarar a un modelo informático como el ganador, diseñaron un experimento riguroso que respetaba la diferencia entre dos formas distintas de entender el tiempo. Un grupo de modelos, al que llamaron la familia "Semanal Dinámica", observaba a los estudiantes semana tras semana, actualizando su predicción cada vez que aparecía una nueva pieza de actividad. El otro grupo, la familia de "Ventana Temprana Estática", adoptaba un enfoque diferente: observaba únicamente las primeras cuatro semanas del comportamiento de un estudiante y luego realizaba una única predicción fija para el resto del curso. Los investigadores trataron estos dos enfoques no como rivales para ser clasificados entre sí, sino como dos lentes distintos para observar el mismo fenómeno, asegurando que la comparación fuera justa y que los resultados no se vieran distorsionados por la forma en que se organizaban los datos.
El estudio comparó catorce modelos informáticos diferentes, que iban desde herramientas estadísticas simples hasta sistemas complejos de inteligencia artificial. Los investigadores midieron qué tan bien podía cada modelo realizar dos tareas: clasificar correctamente a los estudiantes según su nivel de riesgo y proporcionar un número de probabilidad que coincidiera con el número real de estudiantes que abandonaban. Debido a que las dos familias utilizan formulaciones de riesgo distintas, los investigadores reportaron los resultados dentro de cada familia por separado, en lugar de crear una clasificación única combinada. Dentro del grupo de "Ventana Temprana Estática", un modelo llamado Random Survival Forest surgió como el más fiable. Fue el mejor identificando qué estudiantes estaban en riesgo y, crucialmente, sus estimaciones de probabilidad fueron muy precisas. Por ejemplo, cuando este modelo predecía una probabilidad del treinta por ciento de que un estudiante abandonara, la tasa de deserción real para ese grupo de estudiantes era muy cercana al treinta por ciento. Esta precisión es vital porque significa que las instituciones pueden confiar en los números para decidir quién necesita ayuda. Dentro del grupo "Semanal Dinámica", los modelos se agruparon muy cerca en cuanto a rendimiento, con un modelo llamado Poisson Piecewise-Exponential mostrando una ligera ventaja en una métrica específica, aunque ningún modelo único dominó en todas las medidas.
Quizás el descubrimiento más significativo no fue sobre qué modelo informático era el más inteligente, sino sobre qué información utilizaban realmente los modelos para tomar sus decisiones. Los investigadores probaron esto eliminando diferentes tipos de datos de los modelos, uno por uno. Eliminaron la información de trasfondo estática, como la edad, el género o la educación previa del estudiante. Luego, eliminaron los datos de comportamiento, como la frecuencia con la que un estudiante hacía clic en los materiales del curso o cuántas semanas estuvo activo. Los resultados fueron claros y consistentes en casi todos los modelos: la información de trasfondo apenas importaba. Cuando se eliminaron los datos de comportamiento, la capacidad de los modelos para predecir la deserción colapsó. La señal dominante no era quién era el estudiante, sino qué estaba haciendo. Específicamente, el número de clics en las primeras cuatro semanas y el número de semanas activas fueron los predictores más fuertes. Esto sugiere que la deserción no es un rasgo fijo de una persona, sino un proceso que se desarrolla a través de su compromiso diario.
El estudio también reveló que no todos los modelos son iguales en términos de fiabilidad. Mientras que la mayoría de los modelos de alto rendimiento ofrecían estimaciones de probabilidad honestas, un modelo en el grupo estático, llamado XGBoost AFT, funcionó mal en todos los aspectos. Le costó clasificar correctamente a los estudiantes y sus estimaciones de probabilidad eran erráticas, lo que sugiere que su estructura matemática no era lo suficientemente flexible para manejar la naturaleza cambiante del riesgo estudiantil. Este hallazgo refuerza la idea de que la forma en que se construye un modelo importa tanto como los datos que este recibe. Los investigadores concluyeron que, para las instituciones que buscan construir sistemas de alerta temprana, el mejor enfoque es utilizar un modelo que se centre en el primer mes de comportamiento. Pueden calificar a los estudiantes al final de la cuarta semana utilizando datos simples como el recuento de clics y las semanas activas, señalar a aquellos con un alto riesgo de abandonar y luego intervenir. El estudio no afirmó que este método funcione para todas las universidades o cursos, ya que los datos procedían de un conjunto específico de módulos, pero proporcionó un marco claro y unificado para entender cómo medir el riesgo. La conclusión es que el camino para permanecer en la escuela está pavimentado con acciones diarias, y la mejor manera de predecir quién se irá es observar esas acciones de cerca, en lugar de confiar en quién era el estudiante antes de llegar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.