Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

En el vasto paisaje de la educación en línea, las plataformas generan un flujo continuo de huellas digitales: clics en los materiales de los cursos, entrega de tareas y patrones de actividad de inicio de sesión. Los educadores y administradores esperan utilizar estos datos para detectar a los estudiantes que tienen dificultades antes de que sea demasiado tarde, ofreciendo ayuda a aquellos que de otro modo podrían abandonar. Sin embargo, convertir estos rastros digitales en un sistema de advertencia fiable es una tarea llena de dificultades. Un modelo que funciona perfectamente para un curso suele fallar cuando se aplica a otro, simplemente porque los estudiantes, el estilo de enseñanza o la forma en que se asignan las calificaciones difieren. Además, un programa informático puede ser muy bueno clasificando a los estudiantes de "más en riesgo" a "menos en riesgo", pero si el número específico que asigna al riesgo de un estudiante es erróneo, se vuelve peligroso. Si un sistema le dice a un profesor que un estudiante tiene un noventa por ciento de probabilidad de suspender cuando la probabilidad real es de solo el treinta por ciento, el profesor podría perder un tiempo precioso en un estudiante que no lo necesita o, peor aún, ignorar a un estudiante que realmente lo necesita. El desafío central no es solo predecir quién tendrá dificultades, sino asegurar que los números de probabilidad que el ordenador arroja sean honestos y dignos de confianza, incluso cuando el sistema se traslada a un nuevo entorno de aula.

Los investigadores de la Universidad de Shandong Yingcai abordaron este problema construyendo un marco diseñado para hacer que estas predicciones de riesgo sean fiables en diferentes módulos universitarios, o cursos. Utilizaron un conjunto de datos masivo y anonimizado de la Open University, que contenía registros de casi treinta mil estudiantes en siete módulos diferentes. El equipo estableció una prueba rigurosa en la que entrenaron sus modelos con datos de seis de los módulos y luego intentaron aplicar esos modelos al séptimo módulo, que no habían visto antes. Este enfoque, conocido como una prueba de "dejar un módulo fuera", simula un escenario del mundo real donde una escuela quiere utilizar un sistema construido para un conjunto de clases para ayudar a los estudiantes en un conjunto de clases completamente diferente. Comprobaron sus predicciones en cuatro momentos diferentes en el tiempo: a las dos semanas, cuatro semanas, seis semanas y ocho semanas después de que comenzara el curso. Esto les permitió ver cómo cambiaba la precisión de las predicciones a medida que se disponía de más información sobre los estudiantes.

El estudio reveló que, si bien los modelos eran bastante buenos clasificando a los estudiantes —identificando cuáles tenían más probabilidades de suspender que otros—, los números de probabilidad brutos que producían eran a menudo engañosos cuando se transferían a un nuevo curso. Cuando los investigadores aplicaron un modelo entrenado en un módulo directamente a otro sin realizar ningún ajuste, las probabilidades predichas no coincidían con los resultados reales. Por ejemplo, el sistema podía predecir un cierto nivel de riesgo que era consistentemente demasiado alto o demasiado bajo en comparación con lo que realmente sucedió. Este es un fallo crítico para un sistema de alerta temprana, porque los administradores necesitan saber que una etiqueta de "alto riesgo" significa realmente una alta probabilidad de suspender, no solo una comparación relativa. Para solucionar esto, los investigadores desarrollaron un método llamado calibración adaptativa al objetivo. Este proceso consiste en tomar una pequeña cantidad de datos históricos del nuevo curso —específicamente, resultados de ofertas anteriores de ese mismo curso— y utilizarla para ajustar suavemente los números del modelo. Probaron el uso de datos históricos que representaban el diez, veinte o treinta por ciento de la población estudiantil para ver cuánto ajuste era necesario.

Los resultados mostraron que incluso una cantidad modesta de datos históricos del nuevo curso podía mejorar drásticamente la fiabilidad de las predicciones. Cuando los investigadores utilizaron datos históricos del treinta por ciento del grupo de estudiantes para recalibrar el modelo, la precisión de las estimaciones de probabilidad mejoró significamente. La medida de error, conocida como puntuación Brier, cayó de un valor de 0.243 a 0.205, y otra medida de qué tan bien coincidían las probabilidades con la realidad, llamada error de calibración esperado, cayó de 0.158 a 0.076. Crucialmente, este ajuste no cambió el orden en el que se clasificaron los estudiantes; los estudiantes que estaban en mayor riesgo permanecieron en la parte superior de la lista. En cambio, el ajuste simplemente hizo que los números asociados a esos estudiantes fueran más precisos. Esto significa que un profesor que observa a un estudiante con una puntuación de "alto riesgo" puede confiar en que el número refleja verdaderamente la probabilidad de que ese estudiante suspenda, en lugar de ser una suposición distorsionada basada en un curso diferente.

Los investigadores también exploraron si métodos más complejos, como intentar reponderar matemáticamente los datos para tener en cuenta las diferencias entre cursos, ofrecerían mejores resultados. Encontraron que estos enfoques más complicados no ofrecían ninguna ventaja significativa sobre el método más sencillo de utilizar datos históricos para ajustar las probabilidades. La estrategia más efectiva fue simplemente tomar la salida del modelo y ajustarla ligeramente utilizando los resultados conocidos del pasado del nuevo curso. Este hallazgo es importante porque sugiere que las escuelas no necesitan construir modelos completamente nuevos y complejos para cada curso que ofrecen. En su lugar, pueden usar un modelo general y luego ajustarlo finamente con una pequeña cantidad de datos locales para hacerlo digno de confianza.

Más allá de los números, el estudio analizó cómo estas probabilidades calibradas se traducen en acciones del mundo real. En un entorno escolar, los profesores y el personal de apoyo tienen un tiempo limitado y solo pueden revisar un cierto número de estudiantes. Los investigadores simularon esta restricción preguntándose: si un profesor solo puede revisar al diez por ciento de los estudiantes con mayor riesgo, ¿cuántos de los futuros abandonos detectaría? Encontraron que las probabilidades calibradas permitían una comprensión mucho más clara de este compromiso. Sin la calibración, un profesor podría establecer un umbral que parece razonable pero que termina revisando a demasiados estudiantes o perdiendo a demasiadas personas en riesgo. Con las probabilidades calibradas, el profesor podría establecer un umbral específico y saber exactamente cuántos estudiantes serían señalados y cuántos estudiantes en riesgo serían captados. Por ejemplo, en un umbral de riesgo específico, el sistema calibrado redujo la carga de trabajo en casi la mitad y, aun así, captó una parte sustancial de los estudiantes que habrían suspendido, haciendo que el sistema fuera mucho más práctico para las instituciones educativas ocupadas.

El estudio también examinó la equidad de estas predicciones entre diferentes grupos de estudiantes, como aquellos con diferentes antecedentes o capacidades. Encontraron que, si bien el sistema general funcionaba bien, todavía había variaciones en la precisión de las predicciones de los resultados para subgrupos específicos. Esto resalta que incluso un sistema bien calibrado requiere un seguimiento continuo para asegurar que no desfavorezca inadvertidamente a ciertos grupos de alumnos. Los investigadores utilizaron herramientas para explicar qué factores impulsaban las predicciones, encontrando que las señales más importantes estaban relacionadas con las tareas no entregadas y la inactividad reciente. Esta transparencia ayuda a los educadores a comprender que el sistema está señalando a los estudiantes basándose en comportamientos concretos, como no entregar trabajos o detener la participación, en lugar de basarse en factores ocultos o sesgados.

En última instancia, esta investigación proporciona una hoja de ruta para hacer que la inteligencia artificial en la educación sea más fiable y útil. Demuestra que el mayor obstáculo para trasladar un sistema predictivo de un curso a otro no es necesariamente la capacidad de clasificar correctamente a los estudiantes, sino la capacidad de hacer que los números de probabilidad sean honestos. Al utilizar un proceso sencillo de ajuste del modelo con una pequeña cantidad de datos históricos locales, las escuelas pueden asegurar que sus sistemas de alerta temprana sean tanto precisos como accionables. El estudio concluye que, si bien la tecnología es poderosa, su verdadero valor reside en su capacidad para adaptarse al contexto específico del aula, asegurando que las advertencias enviadas a los educadores no sean solo estadísticamente sólidas, sino genuinamente útiles para apoyar a los estudiantes que están teniendo dificultades.