From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support

En el vasto paisaje digital de la educación moderna, los sistemas de gestión del aprendizaje registran un flujo constante de actividad estudiantil: clics en las páginas de los cursos, entrega de cuestionarios, participación en foros y el tiempo de cada inicio de sesión. Durante años, los científicos de datos han utilizado estos rastros digitales para construir modelos que predicen qué estudiantes tienen probabilidades de tener dificultades o de reprobar. Estas herramientas predictivas actúan como un sistema de alerta temprana, señalando a los alumnos en riesgo antes de que ocurra una crisis. Sin embargo, una predicción de problemas es solo la mitad de la solución. Saber que un estudiante está en peligro no le dice a un profesor o asesor qué pasos específicos y prácticos se pueden tomar para ayudarlo. Una advertencia que dice "este estudiante reprobará" es menos útil que una guía que dice "si este estudiante revisa estas tres páginas y asiste a una sesión de apoyo, sus posibilidades de aprobar mejoran significamente". El desafío radica en convertir una puntuación de riesgo estadística en un plan concreto y accionable que respete los límites del mundo real de tiempo, recursos y privacidad del estudiante.

Este es el problema central abordado por un nuevo marco llamado SC2R, desarrollado por investigadores para cerrar la brecha entre la predicción del fracaso y la habilitación del éxito. El equipo, trabajando con datos del Conjunto de Datos de Analítica de Aprendizaje de la Open University, buscó ir más allá de las simples puntuaciones de riesgo para generar planes de intervención que no solo sean matemáticamente posibles, sino que sean realmente factibles dentro de las limitaciones de un aula real. Reconocieron que una recomendación es inútil si se le pide a un estudiante que haga algo imposible, como asistir a una clase después de que el plazo haya vencido, cambiar una característica personal permanente o acceder a un recurso que no está disponible. Para resolver esto, combinaron un modelo predictivo con un sistema que verifica cada acción sugerida contra un conjunto de reglas estrictas y legibles por máquina con respecto al tiempo, el presupuesto y la disponibilidad.

Los investigadores construyeron un sistema que opera en tres etapas distintas. Primero, observa el estado actual de un estudiante, capturando su actividad reciente y su desempeño pasado en puntos específicos antes de un próximo examen. Un modelo predictivo luego estima la probabilidad de que ese estudiante apruebe la siguiente evaluación. Si la probabilidad es demasiado baja, el sistema pasa a su segunda etapa: generar una lista de acciones potenciales para mejorar el resultado. Estas no son sugerencias vagas, sino pasos discretos y contables, como revisar un número específico de cuestionarios de práctica o volver a visitar un conjunto de páginas del curso. El sistema utiliza un método de optimización matemática para encontrar la combinación de acciones que ofrece la mejor oportunidad de éxito requiriendo la menor cantidad de esfuerzo del estudiante.

Sin embargo, la verdadera innovación de este trabajo reside en la tercera etapa, donde el sistema actúa como un guardián riguroso. Antes de que un plan sea presentado a un humano, este se traduce a un formato digital estructurado y se somete a una verificación de validación semántica. Este proceso verifica que cada acción propuesta encaje dentro de la realidad del entorno educativo. Asegura que las actividades sugeridas puedan completarse antes de la fecha límite del examen, que el esfuerzo total no exceda un límite razonable y que no se le pida al estudiante alterar hechos inmutables sobre su identidad o historia. El sistema también comprueba que cualquier recurso requerido, como una sesión de laboratorio específica o una oficina de apoyo, esté realmente abierto y disponible durante el tiempo propuesto.

Cuando los investigadores probaron este marco con datos de más de 127,000 instantáneas de estudiantes, los resultados resaltaron la importancia crítica de estas restricciones. El componente predictivo del sistema funcionó con fuerza, identificando con alta fiabilidad a los estudiantes en riesgo. Más importante aún, el sistema generó con éxito miles de planes de intervención compactos, con un plan promedio que requería poco más de una acción para lograr una mejora deseada en la probabilidad de éxito. El costo promedio de estas intervenciones se calculó en aproximadamente 10.3 unidades, una métrica que representa el esfuerzo requerido. Crucialmente, la capa de validación semántica reveló que, sin estos controles estrictos, muchos planes que parecían buenos en el papel habrían sido rechazados en la práctica. En una prueba controlada de 200 casos, cuando se le pidió al sistema considerar la disponibilidad de recursos, casi el 13 por ciento de los planes que inicialmente parecían válidos fueron marcados como imposibles porque los recursos requeridos no estaban disponibles en los tiempos sugeridos.

El estudio sugiere que el valor de tal sistema no está en garantizar que un estudiante aprobará, sino en asegurar que el consejo dado sea confiable y operativamente sólido. Los investigadores encontraron que, si bien el sistema podía generar planes que eran matemáticamente válidos, las restricciones semánticas eran necesarias para filtrar aquellos que eran prácticamente inaplicables. Esta distinción es vital para construir confianza entre los educadores y la inteligencia artificial. Si un sistema sugiere un plan que un profesor sabe que es imposible de ejecutar, la herramienta entera pierde credibilidad. Al hacer que la factibilidad de un plan sea verificable por máquina, el marco asegura que las recomendaciones no sean solo válidas para el modelo, sino también semánticamente factibles e interpretables.

El trabajo también examinó qué tan estables son estas recomendaciones cuando los datos subyacentes cambian ligeramente o cuando el modelo es reentrenado. Los resultados mostraron que los planes eran moderadamente estables ante pequeños cambios en la entrada del estudiante, pero menos estables cuando el propio modelo predictivo era actualizado. Esto indica que, si bien el marco es robusto para la toma de decisiones inmediata, las recomendaciones pueden necesitar ser revisadas si el entorno de aprendizaje o la comprensión del modelo sobre este cambia significativamente. Los investigadores fueron cuidadosos en notar que su evaluación se realizó fuera de línea utilizando datos históricos, lo que significa que no pudieron probar que seguir estos planes cambiaría realmente los resultados de los estudiantes en un entorno real. El estudio establece la viabilidad del método, no el impacto causal de las intervenciones.

En última instancia, esta investigación ofrece una nueva forma de pensar sobre el apoyo educativo. Mueve la conversación de simplemente identificar quién está en riesgo a definir qué se puede hacer al respecto, siempre que la solución respete la compleja red de tiempo, recursos y reglas que gobiernan la educación. Al tratar la planificación de la intervención como un problema que requiere tanto optimización matemática como verificaciones de realidad semántica, el marco proporciona un camino hacia un soporte de decisiones que es tan práctico como predictivo. Los hallazgos sugieren que, para que la inteligencia artificial sea verdaderamente útil en la educación, debe ser capaz de hablar el lenguaje del aula, comprendiendo no solo los números, sino las restricciones que hacen que esos números tengan sentido.