Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

En el vasto paisaje de la educación moderna, una revolución silenciosa está teniendo lugar dentro de los sistemas digitales que gestionan nuestras aulas. Durante décadas, los profesores han dependido de las calificaciones y las hojas de asistencia para evaluar el desempeño de un estudiante, pero estas medidas tradicionales a menudo llegan demasiado tarde para ayudar a un alumno con dificultades. Hoy en día, a medida que las universidades trasladan cada vez más sus cursos al entorno en línea, cada clic, cada inicio de sesión y cada momento dedicado a una plataforma digital deja un rastro. Los investigadores llaman a estos rastros "marcadores digitales". Son las huellas de la vida diaria de un estudiante en un curso, ofreciendo un vistazo a sus hábitos, su compromiso y sus posibles dificultades mucho antes de que se escriba un examen final. La pregunta que impulsa este nuevo campo de estudio es simple pero profunda: ¿podemos leer estas huellas digitales para detectar a un estudiante que está a punto de reprobar, y podemos hacerlo lo suficientemente pronto como para cambiar su trayectoria?

Este es el desafío que enfrenta un equipo de investigadores de la Universidad de Zambia, que dirigió su atención a un curso de primer año notoriamente difícil: Sistemas Computacionales y Arquitectura. En esta clase, casi el cuarenta por ciento de los estudiantes históricamente no aprueban, una tasa que deja atrás a muchas mentes brillantes antes de que sus estudios hayan comenzado realmente. Los instructores sabían que algo andaba mal, pero carecían de una forma de identificar quién estaba en riesgo hasta que era demasiado tarde. Para resolver esto, el equipo decidió mirar más allá de las calificaciones finales y, en su lugar, examinar las migajas de pan digitales dejadas por los estudiantes durante cuatro años. Recopilaron datos de casi trescientos estudiantes, combinando su información básica de antecedentes, sus puntuaciones en los primeros cuestionarios y exámenes, y los registros brutos de cómo interactuaban con el sistema de aprendizaje en línea de la universidad. Su objetivo era construir un modelo que pudiera actuar como un sistema de alerta temprana, señalando a los estudiantes que probablemente reprobarían para que los profesores pudieran intervenir con apoyo mientras aún había tiempo para cambiar el rumbo.

Los investigadores comenzaron escuchando a las personas que mejor conocían el curso: los instructores, los tutores y los propios estudiantes. A través de entrevistas y encuestas, identificaron diez factores que parecían influir en el éxito, tales como la gestión del tiempo, la motivación y si un estudiante poseía una computadora. Luego, tradujeron estos conocimientos humanos en puntos de datos, creando una lista exhaustiva de características para probar. Diseñaron una puntuación especial llamada "impulso académico ponderado", que observaba cómo se desempeñaba un estudiante en sus primeros cuestionarios y exámenes, otorgando más importancia a las evaluaciones iniciales posteriores y más integrales. También rastrearon si un estudiante alguna vez había iniciado sesión en el sistema en línea y cuántos días distintos había estado activo. Al alimentar toda esta información en un modelo computacional, probaron qué combinación de factores podía predecir mejor quién reprobaría.

Lo que descubrieron fue tan sorprendente como tranquilizador. El predictor más poderoso del fracaso no fue una encuesta compleja sobre la motivación de un estudiante o su experiencia previa con las computadoras, sino más bien una combinación simple de tres cosas: su impulso académico temprano, su formación básica y una única pregunta de sí o no sobre si alguna vez habían tocado el sistema de aprendizaje en línea. El modelo encontró que el desempeño de un estudiante en las primeras semanas de evaluaciones era la señal más fuerte de su éxito futuro. Sin embargo, esta señal era aún más reveladora cuando se combinaba con un control simple de su presencia digital. Si un estudiante tenía puntuaciones iniciales altas pero nunca había iniciado sesión en el sistema en línea, seguía estando en un riesgo significativo. Esto sugería que algunos estudiantes podrían estar confiando excesivamente en su capacidad natural o conocimientos previos, sin darse cuenta de que estaban perdiendo las estructuras de apoyo disponibles en línea, o quizás sobreestimando su capacidad para aprobar sin interactuar con los materiales del curso.

Cuando los investigadores probaron su modelo final con un grupo de estudiantes que no había visto antes, este demostró ser notablemente efectivo en su tarea principal: encontrar a los estudiantes que estaban en problemas. El sistema identificó correctamente el ochenta y siete por ciento de los estudiantes que finalmente reprobaron el curso. Esta alta tasa de éxito conllevaba una compensación: el modelo también señalaba a algunos estudiantes que habrían aprobado como si estuvieran en riesgo, resultando en una tasa de falsas alarmas del cuarenta y un por ciento. Los investigadores argumentan que este es un precio aceptable de pagar en un entorno educativo. Es mucho mejor ofrecer ayuda adicional a un estudiante que no la necesita que pasar por alto a un estudiante que lucha silenciosamente y está a punto de reprobar. El modelo logró esto observando los datos disponibles apenas cinco semanas después del inicio del semestre, un plazo que otorga a los instructores una ventana crucial para intervenir.

El estudio también reveló que añadir datos más complejos no necesariamente hacía que la predicción fuera mejor. Incluir respuestas detalladas de encuestas sobre los sentimientos de un estudiante o su carga de trabajo específica no mejoró la precisión del modelo. De hecho, el enfoque más simple —centrarse en las calificaciones tempranas y un control básico de la actividad en línea— funcionó mejor. Esto sugiere que, para este curso específico, las acciones que un estudiante toma en las primeras semanas son un indicador más fiable de su futuro que sus sentimientos autoinformados o sus detalles de antecedentes. Los investigadores utilizaron un método llamado análisis SHAP para comprender por qué el modelo tomaba sus decisiones, lo cual confirmó que el impulso académico ponderado era el factor más importante por sí solo, seguido de cerca por la interacción entre ese impulso y si el estudiante había interactuado con el sistema en línea.

Este trabajo ofrece un plano práctico de cómo las universidades pueden utilizar los datos que ya poseen para apoyar a sus estudiantes. Al centrarse en marcadores digitales simples y tempranos, los educadores pueden pasar de reaccionar ante el fracaso a prevenirlo. Los investigadores planean convertir sus hallazgos en un tablero de control en vivo que alertará automáticamente a los instructores cuando un estudiante muestre signos de problemas, proporcionándoles razones claras para la advertencia para que puedan ofrecer ayuda dirigida. Aunque el estudio se realizó en una sola universidad en Zambia, el enfoque sugiere una verdad universal: en la era digital, la forma en que un estudiante se hace presente, incluso en las cosas más pequeñas, suele hablar más fuerte que su formación o su confianza inicial. El camino hacia el éxito no siempre está oculto en estadísticas complejas, sino que a veces se encuentra en el ritmo silencioso y constante de presentarse a clase, tanto en persona como en línea.