How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

En la universidad moderna, una vasta cantidad de la vida estudiantil deja una huella digital. Cada vez que un alumno inicia sesión en un sitio web de un curso, hace clic en un enlace o descarga un documento, se crea un registro. Los educadores e investigadores han tratado durante mucho tiempo estos rastros digitales como una ventana al éxito estudiantil. La lógica parece sencilla: si un estudiante es activo en línea, es probable que esté comprometido, y si está comprometido, es probable que le vaya bien en su clase. Esta creencia ha impulsado la creación de tableros de control y sistemas de alerta temprana diseñados para detectar a los estudiantes con dificultades mediante el conteo de sus clics. Sin embargo, una pregunta crítica ha quedado sin respuesta: ¿es la actividad la que causa las buenas calificaciones, o son las buenas calificaciones simplemente un signo de un estudiante que ya estaba preparado y motivado? La diferencia es inmensa. Si la actividad es meramente un síntoma del éxito, entonces obligar a un estudiante a hacer más clics no le ayudará a aprender. Si, por el contrario, la actividad es un verdadero motor del aprendizaje, entonces fomentar más interacción podría ser una poderosa herramienta para la mejora.

Un equipo de investigadores se propuso desentrañar esta relación utilizando una enorme colección de datos de la Open University en el Reino Unido. Examinaron los registros de más de veintiún mil estudiantes que participaron en veintidós presentaciones de cursos en línea diferentes. El conjunto de datos era rico, contenía detalles sobre los antecedentes de los estudiantes, su rendimiento académico pasado y más de diez millones de interacciones con el entorno virtual de aprendizaje. Los investigadores se centraron específicamente en el periodo previo a cuando un estudiante entregaba un trabajo de curso. Contaron el número de clics y actividades que ocurrieron en los días anteriores a la fecha límite de entrega, asegurándose de que no se contara cualquier actividad que ocurriera después de que el trabajo fuera entregado. Esta cuidadosa sincronización fue crucial para asegurar que estaban observando el comportamiento que ocurrió antes de que se conociera el resultado.

El estudio comenzó analizando los números brutos, el tipo de asociación simple que suele aparecer en los informes estándar. Encontraron un fuerte vínculo: por cada incremento estándar en el volumen de actividad en línea, la puntuación de la evaluación aumentaba aproximadamente tres puntos y un cuarto. Este número es lo que un tablero de control típico podría resaltar para sugerir que más actividad equivale a un mejor desempeño. Sin embargo, los investigadores sabían que este número bruto probablemente incluía la influencia de muchos otros factores. Los estudiantes que habían obtenido buenos resultados en el pasado podrían hacer más clchos de forma natural porque tienen confianza, o podrían hacer más clics porque ya son buenos en la materia. Para encontrar el verdadero efecto de la actividad en sí misma, los investigadores utilizaron un método estadístico sofisticado diseñado para eliminar estas diferencias preexistentes. Ajustaron los datos para tener en cuenta todo lo que sabían sobre los estudiantes antes de que se abriera la ventana de actividad, incluyendo sus calificaciones previas, su trasfondo demográfico y su historial de uso de la plataforma.

Cuando los investigadores aplicaron este ajuste, la historia cambió significamente. El vínculo entre la actividad y las calificaciones no desapareció, pero se redujo considerablemente. Tras contabilizar la historia previa, el aumento en la puntuación cayó de tres puntos y un cuarto a poco menos de un punto y tres cuartos por el mismo incremento de actividad. Esto significa que casi la mitad de la conexión original entre el clic y la puntuación se debía en realidad a los antecedentes y al desempeño pasado de los estudiantes, no a la actividad en sí. El vínculo restante, aunque sigue siendo real y estadísticamente significativo, era mucho más pequeño de lo que sugerían los números brutos. Indica que, si bien la actividad en línea contiene información útil sobre cómo le va a un estudiante, confiar en los números no ajustados llevaría a las instituciones a sobreestimar cuánto mejoraría la calificación de un estudiante simplemente aumentando los clics.

Los investigadores también analizaron si esta relación ajustada se veía diferente para distintos tipos de estudiantes o distintos tipos de tareas. Encontraron que el vínculo era más fuerte para las tareas que requerían respuestas escritas y abiertas calificadas por un tutor humano, en comparación con las preguntas de opción múltiple calificadas por una computadora. Esto sugiere que el tipo de trabajo importa; la actividad digital podría estar más estrechamente ligada al pensamiento profundo requerido para las tareas de tipo ensayo que para los cuestionarios rápidos y automatizados. También descubrieron que la conexión era más fuerte para los estudiantes que tenían calificaciones más bajas en el pasado. Para estos alumnos, la actividad en línea parecía ser una señal más fiable de su desempeño actual. En contraste, el vínculo no mostró una diferencia clara basada en si un estudiante provenía de un entorno desfavorecido o tenía una discapacidad declarada, aunque los datos no fueron lo suficientemente precisos como para descartar diferencias pequeñas por completo.

A pesar de estos hallazgos, los investigadores se mantuvieron cautelosos al afirmar que la actividad causa las calificaciones. Para probar la existencia de factores ocultos que no podían medir, realizaron una comprobación específica. Se preguntaron si la actividad en línea actual podía predecir una calificación de una tarea anterior que ya había sido completada antes de que comenzara la actividad actual. Lógicamente, los clics futuros no pueden cambiar una calificación pasada. Sin embargo, los datos mostraron que los estudiantes que hicieron más clics en la ventana actual tenían, de hecho, puntuaciones más altas en esa tarea previa, incluso después de todos los ajustes. Este resultado señala que todavía hay fuerzas invisibles en juego. Quizás algunos estudiantes son naturalmente más motivados o tienen mejores hábitos de estudio que existen fuera del sistema digital, impulsando tanto su actividad en línea como sus calificaciones. Debido a esto, los investigadores concluyeron que, si bien el vínculo ajustado es real, no es una garantía de que una intervención para forzar más clics aumentaría automáticamente las puntuaciones por el monto total del número ajustado.

El estudio ofrece una lección clara sobre cómo las universidades utilizan los datos para apoyar a los estudiantes. Los rastros digitales dejados por los alumnos son valiosos, pero no son un interruptor simple que activa el aprendizaje. La asociación bruta entre la actividad y el éxito es fuerte, pero está fuertemente influenciada por quién es el estudiante y qué ha hecho antes. Cuando los educadores usan estos números para decidir quién necesita ayuda, deben entender que los números cuentan una historia de correlación, no necesariamente de causa y efecto. Un estudiante con baja actividad puede necesitar apoyo, pero simplemente decirle que haga más clics es poco probable que solucione el problema si la cuestión subyacente es una falta de conocimiento previo o de motivación. El enfoque más efectivo es utilizar estas señales de comportamiento como un estímulo para la conversación y el diagnóstico, reconociendo que la actividad es una señal que apunta hacia el estado de un estudiante, más que una palanca que se puede accionar para forzar un mejor resultado.