Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Este estudio demuestra que las predicciones casi perfectas de la graduación en la educación superior reportadas anteriormente fueron artefactos de fuga de datos (target leakage) provenientes de atributos determinados por el resultado, y establece que al utilizar un protocolo corregido y libre de fugas en registros administrativos de Gaza, los modelos de aprendizaje automático alcanzan una precisión alta pero realista (hasta un 89,16 %) siendo el número de semestres completados el predictor más fuerte.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la universidad moderna, cada estudiante deja tras de sí un vasto rastro digital. Desde el momento en que se postulan, sus nombres, calificaciones y asistencia son registrados en sistemas administrativos, creando un archivo masivo de historia académica. Durante décadas, los investigadores han intentado minar estos datos para encontrar patrones que puedan predecir quién terminará su carrera y quién podría abandonar los estudios. El objetivo es identificar a los estudiantes con dificultades de manera temprana, permitiendo que las instituciones ofrezcan ayuda antes de que sea demasiado tarde. Este campo, conocido como minería de datos educativos, se basa en una regla simple pero estricta: una predicción debe realizarse utilizando únicamente la información disponible en ese momento específico. Si un modelo utiliza una pieza de información que solo existe después de que el resultado ya ha ocurrido, está utilizando información futura. Este error, llamado filtración de objetivos (target leakage), crea una falsa sensación de certeza, haciendo que un modelo parezca perfecto cuando en realidad solo está leyendo la clave de respuestas.
Un equipo de investigadores en Gaza, Palestina, se propuso probar esta idea utilizando veinte años de registros del University College of Applied Sciences. Examinaron los archivos de casi 4.700 estudiantes que habían cursado tecnología de la información entre el año 2000 y 2019. Su investigación comenzó con un descubrimiento sorprendente. Cuando construyeron modelos computacionales para predecir la graduación utilizando los datos exactamente como estaban almacenados en el sistema de la escuela, los resultados fueron sospechosamente perfectos. Los modelos alcanzaron un cien por ciento de precisión, lo que significa que nunca cometieron ni un solo error. Esto parecía un triunfo, pero los investigadores se dieron cuenta de que los modelos no estaban prediciendo realmente el futuro. Simplemente estaban observando dos columnas específicas en la base de datos: el año en que el estudiante se graduó y su promedio de calificación final. Estos números solo aparecen en el sistema si un estudiante ya ha terminado su carrera. Al incluir estos datos, los modelos básicamente estaban recibiendo la respuesta antes de comenzar el examen.
Una vez que los investigadores eliminaron estas dos columnas de "información futura", el panorama cambió por completo. Los modelos, que incluían árboles de decisión, bosques aleatorios (random forests) y algoritmos de potenciación de gradiente (gradient boosting), tuvieron que trabajar únicamente con la información disponible mientras los estudiantes aún estaban estudiando. Bajo estas condiciones honestas, la precisión cayó a un nivel más realista, situándose alrededor del 89 por ciento. Aunque este sigue siendo un resultado sólido, está lejos de la perfección imposible vista anteriormente. Los investigadores descubrieron que la señal más poderosa sobre si un estudiante se graduaría no era su promedio de calificaciones, sino simplemente cuántos semestres había completado con éxito. Un estudiante que seguía asistiendo y terminando los periodos tenía muchas más probabilidades de graduarse que uno que tenía calificaciones altas pero dejaba de asistir. Esto sugiere que la persistencia es un predictor de éxito más fuerte que el rendimiento académico momentáneo.
El estudio también analizó qué tan temprano se podían realizar estas predicciones. Cuando los investigadores restringieron los modelos para que utilizaran únicamente la información disponible en el momento en que un estudiante se postula a la universidad —como sus calificaciones de secundaria y su edad—, la precisión cayó a aproximadamente el 70 por ciento. Esto indica que, si bien las escuelas pueden obtener una idea general del riesgo antes de que el estudiante llegue, la verdadera imagen emerge una vez que el estudiante comienza su trayectoria y su historial de asistencia empieza a construirse. Los investigadores también verificaron si los modelos trataban de manera justa a los estudiantes hombres y mujeres. Encontraron que los modelos no discriminaban; de hecho, debido a que las estudiantes mujeres en este grupo específico tenían una tasa natural de graduación más alta, los modelos predijeron correctamente que ellas tendrían más probabilidades de tener éxito. La versión anterior del estudio había sugerido una regla diferente basada en el género, pero eso era una ilusión creada por los datos defectuosos.
Las implicaciones de este trabajo se extienden más allá de una sola universidad en Gaza. Sirve como una advertencia para las instituciones de todo el mundo que están ansiosas por utilizar la inteligencia artificial para gestionar el éxito estudiantil. Los investigadores demostraron que un modelo puede parecer increíblemente poderoso mientras es enteramente inútil si se le permite espiar la respuesta. Proporcionaron un método claro para que otras escuelas revisen sus propios datos en busca de estos fallos ocultos. Para los asesores universitarios, los hallazgos corregidos ofrecen un camino práctico a seguir: enfocarse en los estudiantes que dejan de asistir a clases en lugar de solo en aquellos con calificaciones bajas, y usar estas predicciones como un estímulo para la conversación humana en lugar de una decisión automatizada. El estudio concluye que la alta precisión no es la única medida de un buen modelo; un modelo que es honesto sobre lo que sabe y cómo lo sabe es mucho más valioso para ayudar a los estudiantes a navegar su educación.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.