Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Cada año, las universidades de todo el mundo se enfrentan a una crisis silenciosa: una parte significativa de sus estudiantes abandona sus estudios antes de obtener sus títulos. Esto no es solo una pérdida para los estudiantes, que a menudo enfrentan peores perspectivas laborales y menores ingresos, sino también un fuerte golpe financiero para las propias instituciones. Durante décadas, los investigadores han intentado resolver este enigma construyendo programas informáticos que puedan detectar qué estudiantes tienen probabilidades de abandonar. Estos programas, conocidos como modelos de aprendizaje automático (machine learning), analizan el historial de un estudiante —sus calificaciones, su situación financiera y sus antecedentes— para predecir su futuro. El objetivo siempre ha sido detectar a los estudiantes en riesgo de forma temprana para que las escuelas puedan ofrecer ayuda antes de que sea demasiado tarde. Sin embargo, un fallo crítico ha persistido en estos esfuerzos. Aunque las computadoras pueden hacer una predicción, rara vez le dicen a la escuela cuánto debe confiar en esa predicción. Un modelo puede decir que un estudiante está en riesgo, pero no ofrece una forma de saber si esa advertencia es un hecho sólido o una conjetura dudosa. Sin conocer la fiabilidad del pronóstico, las escuelas corren el riesgo de malgastar recursos en estudiantes que en realidad están bien o, lo que es peor, de pasar por alto a los estudiantes que realmente necesitan ayuda.

Un nuevo estudio de Kazi Sabbir Ahmad Nahin, investigador de la Universidad de Kentucky, aborda este problema cambiando la forma en que se entregan estas predicciones. En lugar de pedirle a la computadora que dé una respuesta única y definitiva como "este estudiante abandonará la carrera" o "este estudiante se graduará", el estudio utiliza un método llamado predicción conforme (conformal prediction). Este enfoque pide a la computadora que proporcione un conjunto de posibles resultados junto con una garantía de qué tan seguido será correcto ese conjunto. Piense en la diferencia entre un pronosticador del tiempo que dice "mañana lloverá" sin contexto, frente a decir "hay un 95 por ciento de probabilidad de que llueva, y si nos equivocamos, será dentro de este rango específico de posibilidades". El investigador aplicó este método a datos de más de 4,400 estudiantes de una universidad portuguesa, probando seis tipos diferentes de modelos computacionales para ver cuáles podían predecir mejor si un estudiante se graduaría, abandonaría la carrera o simplemente permanecería matriculado.

El estudio encontró que los modelos computacionales eran, de hecho, bastante buenos para distinguir entre los estudiantes que terminarían sus títulos y aquellos que se irían. Los modelos con mejor desempeño, que utilizaban técnicas avanzadas para aprender de los datos, identificaron correctamente el resultado en aproximadamente el 90 por ciento de los casos cuando se observaban solo los dos resultados finales: graduación o abandono. Sin embargo, el verdadero avance llegó cuando los investigadores añadieron la capa de incertidumbre. Cuando se les pidió a los modelos que fueran altamente confiables —específicamente, que tuvieran razón el 95 por ciento de las veces—, no forzaron una única respuesta para cada estudiante. En su lugar, para alrededor del 9 al 12 por ciento de los estudiantes, los modelos devolvieron un conjunto que contenía tanto "graduación" como "abandono". Esto no fue un fallo de la computadora; fue un éxito del nuevo método. Significó que, para estos estudiantes específicos, la evidencia disponible no era lo suficientemente fuerte como para elegir un futuro sobre el otro. La computadora estaba admitiendo honestamente: "No puedo estar seguro todavía".

Esta incertidumbre fue aún más pronunciada cuando los investigadores incluyeron una tercera categoría: estudiantes que aún estaban matriculados pero no se habían graduado. En este escenario más complejo, los modelos encontraron que para casi el 40 por ciento de los estudiantes, la evidencia apuntaba a múltiples futuros posibles. El grupo de "aún matriculados" representa un estado de transición donde el camino de un estudiante es genuinamente indeciso. Al forzar una etiqueta única para estos estudiantes, los estudios previos podrían haber ocultado el hecho de que la predicción era dudosa. El nuevo marco, sin embargo, hizo visible esta ambigüedad. Mostró que, para una gran parte del cuerpo estudiantil, la trayectoria aún no estaba clara y la computadora no podía predecir con confianza el resultado final. Esta es una distincción crucial para los administradores escolares, ya que evita que traten una conjetura dudosa con el mismo peso que un hecho sólido.

Más allá de solo medir la incertidumbre, el estudio también analizó qué factores impulsaban estas predicciones. Utilizando una técnica que descompone el proceso de toma de decisiones de la computadora, los investigadores encontraron que las señales más fuertes provenían del progreso académico del estudiante. Específicamente, el número de cursos que un estudiante aprobaba y sus calificaciones en el segundo semestre eran los indicadores más poderosos de su futuro. El estrés financiero también desempeñó un papel importante; los estudiantes que estaban atrasados en los pagos de matrícula o que tenían deudas eran más propensos a ser señalados como en riesgo. Estos hallazgos coinciden con teorías de larga data sobre por qué los estudiantes dejan la escuela, confirmando que tanto la integración académica como la estabilidad financiera son pilares clave de la persistencia. El estudio no afirmó que estos factores causen que los estudiantes abandonen la escuela, sino que son las pistas más fiables que la computadora puede usar para detectar problemas.

Las implicaciones de este trabajo son prácticas e inmediatas para la gestión de recursos de las universidades. El estudio propone un sistema escalonado para actuar sobre estas predicciones. Si el conjunto de predicción de un estudiante contiene únicamente "abandono", la escuela puede priorizarlo para un apoyo inmediato e intensivo, como tutorías o asesoramiento financiero. Si el conjunto contiene únicamente "graduación", el estudiante puede dejarse solo para continuar sus estudios sin interferencias innecesarias. Pero para los estudiantes cuyos conjuntos de predicción contienen múltiples resultados —aquellos sobre los cuales la computadora no puede decidirse—, el estudio sugiere un enfoque diferente. Estos estudiantes deben ser remitidos a asesores humanos para un examen más detallado. Un consejero puede reunir más información, como hablar con el estudiante o verificar su asistencia, para ayudar a resolver la incertididad antes de tomar una decisión. Esto convierte a la computadora de un juez final en una herramienta útil que resalta dónde se necesita más el juicio humano.

En última instancia, esta investigación sugiere que el futuro del apoyo estudiantil no radica en construir computadoras que siempre tengan la razón, sino en construir sistemas que sean honestos sobre cuándo no están seguros. Al cuantificar la incertidumbre, las escuelas pueden dejar de adivinar y comenzar a tomar decisiones informadas. Pueden dirigir sus limitados recursos a los estudiantes que más los necesitan, evitando al mismo tiempo el estigma y el desperdicio de intervenir en casos donde el resultado es en realidad claro. El estudio concluye que, si bien el aprendizaje automático es una herramienta poderosa para detectar patrones en los datos de los estudiantes, debe ir acompañado de métodos que midan la fiabilidad. Solo así podrán estos sistemas apoyar verdaderamente el objetivo de ayudar a cada estudiante a cruzar la línea de meta.