From Partial Correctness to Completion: Predicting Learners’ Early Success in Programming Practice

Resumen Técnico: De la corrección parcial a la completitud: Predicción del éxito temprano de los estudiantes en la práctica de programación

Planteamiento del problema
En los sistemas de jueces en línea (OJ, por sus siglas en inglés), los estudiantes mejoran sus habilidades de programación mediante entregas iterativas, recibiendo retroalimentación automática y progresando gradualmente hacia una solución correcta. Mientras que la investigación existente en minería de datos educativos (EDM) y analítica del aprendizaje (LA) ha utilizado extensamente el aprendizaje automático (ML) para predecir resultados amplios como las calificaciones de un curso o los riesgos de abandono, existe una brecha en el modelado del éxito temprano a nivel de problema. La mayoría de los enfoques actuales dependen de resultados binarios (resuelto/no resuelto) o estados finales, lo que no logra capturar el progreso intermedio y la capacidad evolutiva de los estudiantes durante el proceso de resolución de problemas. Específicamente, predecir si un estudiante resolverá un problema específico dentro de los próximos $K$ intentos, basándose en su corrección parcial y patrones de progresión, sigue siendo un área poco explorada.

Metodología
El estudio propone un marco de predicción de éxito temprano evaluado con registros de entregas del sistema Aizu Online Judge (AOJ), utilizando dos conjuntos de datos: Algoritmos y Estructuras de Datos I (ALDS1) y Geometría Computacional (CGL). El núcleo de la metodología consiste en comparar tres formulaciones de predicción distintas para determinar la representación más efectiva del estado del estudiante:

1. Resultado Binario (M1): Una formulación base que utiliza únicamente características de interacción base (índice de intento, brechas de tiempo e indicadores de estado de entrega como WA, RE, TLE) sin puntuaciones de corrección explícitas.
2. Corrección Ordinal (M2): Incorpora características base más un nivel de corrección discretizado (0–5) derivado de la proporción de casos de prueba superados.
3. Conciencia de Corrección Parcial y Progreso (M3): La formulación propuesta. Utiliza características base combinadas con puntuaciones de corrección continua y métricas de conciencia de progreso, específicamente la "ganancia de corrección" (la diferencia en la corrección entre entregas consecutivas) y la "corrección máxima" (la puntuación más alta alcanzada hasta el momento).

Configuración Experimental

• Datos: El estudio analizó más de 295,000 instancias de predicción de ALDS1 y más de 10,000 de CGL. Los datos fueron preprocesados mediante la limpieza de registros, la transformación de características sesgadas (por ejemplo, transformación logarítmica de las brechas de tiempo) y la estandarización de valores numéricos.
• Tarea: Predecir si un estudiante resolverá un problema dentro de los próximos $K=5$ intentos basándose en el historial hasta el intento actual.
• Modelos: Se evaluaron seis clasificadores de ML bajo un protocolo consistente: Regresión Logística (LR), K-Vecinos Más Cercanos (KNN), Perceptrón Multicapa (MLP), Árbol de Decisión (DT), Extreme Gradient Boosting (XGB) y Random Forest (RF).
• Validación: Se utilizó una división estratificada disjunta por usuario (80% entrenamiento, 20% prueba) para evitar la fuga de datos. Se empleó una validación cruzada de cinco pliegues de tipo GroupKFold para el ajuste de hiperparámetros, utilizando el PR-AUC (Área Bajo la Curva de Precisión-Recall) como métrica de selección principal.

Resultos Clave

• Desempeño de la Formulación: La formulación propuesta M3 superó consistentemente a M1 y M2 en todos los seis clasificadores y métricas de evaluación (Exactitud, Precisión, Recall, F1, ROC-AUC y PR-AUC).
• Desempeño de los Modelos: Random Forest (RF) logró el mejor desempeño general. En el conjunto de prueba de ALDS1, la combinación RF-M3 alcanzó un PR-AUC del 75.39% y una Exactitud del 70.42%. Esto representó una mejora relativa del 6.20% en PR-AUC y del 6.63% en Exactitud sobre la formulación de resultado binario (M1), y del 5.87% y 6.78% sobre la formulación de corrección ordinal (M2).
• Robustez: La superioridad de M3 se confirmó en el conjunto de datos más pequeño CGL y a través de diferentes ventanas de predicción ($K=3, 5, 7$), lo que indica estabilidad a través de diversas condiciones de datos y horizontes temporales.
• Validación Estadística: Un Modelo Lineal Generalizado (GLM) Logístico confirmó que las características de conciencia de progreso, particularmente la "Corrección Máxima" (Odds Ratio = 1.694) y la "Brecha de Tiempo Logarítmica", fueron predictores estadísticamente significativos del éxito temprano.
• Agrupación de Riesgo: La conversión de las probabilidades predichas en grupos de riesgo (Bajo, Moderado, Alto) reveló que M3 proporcionó una separación más clara entre grupos. El grupo de bajo riesgo en M3 mostró una tasa de éxito observada del 71.20%, mientras que el grupo de alto riesgo mostró un 24.06%, creando una brecha de riesgo de 47.14 puntos porcentuales, significativamente más amplia que las brechas producidas por M1 o M2.

Significancia y Reivindicaciones
El artículo sostiene que el marco propuesto ofrece un enfoque más efectivo para la predicción del éxito temprano al ir más allá de las representaciones binarias u ordinales para capturar el continuo del progreso del estudiante. La significancia radica en tres áreas principales:

1. Mejora de la Precisión Predictiva: Al incorporar señales de corrección parcial y progreso, el modelo refleja mejor la realidad de que los estudiantes suelen resolver problemas mediante un refinamiento gradual en lugar de un éxito inmediato.
2. Interpretabilidad y Capacidad de Acción: El análisis de grupos de riesgo proporciona una base interpretable para la intervención educativa. La distincción clara entre los grupos de riesgo permite a los educadores identificar a los estudiantes que tienen dificultades (alto riesgo) frente a los que progresan bien (bajo riesgo) en el nivel específico de estudiante-problema, en lugar de depender de etiquetas fijas de estudiante.
3. Apoyo Instruccional: Los hallazgos sugieren que las instancias de alto riesgo suelen exhibir intentos repetidos con un éxito limitado a corto plazo, lo que indica la necesidad de pistas oportunas o retroalimentación del instructor. Por el contrario, el marco puede ayudar a los instructores a refinar los conjuntos de problemas identificando aquellos que generan consistentemente perfiles de alto riesgo.

Los autores concluyen que, si bien el estudio se limita a los datos de AOJ, los conceptos de corrección parcial y conciencia de progreso son adaptables a otras plataformas de OJ, MOOCs y sistemas de evaluación automatizada, ofreciendo una vía para el apoyo personalizado basado en datos en la educación de la programación.