Early Prediction of Student Performance Using Bayesian Updating with Informative Priors Across Cohorts

A continuación presento un resumen técnico detallado del artículo "Early Prediction of Student Performance Using Bayesian Updating with Informative Priors Across Cohorts" (Predicción temprana del rendimiento estudiantil mediante actualización bayesiana con previas informativas a través de cohortes), traducido y adaptado al español.

---

Resumen Técnico

1. Planteamiento del Problema

En el ámbito del aprendizaje en línea y blended (híbrido), los sistemas de alerta temprana dependen de modelos predictivos que utilicen datos de comportamiento digital (huellas digitales) para identificar a estudiantes en riesgo de bajo rendimiento. Sin embargo, existe una limitación crítica en la investigación actual:

• Falta de generalización entre cohortes: Los modelos predictivos suelen desarrollarse y validarse dentro de una sola cohorte estudiantil. Cuando se transfieren a nuevas cohortes (años siguientes), su rendimiento predictivo suele deteriorarse debido a cambios en el diseño instruccional, la población estudiantil o el contexto del curso.
• Ineficiencia en el uso de datos: La investigación educativa rara vez aprovecha las distribuciones posteriores (posterior distributions) aprendidas de colecciones de datos anteriores. En su lugar, se construyen modelos desde cero para cada nueva cohorte, desperdiciando el conocimiento empírico acumulado.
• Necesidad de detección temprana: Para que las intervenciones pedagógicas sean efectivas, la identificación de estudiantes en riesgo debe ocurrir lo antes posible (semanas iniciales del semestre), momento en el cual los datos de la cohorte actual son escasos.

2. Metodología

Contexto y Datos:

• Estudio: Dos cohortes consecutivas de un curso de matemáticas introductorias para administración de empresas en una universidad pública alemana (WS1: 2022/2023, N=307; WS2: 2023/2024, N=323).
• Variables de Entrada (Predictores): Se extrajeron seis indicadores semanales de comportamiento de autoaprendizaje (SRL) basados en huellas digitales de la plataforma LMS:
  1. Ratio de preguntas de opción múltiple respondidas en videos.
  2. Ratio de respuestas correctas en videos.
  3. Días entre el primer acceso y la fecha límite de entrega.
  4. Ratio de problemas resueltos correctamente en ejercicios en línea.
  5. Tiempo total dedicado a ejercicios en línea.
  6. Ratio de problemas intentados.
• Variables de Salida (Resultados):
  • Binaria: Estudiante en riesgo (nota final $\ge$ 3.3 en la escala alemana, equivalente a un "C-" o peor).
  • Ordinal: Escala de notas alemana (1.0 a 5.0, codificada numéricamente).
  • Numérica: Puntos totales del examen (0-83).

Enfoque Estadístico: Actualización Bayesiana
El estudio compara dos enfoques para el modelo de la cohorte objetivo (WS2):

1. Priors No Informativos (Default): Modelos entrenados solo con los datos de la cohorte actual, sin información previa.
2. Priors Informativos (Bayesian Updating): Se utiliza la distribución posterior de los parámetros del modelo de la cohorte fuente (WS1) como distribución previa ($\pi_{pre}$) para el modelo de la cohorte objetivo (WS2).

Procedimiento:

• Se ajustaron modelos de regresión bayesiana (Lineal, Logística y Ordinal) semana a semana.
• La distribución posterior de la mejor semana de rendimiento de WS1 se utilizó como previa para WS2.
• Se varió la fuerza de la previa mediante factores de escala ($\eta$) en la desviación estándar ($\sigma$) de la previa: $\beta_i \sim N(\mu_i, \eta \cdot \sigma_i)$, donde $\eta \in \{0.5, 1, 1.5, 3, 6\}$.
• Evaluación: Se midió la precisión (Accuracy), sensibilidad (Sensitivity) y el Error Cuadrático Medio (RMSE) semanalmente.

3. Contribuciones Clave

1. Evaluación de Priors Informativos: Demostración empírica de que incorporar información de cohortes anteriores mediante previas bayesianas mejora significativamente la robustez y la precisión de la predicción temprana en comparación con modelos que se reinician cada año.
2. Marco de Evaluación Semanal: Introducción de un marco de evaluación semana a semana para determinar el punto más temprano en el semestre donde se logra una clasificación fiable, identificando que los beneficios de las previas son más críticos en las primeras semanas.
3. Comparación de Especificaciones: Análisis sistemático de cómo la fuerza de la previa (escala de la desviación estándar) afecta el rendimiento en diferentes tipos de modelos (lineal, logístico, ordinal), proporcionando una guía metodológica para la construcción de sistemas de alerta temprana acumulativos.

4. Resultados Principales

Cohorte Fuente (WS1):

• El rendimiento predictivo se estabilizó y se volvió fiable después de la semana 6 (precisión > 0.70).
• La semana óptima para derivar las previas fue seleccionada según el mejor rendimiento global: Semana 6 (Lineal), Semana 13 (Logística) y Semana 15 (Ordinal).

Cohorte Objetivo (WS2) - Efecto de las Priors Informativas:

• Regresión Lineal: No mostró beneficios significativos; de hecho, el rendimiento empeoró ligeramente con previas muy informativas, sugiriendo que la información previa no se alineaba bien con la variabilidad numérica de los puntajes en la nueva cohorte.
• Regresión Logística (Clasificación Binaria):
  • Las previas informativas mejoraron drásticamente la detección temprana.
  • En la semana 3, la tasa de falsos negativos se redujo un 38.46% y la tasa de error de clasificación un 22.22% en comparación con el modelo sin previas.
  • La precisión alcanzó niveles cercanos a 0.75 y la sensibilidad > 0.80 tan pronto como la semana 3-4.
• Regresión Ordinal (Clasificación de Notas):
  • Mostró las mejoras más tempranas y pronunciadas.
  • En la semana 2, la tasa de error de clasificación se redujo hasta un 42.5% (pasando de una precisión de 0.51 a 0.72).
  • Para la semana 4, alcanzó una precisión de 0.77.
  • La regresión ordinal superó consistentemente a la logística cuando se utilizaron previas informativas, especialmente en las primeras semanas, debido a su capacidad para aprovechar la estructura completa de las notas (no solo la división binaria).

5. Significado e Implicaciones

• Viabilidad de la Actualización Bayesiana: El estudio confirma que la actualización bayesiana es un método viable y superior para mantener la precisión de los modelos predictivos a través de cohortes sucesivas, especialmente cuando los datos actuales son escasos (inicio del semestre).
• Eficiencia de Intervención: Al permitir una detección fiable de estudiantes en riesgo desde la semana 2 o 3 (en lugar de esperar a la semana 6 o más), las instituciones pueden implementar intervenciones pedagógicas dirigidas con mayor antelación, aumentando la probabilidad de éxito del estudiante.
• Privacidad de Datos: Un beneficio metodológico crucial es que la información de la cohorte anterior se transfiere como una distribución de parámetros (previa), no como registros individuales de estudiantes. Esto cumple con las normativas de protección de datos (como el GDPR) al no requerir el almacenamiento o transferencia de datos personales históricos.
• Guía Práctica: El estudio ofrece un "plan de trabajo" replicable para educadores y científicos de datos sobre cómo extraer, escalar y aplicar previas informativas para construir sistemas de alerta temprana que mejoren acumulativamente año tras año, en lugar de reiniciarse anualmente.

En conclusión, la investigación demuestra que integrar el conocimiento empírico de iteraciones anteriores mediante estadística bayesiana transforma la predicción educativa de un ejercicio estático a un proceso dinámico y adaptativo, maximizando la utilidad de los datos de comportamiento para apoyar el éxito estudiantil.