Understanding Self-Regulated Learning Behavior Among High and Low Dropout Risk Students During CS1: Combining Trace Logs, Dropout Prediction and Self-Reports

A continuación se presenta un resumen técnico detallado del artículo "Comprender el comportamiento de aprendizaje autorregulado entre estudiantes con alto y bajo riesgo de abandono durante CS1: Combinando registros de trazas, predicción de abandono y autoinformes."

1. Planteamiento del Problema

El curso de programación introductoria (CS1) es un cuello de botella crítico en la educación en Ciencias de la Computación, caracterizado por altas tasas de abandono y desafíos significativos para los estudiantes novatos. Si bien el aprendizaje analítico predictivo puede identificar a estudiantes en riesgo con alta precisión, estos modelos a menudo carecen de explicabilidad. Los educadores luchan por entender por qué se predice que un estudiante abandonará o cómo contribuyen sus comportamientos de aprendizaje específicos a ese riesgo.

La investigación actual a menudo se basa en comparaciones posteriores al curso entre estudiantes de alto y bajo rendimiento o utiliza autoinformes que carecen de granularidad temporal. Existe la necesidad de un método que:

• Vincule datos de comportamiento en tiempo real (registros de trazas) con modelos predictivos de abandono.
• Distinga entre luchas temporales y caminos irreversibles hacia el abandono.
• Integre la teoría del aprendizaje autorregulado (SRL) para interpretar estos comportamientos.

2. Metodología

El estudio empleó un enfoque de métodos mixtos que combina aprendizaje analítico cuantitativo con autoinformes cualitativos, fundamentado en la teoría del Aprendizaje Autorregulado (SRL) (específicamente el marco táctica-estrategia de Winne y Hadwin).

2.1 Recolección de Datos

• Contexto: Un curso CS1 de 6 créditos en la Universidad de Jyväskylä (otoño de 2023) con 321 estudiantes inscritos.
• Participantes: 47 estudiantes que dieron su consentimiento proporcionaron registros de trazas; 29 de estos completaron un cuestionario de autoinforme posterior al curso.
• Fuentes de Datos:
  • Registros de Trazas: 86,738 eventos crudos de un Entorno Virtual de Aprendizaje (VLE), que incluyen uso del libro de curso, conferencias, envíos de tareas (introductorias, centrales, básicas, de bonificación, de maestro), sesiones de asistentes de enseñanza (TA) y revisiones de respuestas modelo.
  • Datos de Rendimiento: Puntuaciones semanales de tareas, puntuaciones de exámenes y calificaciones finales.
  • Autoinformes: Preguntas abiertas sobre hábitos de estudio, desafíos y uso de recursos.

2.2 Pipeline de Análisis de Datos

Los autores desarrollaron un pipeline de cinco pasos para transformar los registros crudos en perfiles de aprendizaje interpretables:

1. Preprocesamiento de Registros: Los eventos crudos se agruparon en sesiones de estudiantes utilizando un umbral de corte de 25 minutos (basado en el tiempo estimado de finalización de tareas). Se eliminaron las sesiones con eventos únicos para filtrar el ruido.
2. Descubrimiento de Tácticas de Aprendizaje:
   • Las sesiones se convirtieron en vectores de frecuencia de eventos (82 códigos de eventos distintos).
   • Se aplicó agrupamiento k-medoids (usando distancia $\ell_1$) para identificar 12 Tácticas de Aprendizaje distintas (por ejemplo, "Enfocarse en materiales del curso", "Intentar tareas centrales", "Revisar semanas anteriores").
3. Formulación de Estrategias de Aprendizaje:
   • Las sesiones se reetiquetaron con sus códigos de táctica correspondientes.
   • Los registros se dividieron en sub-registros semanales para capturar la evolución de las estrategias a lo largo del curso de 11 semanas.
   • Una secuencia semanal de tácticas constituye una Estrategia de Aprendizaje.
4. Caracterización de la Estrategia de Aprendizaje (Agrupación por Riesgo):
   • Se aplicó un Modelo de Predicción de Abandono de Regresión Logística preentrenado (basado en el rendimiento en tareas) a cada semana de estudiante para generar una probabilidad de abandono ($p_{drop}$).
   • Las estrategias se etiquetaron como Alto Riesgo ($p_{drop} > 0.5$) o Bajo Riesgo ($p_{drop} \leq 0.5$).
   • Agrupamiento: Las estrategias dentro de cada grupo de riesgo se agruparon utilizando Maximización de Expectación (EM) en Modelos de Markov de Primer Orden (FOMM) de transiciones de tácticas.
   • Interpretación: Los grupos se visualizaron utilizando Redes Heurísticas (minería de procesos) y gráficos de cascada SHAP (para explicar características de predicción) para definir tipos de estrategias distintos.
5. Caracterización del Estudiante:
   • Los estudiantes se agruparon basándose en la frecuencia de los tipos de estrategias que utilizaron a lo largo del curso (Agrupamiento Aglomerativo).
   • Se utilizaron pruebas de Brunner-Munzel para comparar estadísticamente los grupos con respecto a las calificaciones, predicciones de abandono y opiniones autoinformadas.
   • El análisis cualitativo de contenido de los autoinformes se utilizó para validar y contextualizar los grupos cuantitativos.

3. Contribuciones Clave

• Integración Metodológica: Un pipeline novedoso que combina minería de procesos, modelado predictivo y autoinformes para explicar por qué un estudiante está en riesgo, yendo más allá de la simple clasificación.
• Taxonomía Granular de Estrategias: Identificación de 12 tipos distintos de estrategias de aprendizaje semanales, categorizados por nivel de riesgo:
  • 3 Estrategias de Bajo Riesgo: Orientadas a tareas (enfocadas en el rendimiento), Búsqueda de comprensión (intensivas en recursos) y Centradas en recursos (materiales > tareas).
  • 9 Estrategias de Alto Riesgo: Que van desde luchas recuperables (por ejemplo, "Inicio lento", "Intentar con ejemplos") hasta modos de fallo críticos (por ejemplo, "Quedarse atrás, darse cuenta de la lucha demasiado tarde", "Enfoque riesgoso solo en tareas obligatorias").
• Perfilado Longitudinal: Definición de 5 Tipos de Perfiles de Aprendizaje Estudiantil basados en cómo los estudiantes navegaron estas estrategias durante todo el semestre.
• Triangulación: Demostración de cómo los autoinformes pueden resolver ambigüedades en los datos de registros de trazas (por ejemplo, explicando por qué un estudiante que usa estrategias "riesgosas" aún aprobó).

4. Resultados Clave

4.1 Comportamientos de Bajo Riesgo de Abandono (RQ1)

Los estudiantes con bajo riesgo de abandono generalmente exhibieron tres estrategias semanales principales:

1. Orientadas a Tareas: Enfocadas en completar tareas obligatorias y básicas de manera eficiente.
2. Búsqueda de Comprensión: Priorizaron la comprensión profunda a través de conferencias y recursos suplementarios antes de intentar tareas.
3. Centradas en Recursos: Pasaron un tiempo significativo en materiales del curso y respuestas modelo en lugar de la finalización inmediata de tareas.

• Perfiles: Estos comportamientos se correlacionaron con perfiles como "Buscadores de Comprensión Adaptativos" (que ajustaron estrategias según el contexto) y "Estudiantes Activos Enfocados en Tareas".

4.2 Comportamientos de Alto Riesgo de Abandono (RQ2)

Los estudiantes de alto riesgo exhibieron nueve estrategias distintas. Crucialmente, el estudio distinguió entre riesgos temporales y terminales:

• Riesgos Recuperables: Estrategias como "Inicio lento" o "Luchando por entender" fueron a menudo utilizadas por estudiantes que eventualmente se recuperaron y aprobaron.
• Riesgos Terminales: Estrategias como "Quedarse atrás, darse cuenta de la lucha demasiado tarde" (ver respuestas modelo sin hacer tareas) y "Enfoque riesgoso solo en tareas obligatorias" se asociaron fuertemente con estudiantes que abandonaron.
• Insight: Los estudiantes que abandonaron generalmente recurrieron a estrategias de alto riesgo 1–2 semanas antes de irse, a menudo después de que se introdujera un tema específico difícil.

4.3 Perfiles Estudiantiles y Autoinformes (RQ3)

El estudio identificó cinco perfiles de estudiantes:

1. Buscadores de Comprensión Adaptativos (N=20): Ajustaron estrategias según los temas semanales; alta participación con diversos recursos.
2. Seguidores Diligentes del Contenido del Curso (N=14): Siguiendo estrictamente el horario sugerido; alta dependencia de TAs y grupos de pares.
3. Estudiantes Activos Enfocados en Tareas (N=5): Utilizaron consistentemente estrategias de bajo riesgo; altas tasas de finalización de tareas.
4. Perseverantes hasta el Final (N=1): Un caso atípico que utilizó estrategias de alto riesgo (trabajo mínimo en tareas) pero aprobó con las mejores calificaciones debido a un rendimiento excepcional en exámenes. Los autoinformes revelaron que este estudiante tenía mala gestión del tiempo pero fuertes habilidades de recuperación de información.
5. Abandonos del Curso (N=7): Todos abandonaron hacia la mitad del curso. Utilizaron exclusivamente estrategias de alto riesgo en las semanas que condujeron a su partida.

Validación: Los autoinformes confirmaron los hallazgos cuantitativos. Por ejemplo, el grupo "Adaptativo" reportó ajustar rutinas debido a circunstancias personales, mientras que el grupo "Diligente" reportó una fuerte dependencia de ayuda externa. El autoinforme del único caso atípico "Perseverante" explicó su camino único (enfocado en exámenes) que los registros de trazas solos podrían haber clasificado erróneamente como un fracaso.

5. Significado e Implicaciones Prácticas

• Intervenciones Dirigidas: El estudio proporciona un marco para que los TAs e instructores identifiquen no solo quién está en riesgo, sino qué comportamiento específico está causando el riesgo. Por ejemplo, un estudiante que usa "Dependencia tardía de respuestas modelo" necesita una intervención diferente (por ejemplo, forzar la finalización de tareas) que uno que usa "Inicio lento" (por ejemplo, coaching de gestión del tiempo).
• Sistemas de Alerta Temprana: Al vincular los tipos de estrategias semanales con las probabilidades de abandono, los educadores pueden intervenir durante el curso en lugar de post-mortem.
• Visión Holística: La combinación de registros de trazas y autoinformes previene la mala interpretación. Un estudiante que parece "riesgoso" en los registros podría ser un estudiante "Perseverante" que simplemente tiene una estrategia diferente (pero efectiva), evitando intervenciones innecesarias o mal dirigidas.
• Escalabilidad: El pipeline utiliza datos existentes del VLE y modelos estándar de aprendizaje automático, lo que lo hace aplicable a grandes cohortes de CS1 sin requerir nuevos métodos intrusivos de recolección de datos.

En conclusión, este artículo demuestra que los tipos de estrategias de aprendizaje son más predictivos y explicativos que los conteos de actividad crudos. Al categorizar los comportamientos en perfiles de riesgo específicos, el estudio ofrece una hoja de ruta accionable para reducir la deserción en CS1 a través de un apoyo oportuno y específico del comportamiento.