Early-Warning Learner Satisfaction Forecasting in MOOCs via Temporal Event Transformers and LLM Text Embeddings

Resumen Técnico: TET-LLM para la Predicción Temprana de Satisfacción en MOOCs

1. Planteamiento del Problema

La satisfacción del estudiante es un indicador crítico de calidad en los Cursos Masivos Abiertos en Línea (MOOCs), ya que influye directamente en la retención, el compromiso y la reputación de la plataforma. Sin embargo, los métodos existentes sufren de una limitación temporal fundamental:

• Enfoque Post Hoc: La mayoría de los sistemas actuales infieren la satisfacción analizando reseñas finales y calificaciones al terminar el curso. Para ese momento, los estudiantes ya han abandonado o desarrollado impresiones negativas arraigadas, lo que hace imposible una intervención efectiva.
• El Desafío del "Early-Warning" (Alerta Temprana): El objetivo es predecir la puntuación de satisfacción final utilizando solo los datos observados en los primeros $t$ días del curso (ej. 7, 14 o 28 días).
• Dificultades Específicas:
  1. Señales Comportamentales Esparsas: Los datos tempranos son escasos y heterogéneos; las estadísticas agregadas simples (como el tiempo total de visualización) no capturan la trayectoria dinámica del compromiso (ej. desinterés progresivo o recuperación tras un fracaso).
  2. Texto Temprano Contextual: Los textos iniciales (foros, feedback breve) son cortos, informales y dependen del contexto, requiriendo representaciones potentes para extraer señales afectivas.

2. Metodología Propuesta: TET-LLM

Los autores proponen TET-LLM, un marco de fusión multimodal diseñado para integrar tres flujos de información complementarios bajo un objetivo de regresión heterocedástica.

A. Componentes del Modelo:

1. Transformador de Eventos Temporales (Behavioral Stream):
   • Codifica la secuencia fina de eventos de comportamiento (ej. video_play, quiz_submit) utilizando un Transformador.
   • Incorpora incrustaciones de brecha temporal ($\Delta\tau$) para entender los intervalos entre eventos, manejando distribuciones de cola pesada mediante bucketization logarítmica.
   • Utiliza un mecanismo de pooling por atención para condensar la secuencia en una representación fija.
2. Incrustaciones de Texto Basadas en LLM (Text Stream):
   • Extrae representaciones contextuales de fragmentos de texto tempranos (foros, feedback) utilizando un codificador preentrenado (RoBERTa/BERT).
   • Agrupa múltiples fragmentos mediante pooling por atención en lugar de un promedio simple, para manejar la heterogeneidad informativa.
   • Incluye un indicador binario de "ausencia de texto" para manejar la falta de datos.
3. Distribuciones de Temas/Aspectos (Topic Stream):
   • Utiliza un modelo de temas mejorado con incrustaciones para extraer distribuciones de temas de alto nivel (ej. calidad del contenido, dificultad de evaluaciones, interacción entre pares) a partir del texto temprano.
   • Proporciona señales de satisfacción "gruesas" cuando el texto es muy escaso.

B. Fusión y Objetivo de Entrenamiento:

• Fusión Multimodal: Las tres representaciones se proyectan a una dimensión común y se concatenan. Se aplica Modality Dropout (desactivación aleatoria de modalidades) durante el entrenamiento para garantizar que el modelo funcione incluso si falta texto (común en los primeros 7 días, donde solo el 18% de los estudiantes publican).
• Regresión Heterocedástica: La cabecera de salida predice tanto la media ($\hat{\mu}$) como la varianza logarítmica ($\log \hat{\sigma}^2$).
  • Esto permite estimar la incertidumbre predictiva. El modelo aprende a ser más incierto en casos difíciles o con datos escasos, permitiendo políticas de intervención conservadoras (priorizar solo cuando la confianza es alta).

3. Contribuciones Clave

1. Protocolo de Evaluación Seguro: Formalización de un protocolo de evaluación de múltiples horizontes temporales ($t \in \{7, 14, 28\}$ días) que evita la "fuga de datos" (leakage), asegurando que solo se usen datos observables antes del horizonte de predicción.
2. Arquitectura TET-LLM: Una novedosa arquitectura de fusión que combina modelado de secuencias temporales, incrustaciones de LLM y representaciones de temas bajo un objetivo de regresión heterocedástica.
3. Validación Empírica Rigurosa: Experimentos extensivos en un conjunto de datos a gran escala de múltiples plataformas, incluyendo análisis de ablación, calibración de incertidumbre y evaluación operativa de alertas tempranas.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos de 480,000 inscripciones en 120 cursos.

• Rendimiento de Regresión: TET-LLM superó consistentemente a los baselines (XGBoost con características agregadas, solo texto, solo comportamiento) en todos los horizontes.
  • Horizonte de 7 días: RMSE de 0.82 y AUC de 0.77. Esto representa una mejora del 4.7% en RMSE sobre el mejor baseline (TET-Behavior).
  • La mejora es más significativa a los 7 días, donde las señales de texto y comportamiento temprano son más informativas que las estadísticas agregadas.
• Estudios de Ablación:
  • La eliminación de las incrustaciones de texto temprano causó la mayor degradación a los 7 días (+0.04 RMSE), confirmando que los LLM capturan señales afectivas únicas no presentes en los logs de comportamiento.
  • El Modality Dropout fue crítico: sin él, el rendimiento colapsó en el 82% de los estudiantes que no generan texto temprano.
• Calibración de Incertidumbre: El modelo logró una cobertura de intervalos del 90% cercana a la nominal (0.89 a 7 días), demostrando que las estimaciones de incertidumbre son fiables para la toma de decisiones.
• Evaluación Operativa (Detección de Riesgo): En la tarea binaria de identificar estudiantes con baja satisfacción ($y \le 3$), TET-LLM mejoró el Recall@10% del 35% al 41% a los 7 días. Esto significa que, de los estudiantes seleccionados para intervención (top 10% de riesgo), un 41% realmente terminará insatisfecho, optimizando el uso de recursos educativos.

5. Significado e Impacto

• Viabilidad de Intervención Temprana: El trabajo demuestra que es posible predecir la satisfacción final con alta precisión utilizando datos de la primera semana, permitiendo a los instructores y plataformas intervenir antes de que el estudiante se desvincule.
• Gestión de la Incertidumbre: La integración de la regresión heterocedástica proporciona un marco robusto para la toma de decisiones en entornos educativos donde los datos iniciales son incompletos, evitando intervenciones innecesarias en casos de alta incertidumbre.
• Fusión Multimodal Efectiva: El estudio valida que combinar secuencias temporales finas con representaciones semánticas de LLM y modelos de temas es superior a los enfoques unimodales o basados en estadísticas agregadas.

En conclusión, TET-LLM establece un nuevo estado del arte en el análisis de datos educativos para la predicción temprana, ofreciendo una herramienta práctica para mejorar la retención y la calidad en la educación en línea masiva.