Early-Warning Learner Satisfaction Forecasting in MOOCs via Temporal Event Transformers and LLM Text Embeddings

Resumo Técnico: Previsão de Satisfação de Aprendizes em MOOCs

1. Problema e Motivação

A satisfação do aprendiz é um indicador crítico de qualidade em Cursos Online Abertos e Massivos (MOOCs), influenciando diretamente a retenção, o engajamento e a reputação da plataforma.

• Limitação Atual: A maioria dos métodos existentes opera de forma post hoc (após o fato), analisando revisões finais e classificações por estrelas apenas após o término do curso. Isso torna as intervenções (como alertas para instrutores ou recomendações adaptativas) ineficazes, pois ocorrem após o desengajamento ou a formação de impressões negativas irreversíveis.
• Desafio: O objetivo é realizar uma previsão de alerta precoce da satisfação final, utilizando apenas dados observados nos primeiros $t$ dias do curso (ex: 7, 14 ou 28 dias).
• Dificuldades Específicas:
  1. Sinais Esparsos e Heterogêneos: Dados comportamentais iniciais são escassos e não capturam a trajetória de engajamento (ex: desengajamento progressivo vs. recuperação após uma falha).
  2. Textos Curtos e Informais: Rastros textuais iniciais (fóruns, feedbacks curtos) exigem representações contextuais poderosas para extrair sinais afetivos significativos.

2. Metodologia: Framework TET-LLM

Os autores propõem o TET-LLM (Temporal Event Transformer with LLM embeddings), um framework de fusão multimodal que integra três fluxos de informação complementares:

• A. Transformer de Eventos Temporais (Comportamento):

  • Modela a sequência fina de eventos comportamentais (ex: reprodução de vídeo, envio de quiz, postagens no fórum).
  • Utiliza um Transformer com atenção temporal que considera não apenas o tipo de evento, mas também o intervalo de tempo ($\Delta\tau$) entre eventos, usando embeddings de "gaps" de tempo em escala logarítmica.
  • Emprega pooling por atenção para agregar a sequência em uma representação fixa.

• B. Embeddings de Texto Baseados em LLM:

  • Extrai representações contextuais de fragmentos de texto iniciais (posts de fórum, feedbacks) utilizando modelos pré-treinados (BERT ou RoBERTa).
  • Em vez de uma média simples, utiliza pooling por atenção para agregar múltiplos snippets, tratando a heterogeneidade informativa.
  • Inclui um indicador binário de "ausência de texto" para lidar com aprendizes que não postam.

• C. Distribuições de Tópicos/Aspectos:

  • Captura drivers de satisfação em nível macro (ex: qualidade do conteúdo, instrutor, dificuldade de avaliação) através de modelos de tópicos enriquecidos com embeddings.
  • Define 6 dimensões padrão de avaliação de MOOCs.

• D. Fusão e Regressão Heterocedástica:

  • As três modalidades são projetadas para uma dimensão comum e concatenadas.
  • A cabeça de saída utiliza regressão gaussiana heterocedástica, prevendo não apenas a média da satisfação ($\hat{\mu}$), mas também a variância preditiva ($\hat{\sigma}^2$).
  • Objetivo: Permitir políticas de intervenção conservadoras, onde o sistema sabe quando está "incerto" sobre a previsão (crucial para dados esparsos).
  • Técnica de Regularização: Modality Dropout é aplicado durante o treinamento (desligando aleatoriamente o texto ou o comportamento) para garantir robustez, já que a maioria dos aprendizes não gera texto nos primeiros dias.

3. Contribuições Principais

1. Protocolo de Avaliação Seguro: Formalização de um protocolo de avaliação de múltiplos horizontes temporais ($t \in \{7, 14, 28\}$ dias) que evita vazamento de dados (leakage), garantindo que apenas informações disponíveis até o tempo $t$ sejam usadas.
2. Arquitetura Multimodal Inovadora: Proposta do TET-LLM, que combina modelagem temporal de comportamento com embeddings de LLM e tópicos, otimizada sob um objetivo de regressão heterocedástica.
3. Validação Empírica Robusta: Experimentos extensivos em um conjunto de dados de larga escala (multi-plataforma) com análises de ablação, calibração de incerteza e avaliação operacional de alerta precoce.

4. Resultados Experimentais

O modelo foi testado em um dataset com 480.000 matrículas, 120 cursos e 95 milhões de eventos comportamentais.

• Desempenho de Regressão (Horizonte de 7 dias):
  • O TET-LLM alcançou um RMSE de 0,82 e MAE de 0,64, superando consistentemente as baselines (XGBoost com agregados, apenas texto, apenas comportamento).
  • Redução relativa de RMSE de 4,7% em relação à melhor baseline (TET-Behavior) no horizonte de 7 dias.
• Estudos de Ablação:
  • A remoção de embeddings de texto causou a maior degradação no horizonte de 7 dias (+0,04 RMSE), confirmando que o texto inicial carrega sinais afetivos únicos não presentes nos logs.
  • A remoção do encoder temporal causou maior degradação em 14 dias, mostrando a importância da trajetória comportamental conforme mais dados acumulam.
  • O Modality Dropout foi crítico: sua remoção aumentou o RMSE em 0,03, evidenciando a fragilidade de modelos que dependem excessivamente de texto (que falta para ~82% dos alunos em 7 dias).
• Calibração de Incerteza:
  • O modelo alcançou uma cobertura de intervalo de 90% próxima ao nominal (0,89 a 0,90), enquanto modelos estáticos subestimaram a incerteza (cobertura de 0,84).
• Avaliação Operacional (Detecção de Risco):
  • Na tarefa de identificar aprendizes com baixa satisfação ($\le 3$ estrelas), o TET-LLM melhorou o Recall@10% de 0,35 para 0,41 em 7 dias. Isso significa que, ao focar nos 10% de maior risco, 41% realmente terminariam insatisfeitos, otimizando o uso de recursos de suporte instrucional.

5. Significado e Conclusão

O trabalho demonstra que a previsão de satisfação em MOOCs pode ser eficazmente realizada em estágios iniciais, superando a limitação temporal dos métodos atuais.

• Impacto Prático: Permite que plataformas e instrutores intervenham proativamente antes que o aluno desista ou forme uma opinião negativa definitiva.
• Inovação Técnica: A integração de Transformers temporais com LLMs e a modelagem explícita da incerteza (heterocedasticidade) oferecem um novo paradigma para mineração de dados educacionais, lidando eficazmente com a esparsidade e a natureza multimodal dos dados de aprendizado.
• Futuro: Os autores sugerem a integração de metadados de cronograma do curso e a expansão para generalização entre diferentes plataformas e cursos.

Em suma, o TET-LLM estabelece um novo estado da arte para a detecção precoce de insatisfação, combinando a precisão de modelos de linguagem avançados com a sensibilidade temporal de modelos de sequência comportamental.