Early Prediction of Student Performance Using Bayesian Updating with Informative Priors Across Cohorts

Resumo Técnico: Previsão Antecipada de Desempenho Estudantil com Atualização Bayesiana e Priors Informativas entre Coortes

1. Problema e Motivação

O campo da análise de aprendizagem (learning analytics) enfrenta um desafio crítico: a baixa generalizabilidade de modelos preditivos treinados em uma única coorte de estudantes quando aplicados a coortes subsequentes. Mudanças no design instrucional, na composição demográfica dos alunos ou no contexto do curso frequentemente levam ao declínio do desempenho preditivo ao transferir modelos.
Além disso, a detecção precoce de alunos em risco é crucial para intervenções pedagógicas eficazes. No entanto, no início do semestre, os dados da coorte atual são escassos, resultando em modelos instáveis ou imprecisos. A literatura atual raramente aproveita o conhecimento acumulado de coortes anteriores para estabilizar as estimativas de parâmetros em novos semestres, tratando cada nova coorte como um ponto de partida zero.

2. Metodologia

O estudo propõe e avalia uma abordagem de atualização Bayesiana utilizando priors informativas derivadas de uma coorte fonte para melhorar a previsão em uma coorte alvo.

• Contexto e Dados:

  • Cursos: Dois semestres consecutivos (WS1: 2022/23 e WS2: 2023/24) de um curso de matemática introdutória para administração em uma universidade alemã.
  • Amostra: WS1 (N=307) serviu como coorte fonte; WS2 (N=323) como coorte alvo.
  • Variáveis de Engajamento (Features): Seis indicadores semanais extraídos de logs digitais, alinhados à Teoria da Aprendizagem Autorregulada (SRL):
    1. Razão de perguntas de múltipla escolha respondidas em vídeos.
    2. Razão de respostas corretas nos vídeos.
    3. Dias entre o primeiro acesso e o prazo de entrega (procrastinação).
    4. Razão de problemas resolvidos corretamente em exercícios online.
    5. Tempo total gasto nos exercícios.
    6. Razão de problemas tentados.
  • Variáveis de Resultado (Outcomes):
    • Binária: Aluno "em risco" (nota final $\ge$ 3.3 na escala alemã, equivalente a C-).
    • Contínua: Pontos da prova final (0-83).
    • Ordinal: Notas finais na escala alemã (1.0 a 5.0, codificadas como 1-11).

• Abordagem Estatística:

  • Modelos: Regressão Linear, Logística e Ordinal Bayesiana.
  • Estratégia de Atualização:
    1. Coorte Fonte (WS1): Os modelos foram ajustados com priors não informativas (padrão) para gerar distribuições posteriores dos parâmetros ($\pi_{post}$).
    2. Coorte Alvo (WS2): As distribuições posteriores de WS1 foram utilizadas como priors informativas para WS2.
  • Variação de Força do Prior: Para otimizar a influência do conhecimento anterior, os desvios padrão das priors foram escalonados por fatores ($\eta \in \{0.5, 1.0, 1.5, 3.0, 6.0\}$). Isso permitiu testar se priors mais "rígidas" (menor variância) ou mais "flexíveis" funcionavam melhor em diferentes estágios do semestre.
  • Avaliação: Os modelos foram avaliados semanalmente (semana 2 a 10) usando:
    • RMSE (Erro Quadrático Médio Raiz) para regressão linear.
    • Acurácia (ACC) e Sensibilidade (SENS) para classificação binária e ordinal.

3. Principais Contribuições

1. Validação da Atualização Bayesiana: Demonstra empiricamente que incorporar informações de coortes anteriores via priors informativas melhora significativamente a robustez e a precisão da previsão em novas coortes, especialmente quando os dados atuais são limitados.
2. Framework de Avaliação Semanal: Introduz uma metodologia para identificar o ponto mais cedo no semestre em que previsões confiáveis podem ser feitas, mostrando que a vantagem das priors é concentrada nas primeiras semanas.
3. Comparação de Especificações de Modelos: Fornece diretrizes práticas sobre como diferentes tipos de regressão (Linear vs. Logística vs. Ordinal) respondem à atualização Bayesiana, destacando que modelos de classificação se beneficiam mais do que modelos de regressão linear neste contexto.

4. Resultados Chave

• Coorte Fonte (WS1): O desempenho preditivo tornou-se estável e razoavelmente forte a partir da semana 6 (acurácia > 0.70).
• Coorte Alvo (WS2) - Impacto das Priors:
  • Regressão Logística (Classificação Binária): Houve uma melhoria substancial nas semanas iniciais. Na semana 3, o uso de priors informativas reduziu a taxa de falsos negativos em 38,46% e a taxa de classificação incorreta em 22,22% em comparação com o modelo padrão (sem priors).
  • Regressão Ordinal (Notas): Mostrou os maiores ganhos precoces. Na semana 2, a taxa de erro de classificação caiu de 51% (chute aleatório) para níveis que permitiram uma acurácia de 0,72. Na semana 4, a acurácia atingiu 0,77, com redução de erro de 20,83%.
  • Regressão Linear (Pontuação): Não houve benefício significativo; na verdade, priors muito fortes às vezes degradaram o desempenho, sugerindo que a relação entre engajamento e pontuação bruta é mais volátil ou menos previsível via transferência de parâmetros do que a classificação de risco.
• Comparação Logística vs. Ordinal: A regressão ordinal superou a logística na coorte alvo quando priors foram usadas, fornecendo não apenas a classificação de risco, mas também informações granulares sobre a nota provável, o que é mais útil para intervenções pedagógicas.

5. Significado e Implicações

• Eficiência Operacional: O método permite que instituições de ensino implementem sistemas de alerta precoce que funcionam com alta precisão logo nas primeiras semanas do semestre, sem necessidade de esperar por grandes volumes de dados da coorte atual.
• Privacidade de Dados: A abordagem é vantajosa para a privacidade, pois as informações da coorte anterior são transferidas apenas como distribuições de parâmetros (resumos estatísticos), e não como registros individuais de alunos, eliminando a necessidade de reter ou transferir dados sensíveis de anos anteriores.
• Intervenção Pedagógica: Ao focar em variáveis comportamentais "móveis" (como tempo de estudo e tentativas de exercícios) em vez de dados demográficos estáticos, o modelo identifica pontos de alavancagem onde os instrutores podem intervir ativamente para melhorar o desempenho dos alunos.
• Direção Futura: O estudo sugere que a atualização Bayesiana acumulativa é um caminho viável para sistemas de alerta que evoluem ano a ano, embora futuros trabalhos devam investigar como "desacelerar" (downweight) priors antigas à medida que o curso muda drasticamente ao longo de muitos anos.

Em suma, o artigo prova que a atualização Bayesiana com priors informativas é uma solução técnica superior para a previsão de desempenho estudantil entre coortes, superando as limitações dos modelos estáticos tradicionais e permitindo intervenções mais precoces e eficazes.