A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Este estudo propõe um framework de modelagem temporal com uma camada de simulação contrafactual para prever a evasão no ensino superior, utilizando dados de engajamento do LMS para estimar riscos semanais e comparar cenários de políticas, embora os resultados não sejam causalmente identificados.

O essencial

Imagine que a universidade é como um grande navio navegando em um oceano de dados, e os alunos são passageiros a bordo. O grande medo dos capitães (as instituições de ensino) é que alguns passageiros desistam da viagem e pulem do navio antes de chegar ao destino (a formatura).

Este artigo é como um manual de navegação inteligente que tenta prever quem pode pular do navio, quando isso pode acontecer e, o mais importante, como tentar salvá-los antes que seja tarde demais.

Aqui está a explicação do que os autores fizeram, usando analogias do dia a dia:

1. O Problema: Não basta saber "quem", é preciso saber "quando"

Antes, as universidades usavam "termômetros estáticos". Eles olhavam para um aluno e diziam: "Este aluno tem 80% de chance de desistir". Mas isso não diz quando o aluno vai começar a se sentir mal. É como dizer que você vai ficar doente no futuro, mas não saber se será amanhã ou daqui a seis meses.

Os autores criaram um sistema de radar em tempo real. Eles não olham apenas para o aluno, mas para a sua jornada semana a semana. Eles monitoram cada clique, cada acesso ao material de aula e cada tarefa entregue. Se o aluno para de acessar o sistema por uma semana, o radar apita.

2. A Ferramenta: O "Previsor de Tempestades" (Modelo de Risco)

Eles usaram dados de um sistema de ensino online (como um Google Classroom gigante) para treinar um computador.

• A Analogia: Imagine que o computador é um meteorologista. Ele analisa a pressão do ar (cliques), a velocidade do vento (tempo de estudo) e a umidade (tarefas atrasadas) para prever uma tempestade (o abandono).
• O Resultado: O sistema aprendeu a dizer: "Atenção! O passageiro X está em uma zona de risco alto nesta semana específica". Isso permite que a universidade aja exatamente no momento certo, não antes e não depois.

3. O Grande Experimento: O "Simulador de Realidade Alternativa"

A parte mais criativa do artigo é o que eles chamam de Simulação de Políticas Contrfactuais.

• A Analogia: Pense em um jogo de videogame onde você pode pausar o tempo e tentar diferentes cenários.
  • Cenário A (O Choque): "E se, assim que o aluno parar de clicar por 7 dias, nós mandarmos um e-mail de emergência e reduzirmos a chance dele sair em 8%?"
  • Cenário B (O Mecânico): "E se, em vez de apenas mandar um e-mail, nós mudarmos o comportamento do aluno no jogo, fazendo com que ele clique mais e se sinta mais engajado?"

Os autores rodaram esse simulador milhares de vezes. Eles descobriram que:

• O Cenário de Choque (intervenção rápida e direta) funcionou bem no simulador, mostrando que a sobrevivência do aluno aumentou um pouquinho.
• O Cenário Mecânico (tentar mudar o comportamento do aluno de forma complexa) não funcionou tão bem no teste deles; na verdade, às vezes parecia até piorar as coisas no simulador.

Importante: Eles deixam claro que isso é um simulador. Eles não estão dizendo que "mandar um e-mail salvou 100 alunos". Eles estão dizendo: "Se nossa previsão estiver certa, e se fizermos isso, o mapa diz que teremos mais sobreviventes". É como testar um novo paraquedas em um simulador de voo antes de pular de verdade.

4. A Justiça: O "Espelho dos Grupos"

Eles também olharam para ver se essa ajuda funcionava igual para todos.

• A Analogia: Imagine que o navio tem dois grupos de passageiros: homens e mulheres. Eles perguntaram: "Se usarmos nosso novo sistema de salvamento, a diferença entre a taxa de sobrevivência dos homens e das mulheres muda?"
• O Resultado: A diferença foi muito pequena, mas o sinal foi estável. Isso significa que o sistema não favoreceu um grupo em detrimento do outro de forma drástica, mas a mudança foi tão sutil que, na prática, não salvou um grupo muito mais que o outro.

5. O Resumo Final (Em linguagem simples)

Os autores criaram um sistema de alerta precoce que funciona como um GPS de risco para alunos.

1. Previsão: Ele diz quando um aluno está em perigo, não apenas quem está em perigo.
2. Simulação: Ele permite que os gestores da universidade "joguem" com diferentes estratégias de ajuda (como enviar mensagens ou mudar tarefas) em um computador para ver qual funciona melhor antes de gastar dinheiro e esforço no mundo real.
3. Cuidado: Eles avisam que isso é uma simulação baseada em dados passados. Não é uma bola de cristal mágica que garante o futuro, mas é uma ferramenta muito melhor do que apenas chutar ou agir quando já é tarde demais.

Em suma: É como ter um assistente pessoal para a universidade que diz: "Olhe, o aluno João está prestes a desistir na próxima semana. Se você mandar um lembrete amigável agora (cenário de choque), as chances de ele ficar aumentam. Vamos testar isso?"

Resumo técnico

1. Problema e Motivação

O abandono escolar no ensino superior impõe custos significativos a indivíduos, instituições e à sociedade. Embora exista uma vasta literatura sobre a previsão de quem provavelmente abandonará os estudos usando modelos de aprendizado de máquina, a maioria das abordagens operacionais foca em estimativas de risco estáticas (pontuações únicas). Isso cria uma lacuna operacional: as instituições sabem quem está em risco, mas não sabem quando o risco se intensifica ao longo do tempo ou quais regras de decisão devem acionar intervenções.

O artigo identifica a necessidade de transitar da "previsão para a política", exigindo:

1. Expressar o risco em termos temporais (trajetórias de risco semanais).
2. Traduzir esse risco temporal em regras de decisão auditáveis.
3. Comparar cenários de suporte alternativos como políticas de intervenção explícitas, sem necessariamente reivindicar identificação causal de efeitos observacionais.

2. Metodologia

O estudo propõe um framework matemático que integra modelagem de risco temporal e simulação de políticas contrafactuais. O trabalho utiliza o Open University Learning Analytics Dataset (OULAD), combinando logs de interação com o Ambiente Virtual de Aprendizagem (VLE), informações de avaliação e registros administrativos.

A. Modelagem de Risco Temporal (RQ1)

• Operacionalização: O abandono é tratado como um evento de tempo até a ocorrência (administrativo), observado em semanas acadêmicas discretas.
• Estrutura de Dados: Os dados são transformados em formato "pessoa-período" (uma linha por matrícula-semana).
• Modelo Principal: Um modelo de hazard discreto (regressão logística penalizada e balanceada por classe) é treinado para estimar a probabilidade condicional de abandono semanal ($\hat{h}_{it}$).
• Prevenção de Vazamento: A divisão treino-teste é feita no nível da matrícula (enrollment), garantindo que nenhuma semana de uma mesma matrícula apareça em ambos os conjuntos.
• Calibração: As probabilidades brutas são calibradas via Platt scaling (sigmoid) para garantir interpretabilidade.

B. Simulação de Políticas Contrafactuais (RQ2)

O framework introduz uma camada de simulação estrutural para comparar cenários hipotéticos:

• Gatilho da Política: Baseado em uma regra determinística: "alertar se não houver engajamento no LMS nos últimos 7 dias" (Recência $\ge$ 1 semana).
• Janela de Ativação: A intervenção é aplicada por uma janela curta de 2 semanas.
• Cenários Comparados:
  1. Linha de Base: Trajetória de hazard observada.
  2. Cenário "Shock" (Choque): O hazard basal é reduzido diretamente por um fator $\delta$ (ex: 0.08, 0.20, 0.60) durante a janela ativa.
  3. Cenário "Mechanism-Aware" (Consciente do Mecanismo): Os covariáveis (especificamente cliques no LMS) são atualizados contrafactualmente dentro da janela ativa, e o hazard é recalculado propagando essa mudança de estado.
• Métrica de Saída: O contraste estrutural de sobrevivência $\Delta S(t) = \bar{S}^{(1)}(t) - \bar{S}^{(0)}(t)$, onde valores positivos indicam ganho de sobrevivência sob a política.

C. Validação de Subgrupos (RQ3)

• Avalia se a mesma política altera as lacunas de resultados entre grupos observáveis (neste caso, gênero).
• Calcula a mudança na lacuna ($\Delta Gap$) entre os cenários, utilizando bootstrap para quantificar a incerteza.

D. Horários de Avaliação

O estudo define horizontes distintos para evitar instabilidade devido à censura (dados perdidos):

• $T_{policy} = 18$: Horizonte substantivo para relatórios principais.
• $T_{eval\_metrics} = 37$: Horizonte técnico onde as métricas ponderadas por censura (IPCW) ainda são estáveis.
• $T_{eval\_policy} = 38$: Horizonte de suporte bruto para visualização de trajetórias.

3. Contribuições Principais

1. Pipeline de Hazard Discreto: Formalização de um fluxo de trabalho para estimar trajetórias de sobrevivência a partir de registros temporais de alunos, superando a previsão estática.
2. Camada de Simulação de Política: Introdução de um mecanismo para comparar cenários estruturais (choque vs. mecanismo) sob regras de intervenção explícitas, sem reivindicar causalidade observacional.
3. Análise de Equidade Sensível a Subgrupos: Um protocolo para auditar como políticas hipotéticas afetam diferentemente grupos demográficos, quantificando a incerteza via bootstrap.
4. Reprodutibilidade e Transparência: O código, os dados e todos os artefatos (tabelas de sensibilidade, contratos de política) são públicos, permitindo a verificação completa do contrato de simulação.

4. Resultados Chave

• Qualidade do Modelo (RQ1): O modelo de hazard discreto alcançou uma AUC de 0.8350 (treino) e 0.8405 (teste) na discriminação de risco semanal. A calibração agregada foi aceitável, embora com suporte esparsos nas faixas de risco mais alto.
• Contraste de Cenários (RQ2):
  • O cenário de "Shock" produziu ganhos positivos de sobrevivência ($\Delta S$), variando de 0.0102 (cenário conservador) a 0.0819 (cenário de estresse) em $T=18$.
  • O cenário "Mechanism-Aware" (que tenta simular a reengajamento real via covariáveis) resultou em um contraste negativo ($\Delta S \approx -0.0078$), sugerindo que, com a configuração atual de atualização de covariáveis, a política não gerou ganhos de sobrevivência no modelo.
• Equidade de Subgrupos (RQ3): A política aplicada ao gênero mostrou uma redução muito pequena, mas direcionalmente estável, na lacuna de sobrevivência entre homens e mulheres ($\Delta Gap \approx -0.0005$), com intervalos de confiança de 95% excluindo zero.
• Robustez: A análise de ablação confirmou que características temporais (recência e sequência de atividade) são críticas para a qualidade do modelo. A validação fora de domínio (leave-one-run-out) mostrou variabilidade, indicando sensibilidade a diferentes execuções de cursos.

5. Significado e Limitações

• Significado: O estudo demonstra que é possível construir um pipeline analítico que transforma dados de engajamento temporal em diagnósticos de política estruturados e auditáveis. Ele oferece uma ferramenta para instituições testarem "o que aconteceria" se certas regras de intervenção fossem aplicadas, antes de implementá-las no mundo real.
• Limitações Críticas: Os autores enfatizam que os resultados são contrastes de cenários simulados baseados em um modelo, e não efeitos causais identificados de intervenções reais. O framework não substitui ensaios clínicos randomizados, mas serve como uma ferramenta de comparação estrutural quando dados observacionais não permitem identificação causal direta.
• Aplicabilidade: O framework é portátil para qualquer contexto onde existam logs de engajamento carimbados com data e um endpoint de tempo até o evento bem definido.

Em resumo, o artigo fornece uma estrutura rigorosa para mover a análise de aprendizado de "quem vai sair" para "quando e como intervir", oferecendo uma base matemática para a simulação de políticas educacionais com transparência sobre suas limitações inferenciais.