A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Este artigo introduz um benchmark de sobrevivência unificado e multidimensional para a previsão de risco de abandono temporal utilizando o conjunto de dados OULAD, demonstrando que sinais comportamentais e temporais superam atributos estáticos, ao mesmo tempo em que destaca a necessidade de separar famílias de modelos para evitar artefatos de avaliação.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A cada semestre, as universidades enfrentam uma crise silenciosa: alunos que iniciam seus cursos, mas nunca os concluem. Durante décadas, educadores tentaram prever quem tem probabilidade de abandonar os estudos, esperando oferecer ajuda antes que seja tarde demais. Este campo, conhecido como análise de aprendizagem (learning analytics), trata os dados dos alunos como um mapa, buscando padrões que sinalizem problemas. Tradicionalmente, esses mapas têm sido instantâneos estáticos, construídos a partir do histórico do aluno, sua idade ou suas notas de anos anteriores. Mas a jornada de um aluno não é uma fotografia única; é um filme que se desenrola semana após semana. O risco de abandonar um curso não permanece imóvel; ele muda e cresce à medida que o aluno interage com seus materiais on-line, perde prazos ou simplesmente para de clicar no site do curso. A questão central para os pesquisadores tem sido se podemos construir um mapa melhor ao observar este filme em tempo real, em vez de apenas olhar para os créditos iniciais.
Uma equipe de pesquisadores da Eastern University partiu para responder a essa pergunta, construindo um novo tipo de teste para comparar diferentes formas de prever a evasão de alunos. Eles utilizaram uma coleção massiva e bem conhecida de dados da Open University, que rastreia milhares de alunos em diversos cursos. Em vez de simplesmente declarar um modelo de computador como o vencedor, eles desenharam um experimento rigoroso que respeitava a diferença entre duas formas distintas de observar o tempo. Um grupo de modelos, que chamaram de família "Dinâmica Semanal" (Dynamic Weekly), observava os alunos semana a semana, atualizando sua previsão cada vez que uma nova peça de atividade aparecia. O outro grupo, a família "Janela Inicial Estática" (Static Early-Window), adotava uma abordagem diferente: olhava apenas para as primeiras quatro semanas do comportamento de um aluno e, então, fazia uma previsão única e fixa para o restante do curso. Os pesquisadores trataram essas duas abordagens não como rivais para serem classificadas uma contra a outra, mas como duas lentes diferentes para visualizar o mesmo fenômeno, garantindo que a comparação fosse justa e que os resultados não fossem distorcidos pela forma como os dados foram organizados.
O estudo comparou quatorze modelos de computador diferentes, variando de ferramentas estatísticas simples a sistemas complexos de inteligência artificial. Os pesquisadores mediram o quão bem cada modelo conseguia realizar duas tarefas: classificar corretamente os alunos por seu nível de risco e fornecer um número de probabilidade que correspondesse ao número real de alunos que abandonaram o curso. Como as duas famílias utilizam formulações de risco diferentes, os pesquisadores relataram os resultados dentro de cada família separadamente, em vez de criar um ranking único combinado. Dentro do grupo "Janela Inicial Estática", um modelo chamado Random Survival Forest emergiu como o mais confiável. Ele foi o melhor em identificar quais alunos estavam em risco e, crucialmente, suas estimativas de probabilidade eram muito precisas. Por exemplo, quando este modelo previa trinta por cento de chance de um aluno abandonar o curso, a taxa real de evasão para aquele grupo de alunos era muito próxima de trinta por cento. Essa precisão é vital porque significa que as instituições podem confiar nos números para decidir quem precisa de ajuda. Dentro do grupo "Dinâmica Semanal", os modelos agruparam-se muito próximos em desempenho, com um modelo Poisson Piecewise-Exponential mostrando uma leve vantagem em uma métrica específica, embora nenhum modelo único tenha dominado em todas as medidas.
Talvez a descoberta mais significativa não tenha sido sobre qual modelo de computador era o mais inteligente, mas sim sobre quais informações os modelos realmente utilizavam para tomar suas decisões. Eles testaram isso removendo diferentes tipos de dados dos modelos, um por um. Eles removeram as informações de contexto estático, como a idade, o gênero ou a educação prévia do aluno. Em seguida, removeram os dados comportamentais, como a frequência com que o aluno clicava nos materiais do curso ou quantas semanas ele esteve ativo. Os resultados foram claros e consistentes em quase todos os modelos: as informações de contexto mal importavam. Quando os dados comportamentais eram removidos, a capacidade dos modelos de prever a evasão colapsava. O sinal dominante não era quem o aluno era, mas o que ele estava fazendo. Especificamente, o número de cliques nas primeiras quatro semanas e o número de semanas de atividade foram os preditores mais fortes. Isso sugere que a evasão não é um traço fixo de uma pessoa, mas um processo que se desenrola através de seu engajamento diário.
O estudo também revelou que nem todos os modelos são criados iguais no que diz respeito à confiabilidade. Embora a maioria dos modelos de alto desempenho fornecesse estimativas de probabilidade honestas, um modelo no grupo estático, chamado XGBoost AFT, teve um desempenho ruim em todos os aspectos. Ele teve dificuldade em classificar os alunos corretamente e suas estimativas de probabilidade eram totalmente erradas, sugerindo que sua estrutura matemática não era flexível o suficiente para lidar com a natureza mutável do risco do aluno. Essa descoberta reforça a ideia de que a forma como um modelo é construído importa tanto quanto os dados que ele observa. Os pesquisadores concluíram que, para instituições que buscam construir sistemas de alerta precoce, a melhor abordagem é usar um modelo que foque no primeiro mês de comportamento. Elas podem pontuar os alunos ao final da quarta semana usando dados simples, como contagem de cliques e semanas de atividade, sinalizar aqueles com alto risco de evasão e, então, intervir. O estudo não afirmou que este método funciona para todas as universidades ou cursos, já que os dados vieram de um conjunto específico de módulos, mas forneceu uma estrutura clara e unificada para entender como medir o risco. A lição é que o caminho para permanecer na escola é pavimentado com ações diárias, e a melhor maneira de prever quem sairá é observar essas ações de perto, em vez de confiar em quem o aluno era antes de chegar.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.