Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

No vasto cenário da educação moderna, uma revolução silenciosa está ocorrendo dentro dos sistemas digitais que gerenciam nossas salas de aula. Durante décadas, os professores confiaram em notas e folhas de presença para avaliar o desempenho de um aluno, mas essas medidas tradicionais muitas vezes chegam tarde demais para ajudar um estudante em dificuldades. Hoje, à medida que as universidades movem cada vez mais seus cursos para o ambiente online, cada clique, cada login e cada momento passado em uma plataforma digital deixa um rastro. Os pesquisadores chamam esses rastros de "marcadores digitais". Eles são as pegadas da vida diária de um aluno em um curso, oferecendo um vislumbre de seus hábitos, engajamento e potenciais dificuldades muito antes de um exame final sequer ser escrito. A questão que impulsiona este novo campo de estudo é simples, porém profunda: podemos ler essas pegadas digitais para identificar um aluno que está prestes a reprovar e podemos fazer isso cedo o suficiente para mudar seu caminho?

Este é o desafio enfrentado por uma equipe de pesquisadores da Universidade de Zambia, que voltou sua atenção para um curso de primeiro ano notoriamente difícil: Sistemas de Computação e Arquitetura. Nesta disciplina, quase quarenta por cento dos alunos historicamente não passam, uma taxa que deixa muitas mentes brilhantes para trás antes mesmo de seus estudos começarem de verdade. Os instrutores sabiam que algo estava errado, mas careciam de uma forma de identificar quem estava em risco até que fosse tarde demais. Para resolver isso, a equipe decidiu olhar além das notas finais e, em vez disso, examinar as migalhas de pão digitais deixadas pelos alunos ao longo de quatro anos. Eles coletaram dados de quase trezentos alunos, combinando suas informações básicas de histórico, suas pontuações em primeiros testes e questionários, e os registros brutos de como interagiam com o sistema de aprendizagem online da universidade. O objetivo era construir um modelo que pudesse agir como um sistema de alerta precoce, sinalizando alunos que provavelmente reprovariam, para que os professores pudessem intervir com suporte enquanto ainda havia tempo para mudar o rumo das coisas.

Os pesquisadores começaram ouvindo as pessoas que melhor conheciam o curso: os instrutores, os tutores e os próprios alunos. Por meio de entrevistas e questionários, eles identificaram dez fatores que pareciam influenciar o sucesso, como gestão de tempo, motivação e se o aluno possuía um computador. Eles então traduziram esses insights humanos em pontos de dados, criando uma lista abrangente de características para testar. Eles desenvolveram uma pontuação especial chamada "impulso acadêmico ponderado", que observava o desempenho do aluno nos seus primeiros testes e questionários, dando mais importância às avaliações iniciais posteriores e mais abrangentes. Eles também rastrearam se um aluno já havia feito login no sistema online ou não, e quantos dias distintos eles estiveram ativos. Ao alimentar todas essas informações em um modelo computacional, testaram qual combinação de fatores poderia melhor prever quem reprovaria.

O que descobriram foi ao mesmo tempo surpreendente e tranquilizador. O preditor mais poderoso de reprovação não era um questionário complexo sobre a motivação de um aluno ou sua experiência prévia com computadores, mas sim uma combinação simples de três coisas: seu impulso acadêmico inicial, seu histórico básico e uma única pergunta de sim ou não sobre se ele já havia tocado no sistema de aprendizagem online. O modelo descobriu que o desempenho do aluno nas primeiras semanas de avaliações era o sinal mais forte de seu sucesso futuro. No entanto, esse sinal era ainda mais revelador quando combinado com uma verificação simples de sua presença digital. Se um aluno tivesse pontuações iniciais altas, mas nunca tivesse feito login no sistema online, ele ainda estaria em risco significativo. Isso sugeriu que alguns alunos poderiam estar apenas "pegando carona" em sua habilidade natural ou conhecimento prévio, sem perceber que estavam perdendo as estruturas de apoio disponíveis online, ou talvez excessivamente confiantes em sua capacidade de passar sem interagir com os materiais do curso.

Quando os pesquisadores testaram seu modelo final em um grupo de alunos que o modelo nunca havia visto antes, ele provou ser extraordinariamente eficaz em sua função principal: encontrar os alunos que estavam em apuros. O sistema identificou corretamente oitenta e sete por cento dos alunos que eventualmente reprovariam o curso. Essa alta taxa de sucesso veio com uma compensação: o modelo também sinalizou alguns alunos que seriam aprovados como estando em risco, resultando em uma taxa de falso alarme de quarenta e um por cento. Os pesquisadores argumentam que este é um preço aceitável a pagar em um ambiente educacional. É muito melhor oferecer ajuda extra a um aluno que não precisa dela do que perder um aluno que está lutando silenciosamente e prestes a reprovar. O modelo alcançou isso ao observar os dados disponíveis apenas cinco semanas após o início do semestre, um cronograma que oferece aos instrutores uma janela crucial para intervir.

O estudo também revelou que adicionar dados mais complexos não tornava necessariamente a previsão melhor. Incluir respostas detalhadas de questionários sobre os sentimentos de um aluno ou sua carga de trabalho específica não melhorou a precisão do modelo. Na verdade, a abordagem mais simples — focar em notas iniciais e uma verificação básica de atividade online — funcionou melhor. Isso sugere que, para este curso específico, as ações que um aluno toma nas primeiras semanas são um indicador mais confiável de seu futuro do que seus sentimentos relatados ou detalhes de histórico. Os pesquisadores usaram um método chamado análise SHAP para entender por que o modelo tomava suas decisões, o que confirmou que o impulso acadêmico ponderado era o fator mais importante, seguido de perto pela interação entre esse impulso e se o aluno havia se engajado com o sistema online.

Este trabalho oferece um roteiro prático de como as universidades podem usar os dados que já possuem para apoiar seus alunos. Ao focar em marcadores digitais simples e precoces, os educadores podem passar de reagir ao fracasso para preveni-lo. Os pesquisadores planejam transformar suas descobertas em um painel ao vivo que alertará automaticamente os instrutores quando um aluno mostrar sinais de problemas, fornecendo razões claras para o alerta para que possam oferecer ajuda direcionada. Embora o estudo tenha sido conduzido em uma única universidade na Zambia, a abordagem sugere uma verdade universal: na era digital, a maneira como um aluno se apresenta, mesmo nas menores formas, muitas vezes fala mais alto do que seu histórico ou sua confiança inicial. O caminho para o sucesso nem sempre está escondido em estatísticas complexas, mas às vezes no ritmo silencioso e consistente de comparecer às aulas, tanto presencialmente quanto online.