Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

No vasto cenário da educação online, as plataformas geram um fluxo contínuo de pegadas digitais: cliques em materiais de curso, submissão de tarefas e padrões de atividade de login. Educadores e administradores esperam usar esses dados para identificar alunos que estão enfrentando dificuldades antes que seja tarde demais, oferecendo ajuda àqueles que poderiam, de outra forma, abandonar o curso. No entanto, transformar esses rastros digitais em um sistema de alerta confiável é repleto de dificuldades. Um modelo que funciona perfeitamente para um curso muitas vezes falha quando aplicado a outro, simplesmente porque os alunos, o estilo de ensino ou a forma como as notas são atribuídas diferem. Além disso, um programa de computador pode ser muito bom em classificar os alunos de "mais em risco" para "menos em risco", mas se o número específico que ele atribui ao risco de um aluno estiver errado, isso se torna perigoso. Se um sistema diz a um professor que um aluno tem noventa por cento de chance de reprovar quando a chance real é de apenas trinta por cento, o professor pode perder um tempo precioso com um aluno que não precisa, ou pior, ignorar um aluno que realmente precisa. O desafio central não é apenas prever quem terá dificuldades, mas garantir que os números de probabilidade que o computador cospe sejam honestos e confiáveis, mesmo quando o sistema é movido para um novo ambiente de sala de aula.

Pesquisadores da Universidade Shandong Yingcai abordaram este problema construindo uma estrutura projetada para tornar essas previsões de risco confiáveis entre diferentes módulos universitários, ou cursos. Eles utilizaram um conjunto de dados massivo e anonimizado da Open University, que continha registros de quase trinta mil alunos em sete módulos diferentes. A equipe estabeleceu um teste rigoroso onde treinou seus modelos com dados de seis dos módulos e depois tentou aplicar esses modelos ao sétimo módulo, o qual nunca haviam visto antes. Essa abordagem, conhecida como teste "deixa um módulo de fora" (leave-one-module-out), simula um cenário do mundo real onde uma escola deseja usar um sistema construído para um conjunto de aulas para ajudar estudantes em um conjunto de aulas completamente diferente. Eles verificaram suas previsões em quatro momentos diferentes no tempo: duas semanas, quatro semanas, seis semanas e oito semanas após o início do curso. Isso permitiu observar como a precisão das previsões mudava conforme mais informações sobre os alunos tornavam-se disponíveis.

O estudo revelou que, embora os modelos fossem muito bons em classificar os alunos — identificando quais deles tinham maior probabilidade de reprovar do que outros — os números de probabilidade bruta que produziam eram frequentemente enganosos quando transferidos para um novo curso. Quando os pesquisadores aplicaram um modelo treinado em um módulo diretamente a outro sem quaisquer ajustes, as probabilidades previstas não correspondiam aos resultados reais. Por exemplo, o sistema poderia prever um certo nível de risco que era consistentemente muito alto ou muito baixo em comparação com o que realmente aconteceu. Esta é uma falha crítica para um sistema de alerta precoce, porque os administradores precisam saber que um rótulo de "alto risco" significa verdadeiramente uma alta chance de reprovação, e não apenas uma comparação relativa. Para corrigir isso, os pesquisadores desenvolveram um método chamado calibração adaptativa ao alvo (target-adaptive calibration). Este processo envolve pegar uma pequena quantidade de dados históricos do novo curso — especificamente, resultados de ofertas anteriores desse mesmo curso — e usar esses dados para ajustar suavemente os números do modelo. Eles testaram o uso de dados históricos representando dez, vinte ou trinta por cento da população estudantil para ver quanto ajuste era necessário.

Os resultados mostraram que mesmo uma quantidade modesta de dados históricos do novo curso poderia melhorar dramaticamente a confiabilidade das previsões. Quando os pesquisadores usaram dados históricos de trinta por cento do grupo de estudantes para recalibrar o modelo, a precisão das estimativas de probabilidade melhorou significamente. A medida de erro, conhecida como pontuação de Brier (Brier score), caiu de um valor de 0,243 para 0,205, e outra medida de quão bem as probabilidades correspondiam à realidade, chamada erro de calibração esperado (expected calibration error), caiu de 0,158 para 0,076. Crucialmente, este ajuste não alterou a ordem em que os alunos foram classificados; os alunos que estavam em maior risco permaneceram no topo da lista. Em vez disso, o ajuste simplesmente tornou os números atribuídos a esses alunos mais precisos. Isso significa que um professor olhando para um aluno com uma pontuação de "alto risco" poderia confiar que o número reflete verdadeiramente a probabilidade de esse aluno reprovar, em vez de ser um palpite distorcido baseado em um curso diferente.

Os pesquisadores também exploraram se métodos mais complexos, como tentar reponderar matematicamente os dados para considerar as diferenças entre os cursos, renderiam melhores resultados. Eles descobriram que essas abordagens mais complicadas não ofereciam nenhuma vantagem significativa sobre o método mais simples de usar dados históricos para ajustar as probabilidades. A estratégia mais eficaz foi simplesmente pegar a saída do modelo e ajustá-la usando os resultados conhecidos do passado do novo curso. Esta descoberta é importante porque sugere que as escolas não precisam construir modelos inteiramente novos e complexos para cada curso que oferecem. Em vez disso, podem usar um modelo geral e, então, refiná-lo com uma pequena quantidade de dados locais para torná-lo confiável.

Além dos números, o estudo observou como essas probabilidades calibradas se traduzem em ações do mundo real. Em um ambiente escolar, professores e pessoal de apoio têm tempo limitado e só podem revisar um certo número de alunos. Os pesquisadores simularam essa restrição perguntando: se um professor puder olhar apenas para os dez por cento dos alunos mais em risco, quantos dos abandonos futuros reais eles detectariam? Eles descobriram que as probabilidades calibradas permitiam uma compreensão muito mais clara dessa compensação. Sem a calibração, um professor poderia estabelecer um limite que parece razoável, mas acaba revisando muitos alunos ou perdendo muitos indivíduos em risco. Com as probabilidades calibradas, o professor poderia estabelecer um limite específico e saber exatamente quantos alunos seriam sinalizados e quantos alunos em risco seriam capturados. Por exemplo, em um limite de risco específico, o sistema calibrado reduziu a carga de trabalho em quase metade, mantendo ainda a captura de uma parte substancial dos alunos que falhariam, tornando o sistema muito mais prático para instituições de ensino ocupadas.

O estudo também examinou a justiça dessas previsões entre diferentes grupos de alunos, como aqueles com diferentes históricos ou habilidades. Eles descobriram que, embora o sistema geral funcionasse bem, ainda havia variações na precisão com que os resultados eram previstos para subgrupos específicos. Isso destaca que mesmo um sistema bem calibrado requer monitoramento contínuo para garantir que não desfavoreça inadvertidamente certos grupos de alunos. Os pesquisadores utilizaram ferramentas para explicar quais fatores impulsionavam as previsões, descobrindo que os sinais mais importantes estavam relacionados a tarefas não entregues e inatividade recente. Essa transparência ajuda os educadores a entender que o sistema está sinalizando alunos com base em comportamentos concretos, como não entregar trabalhos ou interromper o engajamento, em vez de fatores ocultos ou tendenciosos.

Em última análise, esta pesquisa fornece um roteiro para tornar a inteligência artificial na educação mais confiável e útil. Ela demonstra que o maior obstáculo para mover um sistema preditivo de um curso para outro não é necessariamente a capacidade de classificar os alunos corretamente, mas a capacidade de tornar os números de probabilidade honestos. Ao usar um processo simples de ajuste do modelo com uma pequena quantidade de dados históricos locais, as escolas podem garantir que seus sistemas de alerta precoce sejam tanto precisos quanto acionáveis. O estudo conclui que, embora a tecnologia seja poderosa, seu verdadeiro valor reside em sua capacidade de ser adaptada ao contexto específico da sala de aula, garantindo que os alertas enviados aos educadores não sejam apenas estatisticamente sólidos, mas genuinamente úteis para apoiar os alunos que estão enfrentando dificuldades.