Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Todos os anos, universidades ao redor do mundo enfrentam uma crise silenciosa: uma parte significativa de seus alunos deixa os cursos antes de concluir seus diplomas. Isso não é apenas uma perda para os estudantes, que frequentemente enfrentam piores perspectivas de emprego e menores ganhos, mas também um pesado golpe financeiro para as próprias instituições. Durante décadas, pesquisadores tentaram resolver esse enigma construindo programas de computador que possam identificar quais alunos têm probabilidade de abandonar os estudos. Esses programas, conhecidos como modelos de aprendizado de máquina (machine learning), analisam o histórico de um aluno — suas notas, sua situação financeira e seu histórico — para prever seu futuro. O objetivo sempre foi identificar alunos em risco precocemente para que as escolas possam oferecer ajuda antes que seja tarde demais. No entanto, uma falha crítica persistiu nesses esforços. Embora os computadores consigam fazer uma previsão, eles raramente dizem à escola o quanto deve confiar nessa previsão. Um modelo pode dizer que um aluno está em risco, mas não oferece uma maneira de saber se esse aviso é um fato sólido ou um palpite incerto. Sem saber a confiabilidade da previsão, as escolas correm o risco de desperdiçar recursos com alunos que estão, na verdade, bem ou, pior ainda, de perder os alunos que realmente precisam de ajuda.

Um novo estudo de Kazi Sabbir Ahmad Nahin, pesquisador da Universidade de Kentucky, aborda esse problema mudando a forma como essas previsões são entregues. Em vez de pedir ao computador para dar uma resposta única e definitiva como "este aluno irá abandonar o curso" ou "este aluno irá se graduar", o estudo utiliza um método chamado previsão conformal (conformal prediction). Essa abordagem pede ao computador para fornecer um conjunto de resultados possíveis junto com uma garantia de quão frequentemente esse conjunto estará correto. Pense nisso como a diferença entre um meteorologista dizendo "choverá amanhã" sem contexto, versus dizer "há 95 por cento de chance de chover e, se estivermos errados, será dentro deste intervalo específico de possibilidades". O pesquisador aplicou este método a dados de mais de 4.400 alunos de uma universidade portuguesa, testando seis tipos diferentes de modelos computacionais para ver quais poderiam melhor prever se um aluno se graduaria, abandonaria o curso ou simplesmente permaneceria matriculado.

O estudo descobriu que os modelos computacionais eram, de fato, muito bons em distinguir entre alunos que terminariam seus diplomas e aqueles que os deixariam. Os modelos de melhor desempenho, que utilizavam técnicas avançadas para aprender com os dados, identificaram corretamente o resultado em cerca de 90 por cento dos casos ao observar apenas os dois resultados finais: graduação ou abandono. No entanto, o verdadeiro avanço veio quando os pesquisadores adicionaram a camada de incerteza. Quando os modelos foram solicitados a serem altamente confiantes — especificamente, para estarem certos 95 por cento das vezes — eles não forçaram uma resposta única para cada aluno. Em vez disso, para cerca de 9 a 12 por cento dos alunos, os modelos retornaram um conjunto contendo tanto "graduado" quanto "abandono". Isso não foi uma falha do computador; foi um sucesso do novo método. Significou que, para esses alunos específicos, as evidências disponíveis não eram fortes o suficiente para escolher um futuro sobre o outro. O computador estava admitindo honestamente: "Eu ainda não posso ter certeza".

Essa incerteza foi ainda mais pronunciada quando os pesquisadores incluíram uma terceira categoria: alunos que ainda estão matriculados, mas ainda não se graduaram. Neste cenário mais complexo, os modelos descobriram que, para quase 40 por cento dos alunos, as evidências apontavam para múltiplos futuros. O grupo "ainda matriculado" representa um estado de transição onde o caminho do aluno é genuinamente indefinido. Ao forçar um rótulo único sobre esses alunos, estudos anteriores poderiam ter ocultado o fato de que a previsão era instável. O novo framework, porém, tornou essa ambiguidade visível. Mostrou que, para uma grande parte do corpo discente, a trajetória ainda não estava clara e o computador não conseguia prever o resultado final com confiança. Esta é uma distinção crucial para os administradores escolares, pois evita que tratem um palpite incerto com o mesmo peso de um fato sólido.

Além de apenas medir a incerteza, o estudo também analisou quais fatores estavam impulsionando essas previsões. Usando uma técnica que decompõe o processo de tomada de decisão do computador, os pesquisadores descobriram que os sinais mais fortes vinham do progresso acadêmico do aluno. Especificamente, o número de disciplinas que um aluno aprovava e suas notas no segundo semestre eram os indicadores mais poderosos de seu futuro. O estresse financeiro também desempenhou um papel importante; alunos que estavam atrasados nos pagamentos das mensalidades ou carregando dívidas eram mais propensos a serem sinalizados como em risco. Essas descobertas alinham-se com teorias de longa data sobre por que os alunos deixam a escola, confirmando que tanto a integração acadêmica quanto a estabilidade financeira são pilares fundamentais da persistência. O estudo não afirmou que esses fatores causam o abandono escolar, mas sim que são as pistas mais confiáveis que o computador pode usar para detectar problemas.

As implicações deste trabalho são práticas e imediatas para a forma como as universidades gerenciam seus recursos. O estudo propõe um sistema escalonado para agir sobre essas previsões. Se o conjunto de previsão de um aluno contiver apenas "abandono", a escola pode priorizá-lo para um apoio imediato e intensivo, como tutoria ou aconselhamento financeiro. Se o conjunto contiver apenas "graduado", o aluno pode ser deixado em paz para continuar seus estudos sem interferências desnecessárias. Mas para os alunos cujo conjunto de previsão contém múltiplos resultados — aqueles sobre os quais o computador não consegue decidir — o estudo sugere uma abordagem diferente. Esses alunos devem ser encaminhados para orientadores humanos para uma análise mais detalhada. Um conselheiro pode reunir mais informações, como conversar com o aluno ou verificar sua frequência, para ajudar a resolver a incerteza antes de tomar uma decisão. Isso transforma o computador de um juiz final em uma ferramenta útil que destaca onde o julgamento humano é mais necessário.

Em última análise, esta pesquisa sugere que o futuro do apoio ao estudante não reside em construir computadores que estejam sempre certos, mas em construir sistemas que sejam honestos sobre quando não têm certeza. Ao quantificar a incerteza, as escolas podem parar de adivinhar e começar a tomar decisões informadas. Elas podem direcionar seus recursos limitados para os alunos que mais precisam deles, evitando o estigma e o desperdício de intervir em casos onde o resultado é, na verdade, claro. O estudo conclui que, embora o aprendizado de máquina seja uma ferramenta poderosa para identificar padrões em dados estudantis, ele deve ser acompanhado por métodos que meçam a confiabilidade. Somente assim esses sistemas poderão realmente apoiar o objetivo de ajudar cada aluno a cruzar a linha de chegada.