Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Este estudo demonstra que as previsões de quase perfeição anteriormente relatadas sobre a graduação no ensino superior foram artefatos de vazamento de dados (*target leakage*) provenientes de atributos determinados pelo desfecho, e estabelece que, ao utilizar um protocolo corrigido e livre de vazamento em registros administrativos de Gaza, modelos de aprendizado de máquina alcançam uma precisão alta, porém realista (até 89,16%), sendo o número de semestres concluídos o preditor mais forte.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na universidade moderna, um vasto rastro digital é deixado por cada estudante. Desde o momento em que se candidatam, seus nomes, notas e frequência são registrados em sistemas administrativos, criando um enorme arquivo de história acadêmica. Por décadas, pesquisadores tentaram minerar esses dados para encontrar padrões que pudessem prever quem concluiria o curso e quem poderia abandonar os estudos. O objetivo é identificar alunos em dificuldade precocemente, permitindo que as instituições ofereçam ajuda antes que seja tarde demais. Este campo, conhecido como mineração de dados educacionais, baseia-se em uma regra simples, mas rigorosa: uma previsão deve ser feita usando apenas a informação disponível naquele momento específico. Se um modelo utiliza uma informação que só existe após o resultado já ter ocorrido, ele está usando informação futura. Esse erro, chamado de vazamento de alvo (target leakage), cria uma falsa sensação de certeza, fazendo com que um modelo pareça perfeito quando, na verdade, está apenas lendo o gabarito.
Uma equipe de pesquisadores em Gaza, Palestina, partiu para testar essa ideia usando vinte anos de registros do University College of Applied Sciences. Eles examinaram os arquivos de quase 4.700 estudantes que estudaram tecnologia da informação entre 2000 e 2019. Sua investigação começou com uma descoberta alarmante. Quando construíram modelos computacionais para prever a graduação usando os dados exatamente como estavam armazenados no sistema da escola, os resultados foram suspeitosamente perfeitos. Os modelos alcançaram 100 por cento de precisão, o que significa que nunca cometeram um único erro. Isso parecia um triunfo, mas os pesquisadores perceberam que os modelos não estavam realmente prevendo o futuro. Eles estavam simplesmente olhando para duas colunas específicas no banco de dados: o ano em que o aluno se graduou e sua média final de notas. Esses números só aparecem no sistema se o aluno já tiver concluído o curso. Ao incluir esses dados, os modelos estavam, essencialmente, recebendo a resposta antes de começarem o teste.
Assim que os pesquisadores removeram essas duas colunas de "informação futura", o cenário mudou completamente. Os modelos, que incluíam árvores de decisão, florestas aleatórias (random forests) e algoritmos de gradient boosting, tiveram que trabalhar apenas com as informações disponíveis enquanto os alunos ainda estavam estudando. Sob essas condições honestas, a precisão caiu para um nível mais realista, situando-se em torno de 89 por cento. Embora este ainda seja um resultado forte, está longe da perfeição impossível vista anteriormente. Os pesquisadores descobriram que o sinal mais poderoso sobre se um aluno se graduaria não era seu coeficiente de rendimento acadêmico, mas simplesmente quantos semestres ele havia concluído com sucesso. Um aluno que continuava comparecendo e terminando os períodos era muito mais propenso a se graduar do que um que tinha notas altas, mas parava de frequentar as aulas. Isso sugere que a persistência é um preditor de sucesso mais forte do que o desempenho acadêmico momentâneo.
O estudo também observou quão cedo essas previsões poderiam ser feitas. Quando os pesquisadores restringiram os modelos para usar apenas a informação disponível no momento em que o aluno se candidata à universidade — como suas notas do ensino médio e idade — a precisão caiu para cerca de 70 por cento. Isso indica que, embora as escolas possam ter uma noção geral de risco antes mesmo de o aluno chegar, o quadro real só emerge uma vez que o aluno inicia sua jornada e seu histórico de frequência começa a ser construído. Os pesquisadores também verificaram se os modelos tratavam estudantes do sexo masculino e feminino de forma justa. Eles descobriram que os modelos não discriminavam; de fato, como as estudantes do sexo feminino neste grupo específico tinham uma taxa natural de graduação mais alta, os modelos previram corretamente que elas teriam maior probabilidade de sucesso. A versão anterior do estudo havia sugerido uma regra diferente baseada no gênero, mas isso era uma ilusão criada pelos dados falhos.
As implicações deste trabalho estendem-se para além de apenas uma universidade em Gaza. Serve como um alerta para instituições de todo o mundo que estão ansiosas para usar a inteligência artificial para gerir o sucesso dos estudantes. Os pesquisadores demonstraram que um modelo pode parecer incrivelmente poderoso enquanto é inteiramente inútil, se for permitido espiar a resposta. Eles forneceram um método claro para que outras escolas verifiquem seus próprios dados em busca desses erros ocultos. Para os orientadores universitários, as descobertas corrigidas oferecem um caminho prático a seguir: focar em alunos que param de frequentar as aulas em vez de apenas naqueles com notas baixas, e usar essas previsões como um estímulo para a conversa humana, em vez de uma decisão automatizada. O estudo conclui que a alta precisão não é a única medida de um bom modelo; um modelo que é honesto sobre o que sabe e como sabe é muito mais valioso para ajudar os alunos a navegar em sua educação.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.