PyPI API Drift: A Release-Level Record of Public API Changes in 1,872 Popular Python Libraries, with a Checker and a Benchmark for Version-Aware Code Generation

No vasto e mutável cenário do software moderno, o Python destaca-se como uma linguagem dominante, impulsionando desde a pesquisa científica até aplicações web. Sua força reside em um enorme ecossistema de ferramentas pré-construídas, conhecidas como bibliotecas, que os desenvolvedores podem integrar aos seus projetos para lidar com tarefas complexas sem reinventar a roda. No entanto, essas ferramentas não são monumentos estáticos; são entidades vivas que evoluem constantemente. Os desenvolvedores frequentemente as atualizam para corrigir bugs, melhorar a velocidade ou adicionar novos recursos. Ao fazer isso, eles às vezes removem ou alteram silenciosamente os comandos e instruções específicos nos quais os usuários confiam. Para programadores humanos, acompanhar essas mudanças é um desafio gerenciável, muitas vezes resolvido pela leitura de notas de lançamento ou perguntando a colegas. Mas para a nova geração de assistentes de inteligência artificial que escrevem código, essa evolução apresenta um problema único e persistente. Esses modelos de IA são treinados em vastos arquivos de código de muitas eras diferentes, aprendendo a escrever instruções que estavam corretas anos atrás, mas que podem estar quebradas agora. Sem uma maneira de saber exatamente qual versão de uma ferramenta o usuário tem instalada, uma IA pode sugerir confiantemente um comando que não existe mais, levando a erros que interrompem um projeto.

Para resolver isso, um pesquisador chamado Pushkar Devanahalli Gopalakrishna criou um registro massivo e detalhado de como essas ferramentas mudam ao longo do tempo. O projeto, chamado PyPI API Drift, atua como um arquivo histórico para 1.872 das bibliotecas Python mais populares. Em vez de tentar executar e testar cada pedaço de código, o que seria impossivelmente lento e caro, o pesquisador desenvolveu um método para olhar diretamente para os arquivos digitais que compõem essas bibliotecas. Ao examinar apenas as partes necessárias desses arquivos, o sistema pode mapear exatamente quais comandos, funções e configurações estavam disponíveis em cada lançamento recente de cada biblioteca. Esse processo cobre mais de 55.000 versões específicas de software lançadas entre 2021 e o final de 2026. O resultado é um livro de registro preciso que rastreia quando um recurso específico foi adicionado, quando foi renomeado e quando foi completamente removido. Crucialmente, o sistema distingue entre coisas que realmente sumiram e coisas que simplesmente mudaram de lugar ou de nome, marcando cada entrada com um nível de confiança para indicar o quão certo o registro está.

A escala dessa mudança é significativa. A análise revelou que aproximadamente 13,4 por cento das atualizações de software menores, que são frequentemente assumidas como seguras e retrocompatíveis, contêm na verdade pelo menos uma mudança que quebra o código existente. Ainda mais impressionante, cerca de 64 por cento dos saltos de versões principais e quase 30 por cento das versões menores incluem mudanças que fariam o código antigo falhar. Esses dados desafiam a suposição comum de que as atualizações de software seguem um padrão de segurança estrito e previsível. O pesquisador descobriu que apenas uma pequena fração dos recursos removidos foi oficialmente marcada como "depreciada" ou "em breve para ser removida" de uma forma que ferramentas automatizadas pudessem detectar facilmente. Frequentemente, os avisos estavam escondidos em documentos de texto ou mensagens condicionais que um programa de computador não conseguia ler, deixando desenvolvedores e assistentes de IA no escuro até que o código quebrasse.

Para provar que esse registro é útil, o pesquisador construiu um conjunto de ferramentas para testar sua precisão e utilidade. Uma ferramenta atua como um verificador que escaneia o código para ver se ele utiliza comandos que não são mais válidos para uma versão específica de software. Outra ferramenta serve como um sistema de consulta para assistentes de IA, permitindo que eles consultem o histórico de um comando antes de escrevê-lo. Mais importante ainda, uma série de experimentos testou se dar a uma IA acesso a este registro histórico realmente ajudava a escrever um código melhor. Em testes onde a IA tinha que corrigir um código que foi quebrado por uma atualização de software, a IA teve um desempenho significativamente melhor quando pôde consultar este registro. Sem ajuda, a IA conseguiu corrigir o código corretamente em menos da metade das vezes. Quando fornecida com o registro histórico, sua taxa de sucesso saltou para quase 70 por cento, superando até mesmo quando lhe era dada a documentação oficial da nova versão do software. Isso sugere que ter um histórico preciso e específico de versão é mais valioso para uma IA do que ler instruções gerais.

O projeto também produziu um benchmark, um conjunto de teste padronizado de milhares de trechos de código, para ajudar outros pesquisadores a medir o quão bem seus próprios modelos de IA lidam com essas mudanças de versão. As descobertas confirmam que, embora os modelos de IA sejam poderosos, eles lutam com o ritmo rápido da evolução do software, a menos que estejam equipados com um mapa confiável e atualizado do que existe e do que desapareceu. O registro mostra que o cenário das bibliotecas Python é muito mais fluido do que anteriormente compreendido, com mudanças disruptivas aparecendo frequentemente mesmo em pequenas atualizações. Ao fornecer um mapa de alta precisão sobre essas mudanças, este trabalho oferece uma base para a construção de assistentes de codificação mais inteligentes que possam navegar no mundo em evolução do software sem se perder no drift. Os dados estão agora abertos para qualquer pessoa usar, garantindo que a comunidade possa continuar a construir ferramentas que acompanhem o movimento constante do mundo digital.