PyPI API Drift: A Release-Level Record of Public API Changes in 1,872 Popular Python Libraries, with a Checker and a Benchmark for Version-Aware Code Generation

Dans le paysage vaste et mouvant du logiciel moderne, Python s'impose comme un langage dominant, alimentant tout, de la recherche scientifique aux applications web. Sa force réside dans un immense écosystème d'outils pré-construits, connus sous le nom de bibliothèques, que les développeurs peuvent intégrer à leurs projets pour gérer des tâches complexes sans réinventer la roue. Cependant, ces outils ne sont pas des monuments statiques ; ce sont des entités vivantes qui évoluent constamment. Les développeurs les mettent fréquemment à jour pour corriger des bogues, améliorer la vitesse ou ajouter de nouvelles fonctionnalités. Ce faisant, ils suppriment ou modifient parfois discrètement les commandes et instructions spécifiques sur lesquelles les utilisateurs comptent. Pour les programmeurs humains, suivre ces changements est un défi gérable, souvent résolu en lisant les notes de version ou en interrogeant des collègues. Mais pour la nouvelle génération d'assistants d'intelligence artificielle qui écrivent du code, cette évolution présente un problème unique et persistant. Ces modèles d'IA sont entraînés sur de vastes archives de code provenant de nombreuses époques différentes, apprenant à écrire des instructions qui étaient correctes il y a quelques années mais qui peuvent être désormais obsolètes. Sans moyen de savoir exactement quelle version d'un outil un utilisateur a installée, une IA pourrait suggérer avec assurance une commande qui n'existe plus, entraînant des erreurs qui interrompent un projet.

Pour résoudre cela, un chercheur nommé Pushkar Devanahalli Gopalakrishna a créé un enregistrement massif et détaillé de la manière dont ces outils changent au fil du temps. Le projet, appelé PyPI API Drift, fait office d'archive historique pour 1 872 des bibliothèques Python les plus populaires. Au lieu d'essayer d'exécuter et de tester chaque morceau de code, ce qui serait impossibles en termes de lenteur et de coût, le chercheur a développé une méthode pour examiner directement les fichiers numériques qui composent ces bibliothries. En n'examinant que les parties nécessaires de ces fichiers, le système peut cartographier précisément quelles commandes, fonctions et paramètres étaient disponibles dans chaque version récente de chaque bibliothèque. Ce processus couvre plus de 55 000 versions spécifiques de logiciels publiées entre 2021 et la fin de 2026. Le résultat est un registre précis qui suit quand une fonctionnalité spécifique a été ajoutée, quand elle a été renommée et quand elle a été complètement supprimée. Crucialement, le système distingue les éléments qui ont véritablement disparu de ceux qui ont simplement été déplacés ou renommés, marquant chaque entrée d'un niveau de confiance pour indiquer la certitude du registre.

L'ampleur de ce changement est significative. L'analyse a révélé qu'environ 13,4 % des mises à jour mineures de logiciels, qui sont souvent considérées comme sûres et compatibles avec les versions antérieures, contiennent en réalité au moins un changement qui brise le code existant. Plus frappant encore, environ 64 % des sauts de versions majeures et près de 30 % des versions mineures incluent des changements qui causeraient l'échec du code ancien. Cette donnée remet en question l'hypothèse commune selon laquelle les mises à jour logicielles suivent un schéma de sécurité strict et prévisible. Le chercheur a découvert qu'une infime fraction des fonctionnalités supprimées était officiellement marquée comme « dépréciée » ou « sur le point d'être supprimée » d'une manière que les outils automatisés pourraient facilement détecter. Souvent, les avertissements étaient cachés dans des documents textuels ou des messages conditionnels qu'un programme informatique ne pouvait pas lire, laissant les développeurs et les assistants d'IA dans l'ignorance jusqu'à ce que le code se brise.

Pour prouver l'utilité de ce registre, le chercheur a construit un ensemble d'outils pour tester sa précision et son utilité. Un outil agit comme un vérificateur qui scanne le code pour voir s'il utilise des commandes qui ne sont plus valides pour une version logicielle spécifique. Un autre outil sert de système de recherche pour les assistants d'IA, leur permettant de consulter l'historique d'une commande avant de l'écrire. Plus important encore, une série d'expériences a testé si donner accès à ce registre historique à une IA l'aidait réellement à mieux écrire du code. Dans des tests où l'IA devait corriger du code brisé par une mise à jour logicielle, l'IA a performé de manière significative lorsqu'elle pouvait consulter ce registre. Sans aide, l'IA réussissait à corriger le code correctement moins de la moitié du temps. Lorsqu'on lui fournissait le registre historique, son taux de réussite bondissait à près de 70 %, surpassant même les performances obtenues lorsqu'on lui donnait la documentation officielle de la nouvelle version du logiciel. Cela suggère que posséder un historique précis et spécifique à la version des changements est plus précieux pour une IA que de lire des instructions générales.

Le projet a également produit un benchmark, un ensemble de tests standardisés comprenant des milliers d'extraits de code, pour aider d'autres chercheurs à mesurer la capacité de leurs propres modèles d'IA à gérer ces changements de version. Les conclusions confirment que, bien que les modèles d'IA soient puissants, ils peinent face au rythme rapide de l'évolution logicielle à moins d'être équipés d'une carte fiable et à jour de ce qui existe et de ce qui a disparu. Le registre montre que le paysage des bibliothèques Python est bien plus fluide qu'on ne le pensait auparavant, avec des changements de rupture apparaissant fréquemment même dans les petites mises à jour. En fournissant une carte claire et de haute précision de ces changements, ce travail offre une base pour construire des assistants de codage plus intelligents capables de naviguer dans le monde évolutif du logiciel sans se perdre dans la dérive. Les données sont désormais ouvertes à tous, garantissant que la communauté puisse continuer à construire des outils qui suivent le mouvement constant du monde numérique.