PyPI API Drift: A Release-Level Record of Public API Changes in 1,872 Popular Python Libraries, with a Checker and a Benchmark for Version-Aware Code Generation

En el vasto y cambiante panorama del software moderno, Python se erige como un lenguaje dominante, impulsando desde la investigación científica hasta las aplicaciones web. Su fuerza reside en un ecosio masivo de herramientas preconstruidas, conocidas como librerías, que los desarrolladores pueden integrar en sus proyectos para gestionar tareas complejas sin tener que reinventar la rueda. Sin embargo, estas herramientas no son monumentos estáticos; son entidades vivas que evolucionan constantemente. Los desarrolladores las actualizan con frecuencia para corregir errores, mejorar la velocidad o añadir nuevas funciones. Al hacerlo, a veces eliminan o alteran silenciosamente los comandos e instrucciones específicas en las que confían los usuarios. Para los programadores humanos, realizar un seguimiento de estos cambios es un desafío manejable, que a menudo se resuelve leyendo las notas de la versión o consultando a colegas. Pero para la nueva generación de asistentes de inteligencia artificial que escriben código, esta evolución presenta un problema único y persistente. Estos modelos de IA han sido entrenados con archivos masivos de código de muchas épocas diferentes, aprendiendo a escribir instrucciones que eran correctas hace años pero que ahora pueden estar rotas. Sin una forma de saber exactamente qué versión de una herramienta tiene instalada un usuario, una IA podría sugerir con confianza un comando que ya no existe, provocando errores que detengan un proyecto.

Para resolver esto, un investigador llamado Pushkar Devanahalli Gopalakrishna ha creado un registro masivo y detallado de cómo cambian estas herramientas a lo largo del tiempo. El proyecto, llamado PyPI API Drift, actúa como un archivo histórico para 1,872 de las librerías de Python más populares. En lugar de intentar ejecutar y probar cada fragmento de código, lo cual sería imposiblemente lento y costoso, el investigador desarrolló un método para observar directamente los archivos digitales que componen estas librerías. Al examinar solo las partes necesarias de estos archivos, el sistema puede mapear exactamente qué comandos, funciones y configuraciones estaban disponibles en cada lanzamiento reciente de cada librería. Este proceso cubre más de 55,000 versiones específicas de software lanzadas entre 2021 y finales de 2026. El resultado es un libro de contabilidad preciso que rastrea cuándo se añadió una función específica, cuándo se renombró y cuándo se eliminó por completo. Crucialmente, el sistema distingue entre cosas que realmente han desaparecido y cosas que simplemente se han movido o cambiado de nombre, marcando cada entrada con un nivel de confianza para indicar qué tan seguro es el registro.

La escala de este cambio es significativa. El análisis reveló que aproximadamente el 13.4 por ciento de las actualizaciones menores de software, que a menudo se asumen como seguras y compatibles con versiones anteriores, contienen en realidad al menos un cambio que rompe el código existente. Aún más sorprendente es que alrededor del 64 por ciento de los saltos de versión mayor y casi el 30 por ciento de las versiones menores incluyen cambios que causarían que el código antiguo fallara. Estos datos desafían la suposición común de que las actualizaciones de software siguen un patrón de seguridad estricto y predecible. El investigador encontró que solo una pequeña fracción de las funciones eliminadas fueron oficialmente marcadas como "depreciadas" o "próximas a ser eliminadas" de una manera que las herramientas automatizadas pudieran detectar fácilmente. A menudo, las advertencias estaban ocultas en documentos de texto o mensajes condicionales que un programa informático no podía leer, dejando a los desarrolladores y a los asistentes de IA en la oscuridad hasta que el código fallaba.

Para demostrar que este registro es útil, el investigador construyó un conjunto de herramientas para probar su precisión y utilidad. Una herramienta actúa como un verificador que escanea el código para ver si utiliza comandos que ya no son válidos para una versión de software específica. Otra herramienta sirve como un sistema de consulta para los asistentes de IA, permitiéndoles consultar el historial de un comando antes de escribirlo. Lo más importante es que una serie de experimentos probaron si darle a una IA acceso a este registro histórico realmente ayudaba a escribir mejor código. En pruebas donde la IA tenía que reparar código roto por una actualización de software, la IA se desempeñó significamente mejor cuando pudo consultar este registro. Sin ayuda, la IA logró reparar el código correctamente menos de la mitad de las veces. Al contar con el registro histórico, su tasa de éxito saltó a casi el 70 por ciento, superando incluso cuando se le proporcionaba la documentación oficial de la nueva versión del software. Esto sugiere que tener un historial preciso y específico de versiones es más valioso para una IA que leer instrucciones generales.

El proyecto también produjo un benchmark, un conjunto de pruebas estandarizado de miles de fragmentos de código, para ayudar a otros investigadores a medir qué tan bien sus propios modelos de IA manejan estos cambios de versión. Los hallazgos confirman que, si bien los modelos de IA son poderosos, luchan con el ritmo rápido de la evolución del software a menos que estén equipados con un mapa fiable y actualizado de lo que existe y de lo que ha desaparecido. El registro muestra que el panorama de las librerías de Python es mucho más fluido de lo que se entendía anteriormente, con cambios que rompen la compatibilidad apareciendo frecuentemente incluso en actualizaciones pequeñas. Al proporcionar un mapa claro y de alta precisión de estos cambios, este trabajo ofrece una base para construir asistentes de codificación más inteligentes que puedan navegar el mundo evolutivo del software sin perderse en la deriva. Los datos están ahora abiertos para que cualquiera los use, asegurando que la comunidad pueda continuar construyendo herramientas que sigan el ritmo del movimiento constante del mundo digital.