MigrateLib: a tool for end-to-end Python library migration

1. Problématique

La migration de bibliothèques logicielles consiste à remplacer une bibliothèque utilisée dans un projet par une alternative offrant des fonctionnalités similaires. Ce processus manuel est long, fastidieux et sujet aux erreurs, car il nécessite de comprendre les API des deux bibliothèques, de mapper les équivalences et d'effectuer des transformations de code complexes.

Les solutions automatisées existantes se limitent souvent à l'étape de mapping des API (trouver l'équivalent d'une fonction) sans effectuer la transformation du code réel. De plus, les rares outils qui tentent la transformation sont souvent évalués sur de petits ensembles de données ou ne sont pas généralisables. Bien que les Modèles de Langage à Grande Échelle (LLM) aient montré des capacités prometteuses en génération et transformation de code, leur fiabilité pour une migration complète et autonome (end-to-end) n'avait pas été suffisamment évaluée empiriquement.

2. Méthodologie

Les auteurs ont structuré leur recherche en trois phases distinctes pour concevoir et évaluer leur outil, MigrateLib :

Phase 1 : Exploration empirique des LLMs

• Objectif : Évaluer les capacités et les limites des LLMs pour la migration de bibliothèques.
• Données : Utilisation de PyMigBench, un benchmark de 314 migrations réelles de bibliothèques Python.
• Modèles testés : Llama 3.1, GPT-4o mini et GPT-4o.
• Méthode : Les auteurs ont demandé aux LLMs de migrer le code en utilisant un prompt spécifique. Ils ont comparé les résultats avec les migrations effectuées par les développeurs humains (vérité terrain) et ont exécuté des tests unitaires pour vérifier la correction fonctionnelle.
• Résultats préliminaires : GPT-4o a obtenu les meilleurs résultats (57% de migrations correctes), mais des défis majeurs ont été identifiés :
  1. Difficulté à identifier tous les fichiers à migrer sans connaissance préalable.
  2. Les LLMs omettent souvent des parties du code non modifiées (retour de code incomplet).
  3. Ignorance des dépendances transitives (ex: si une fonction devient asynchrone, ses appelants doivent aussi le devenir).
  4. Problèmes de compatibilité des versions de bibliothèques.

Phase 2 : Conception et développement de MigrateLib

Pour surmonter les défis de la Phase 1, les auteurs ont développé MigrateLib, une application en ligne de commande (CLI) qui combine les LLMs avec l'analyse statique et dynamique. Le processus se déroule en trois étapes :

1. Préparation (Analyse Statique/Dynamique) :
   • Configuration d'un environnement virtuel.
   • Identification automatique de tous les fichiers nécessitant une migration en analysant les imports et en construisant un graphe d'appels dynamique via l'exécution des tests.
2. Migration par LLM :
   • Envoi des fichiers identifiés au LLM (GPT-4o) avec un prompt incluant les versions spécifiques des bibliothèques source et cible.
3. Post-traitement (Correction des limites des LLMs) :
   • Fusion du code sauté : Analyse des différences (diff) pour réinjecter automatiquement les blocs de code que le LLM a omis.
   • Inférence asynchrone : Détection des fonctions devenues asynchrones et mise à jour automatique de tous leurs appelants transitoires (ajout de async/await) et des décorateurs de tests correspondants.
   • Validation finale par exécution des tests unitaires.

Phase 3 : Évaluation à grande échelle

• Méthode : Évaluation sur 717 scénarios de migration "simulés" dans 175 projets Python réels (non présents dans le benchmark initial).
• Critère de succès : Une migration est considérée comme réussie si tous les tests unitaires passent après la migration, sans intervention humaine.
• Analyse manuelle : Pour les migrations incomplètes, les auteurs ont sélectionné un échantillon pour estimer l'effort manuel restant nécessaire.

3. Contributions Clés

1. Étude empirique approfondie : Une analyse systématique de 314 migrations réelles montrant que les LLMs peuvent gérer des changements de cardinalité complexes (ex: 1 vers plusieurs API) mais échouent sur des aspects contextuels et structurels.
2. MigrateLib (Outil Open Source) : Le premier outil capable de gérer le cycle complet de migration de bibliothèque Python, de l'identification des fichiers à la validation des tests, en intégrant des mécanismes de post-traitement pour corriger les lacunes des LLMs.
3. Nouvelle méthodologie d'évaluation : Une approche basée sur des migrations simulées et des tests unitaires, permettant d'évaluer la migration sur un grand nombre de projets sans avoir besoin de connaître la "vérité terrain" (le code final des développeurs).

4. Résultats

• Taux de réussite autonome : MigrateLib réussit à migrer 32 % des scénarios (233 sur 717) avec une correction totale (100% des tests passent) sans aucune intervention humaine.
• Amélioration par post-traitement : Les étapes de post-traitement (fusion de code et inférence asynchrone) augmentent significativement la justesse des migrations :
  • Justesse médiane après LLM seul : 65 %.
  • Justesse médiane après fusion de code : 80 %.
  • Justesse médiane après inférence asynchrone : 86 %.
• Effort manuel résiduel : Pour les migrations qui nécessitent une intervention humaine, MigrateLib effectue en moyenne 73 % des changements de code. L'effort manuel restant se limite à 27 % des modifications (souvent des ajustements contextuels ou des mises à jour de tests).
• Limites identifiées : L'outil peine encore dans les cas de logique métier complexe, de refactorisation de classes publiques, de gestion de mocks dans les tests, et de migrations impliquant plusieurs bibliothèques interdépendantes.

5. Signification et Impact

Ce travail démontre que l'automatisation complète de la migration de bibliothèques est réalisable avec une combinaison intelligente de LLMs et d'analyses de programme traditionnelles.

• Réduction de la charge de travail : MigrateLib réduit considérablement l'effort humain, transformant une tâche complexe en une série d'éditions mineures pour les développeurs.
• Approche pratique : Contrairement aux recherches précédentes qui se limitaient au mapping théorique, MigrateLib fournit un outil fonctionnel applicable à des projets réels.
• Futur de l'ingénierie logicielle : L'article valide l'utilisation des LLMs non pas comme une solution magique unique, mais comme un moteur central qui doit être orchestré par des outils d'analyse statique et dynamique pour garantir la fiabilité dans des tâches critiques de maintenance logicielle.

En conclusion, MigrateLib abaisse la barrière d'entrée pour les migrations de bibliothèques à grande échelle, offrant une solution robuste et accessible pour la communauté du développement Python.