MigrateLib: a tool for end-to-end Python library migration

Probleemstelling

Het migreren van softwarebibliotheken (het vervangen van één bibliotheek door een vergelijkbare alternatieve) is een tijdrovend en foutgevoelig proces. Het vereist dat ontwikkelaars de API's van beide bibliotheken begrijpen, equivalente API's mappen en de nodige code-transformaties uitvoeren. Bestaande geautomatiseerde technieken zijn vaak beperkt tot het vinden van API-mappings (het identificeren van equivalente functies) en stoppen daar; ze voeren de daadwerkelijke code-transformatie niet uit of ondersteunen slechts een beperkt aantal bibliotheken. Hoewel Large Language Models (LLMs) veelbelovend zijn voor code-generatie, ontbreekt er empirisch bewijs voor hun effectiviteit in volledige, end-to-end migraties, en zijn er praktische uitdagingen zoals het niet kennen van alle te migreren bestanden vooraf, het overslaan van code door LLMs, en het niet oplossen van afhankelijkheden (zoals asynchrone aanpassingen).

Methodologie

De auteurs benaderen het probleem in drie fasen, waarbij ze Python als studiecase gebruiken vanwege de rijke bibliotheek-ecosysteem:

Fase 1: Empirisch onderzoek naar LLM-capaciteiten

• Dataset: Gebruik van PyMigBench, een benchmark met 314 real-world Python-migraties (2.910 code-wijzigingen).
• Experiment: Drie LLMs (Llama 3.1, GPT-4o mini, GPT-4o) werden getest op het migreren van deze code.
• Evaluatie: De output van de LLMs werd vergeleken met de originele ontwikkelaars-migraties (ground truth) en getest met unit-tests.
• Resultaten Fase 1: GPT-4o presteerde het beste (57% volledig correcte migraties). De studie identificeerde vier kritieke uitdagingen voor een praktische tool:
  1. Bestanden die migratie nodig hebben, zijn niet altijd vooraf bekend.
  2. LLMs slaan vaak code over die niet direct gewijzigd hoeft te worden.
  3. Migraties kunnen afhankelijkheden beïnvloeden (bijv. het maken van functies asynchroon vereist dat alle aanroepers ook asynchroon worden).
  4. Versie-incompatibiliteiten tussen de projectbibliotheken en de door de LLM aangenomen versies.

Fase 2: Ontwikkeling van MigrateLib
Op basis van Fase 1 werd MigrateLib ontwikkeld, een command-line tool (CLI) die LLMs combineert met statische en dynamische analyse om de uitdagingen op te lossen. De workflow bestaat uit drie stappen:

1. Voorbereiding: MigrateLib stelt een virtuele omgeving in, voert tests uit voor een baseline, en identificeert automatisch alle bestanden die migratie nodig hebben. Dit gebeurt via statische analyse (import-statements) en dynamische analyse (runtime call graphs via profilers) om ook indirect gebruik te detecteren.
2. LLM Migratie: De geïdentificeerde bestanden worden naar de LLM gestuurd met een prompt die specifieke versies van bron- en doelbibliotheken specificeert.
3. Post-processing:
   • Merge skipped code: Als de LLM code overslaat, detecteert MigrateLib dit via diff-analyse en voegt de originele code terug (op voorwaarde dat het geen migratiegerelateerde wijzigingen betreft).
   • Infer async transformatie: Als functies asynchroon zijn gemaakt, zoekt MigrateLib via de call graph alle transitive aanroepers en maakt deze ook asynchroon, inclusief het aanpassen van tests (bijv. pytest.mark.asyncio).

Fase 3: Evaluatie van MigrateLib

• Setup: Evaluatie op 717 "gesimuleerde" migraties in 175 unieke, goed geteste Python-projecten (code coverage >80%). In tegenstelling tot Fase 1, werden hier geen bestaande developer-migraties gebruikt als ground truth, maar werden bron-bibliotheken geïdentificeerd en gemigreerd naar analoge doel-bibliotheken.
• Model: Alleen GPT-4o werd gebruikt vanwege de beste prestaties in Fase 1.
• Evaluatiemetrics: Correctheid gebaseerd op het behoud van unit-tests en de hoeveelheid handmatig werk dat nog nodig is (gemeten in Lines of Code - LOC).

Belangrijkste Bijdragen

1. Empirische studie: Een systematische analyse van de prestaties van LLMs bij bibliotheekmigraties, inclusief een gedetailleerde taxonomie van waar LLMs goed in zijn (bijv. hogere cardinaliteit, API-stijltransformaties) en waar ze falen (bijv. complexe asynchrone logica, configuratie-eisen).
2. MigrateLib Tool: Een open-source, end-to-end CLI-tool die volledige migraties automatiseert door LLMs te combineren met statische/dynamische analyse en post-processing. Het is de eerste tool die een volledige migratiecyclus voor willekeurige Python-bibliotheekparen ondersteunt.
3. Nieuwe Evaluatiemethode: Een schaalbare evaluatieframework voor gesimuleerde migraties dat geen ground-truth developer-wijzigingen vereist, waardoor evaluatie op grote schaal en op nieuwe projecten mogelijk is.

Resultaten

• Volledige Automatisering: MigrateLib slaagde erin om 32% van de 717 migraties volledig correct uit te voeren zonder enige menselijke interventie (alle tests bleven slagen).
• Verbetering door Post-processing: De post-processing stappen (merge skipped code en async inferentie) verhoogden de mediane correctheid van migraties van 65% (alleen LLM) naar 86%.
• Menselijke Inspanning: Voor de migraties die niet volledig automatisch werkten, bleek dat MigrateLib gemiddeld 73% van de benodigde code-wijzigingen automatisch uitvoerde. De ontwikkelaar hoefde slechts 27% van de wijzigingen handmatig te doen om de migratie te voltooien.
• Beperkingen: De tool faalde voornamelijk bij complexe projectlogica die diep contextbegrip vereist, mock-migraties in tests, configuratie-aanpassingen (bijv. Python-versies), en migraties waarbij meerdere afhankelijkde bibliotheken tegelijk moeten worden aangepast.

Betekenis

Dit paper toont aan dat LLMs, wanneer ze worden ingebed in een robuust engineering-framework met statische en dynamische analyse, zeer effectief kunnen zijn voor het automatiseren van complexe software-engineeringtaken zoals bibliotheekmigratie. MigrateLib verlaagt de drempel voor het uitvoeren van grootschalige migraties in real-world projecten aanzienlijk. Hoewel de tool nog niet 100% van de gevallen volledig kan oplossen zonder menselijke tussenkomst, reduceert het de inspanning van ontwikkelaars drastisch (tot minder dan een derde van de totale wijzigingen), wat het een krachtig hulpmiddel maakt voor het onderhouden van moderne software-ecosystemen.