Technische Samenvatting: MigrationBench

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijk succes hebben bewezen in codegeneratie en het oplossen van geïsoleerde problemen, blijven hun capaciteiten voor repository-level code-migratie onderbeoordeeld. In tegenstelling tot taken die zich richten op enkele functies of bestanden, vereist code-migratie een holistische aanpak om verweven problemen in een hele codebase te navigeren, vooral bij het upgraden van legacy-systemen. Specifiek ontbreekt het aan grote, hoogwaardige benchmarkdatasets die zijn ontworpen om de migratie van Java 8-repositories naar moderne Long-Term Support (LTS)-versies (Java 17 en 21) te beoordelen. Bestaande benchmarks richten zich vaak op codegeneratie, vertaling tussen talen of onderhoudstaken op kleine schaal, en slagen er niet in om de complexiteit en schaal van real-world migratiescenario's vast te leggen die duizenden regels code en complexe afhankelijkheidstruien omvatten.

Methodologie

1. Dataset Cureren (MigrationBench)

De auteurs introduceren MigrationBench, de eerste grootschalige benchmark voor repository-migratie van Java. Het curatieproces omvatte een rigoureuze, meerstaps filterpijplijn toegepast op GitHub-repositories:

• Initiële Filtering: Repositories werden gefilterd op licentie (MIT/Apache 2.0), kwaliteit (minimaal 3 sterren) en buildtool (Maven).
• Compatibiliteitsverificatie: Het team identificeerde een "base commit" ($H_b$) voor elke repository waar de code succesvol bouwt en tests doorstaat onder Java 8. Dit omvatte het verifiëren van pom.xml-configuraties, het waarborgen dat geen hard-gecodeerde Java 8-versies incompatibel waren met het doel, en het valideren dat de gecompileerde class major-versies 52 waren (Java 8).
• De-duplicatie: Repositories werden gededupliceerd op basis van exacte overeenkomsten van bestands-hashes en inhoud.
• Testvereiste: Repositories werden gepartitioneerd in een Full-dataset (5.102 repositories met unit-tests) en een UTG-subset (4.814 repositories zonder tests). De Full-dataset dient als primaire benchmark voor migratie-evaluatie.
• Geselecteerde Subset: Een representatieve subset van 300 repositories (selected) werd gecreëerd uit de Full-dataset. Deze subset legt de nadruk op grotere, multi-module repositories om de diversiteit en ingewikkeldheid van real-world migratie-uitdagingen beter te reflecteren.

2. Evaluatiekader

Vanwege het ontbreken van ground-truth doel-repositories, stellen de auteurs een geautomatiseerd evaluatiekader voor op basis van Benaderende Functionele Equivalentie (FE):

• Minimale Migratie: Gedefinieerd door vier criteria:
  1. Bouwsucces: mvn clean verify slaagt onder Java 17.
  2. Versievalidatie: Gecompileerde classes hebben een major-versie van 61 (Java 17).
  3. Invariantheid Testmethodes: Testmethodes (gemarkeerd met @Test) worden niet hernoemd, gedeactiveerd of verwijderd (geverifieerd via AST-parsing).
  4. Invariantheid Aantal Tests: Het aantal testcases neemt niet af.
• Maximale Migratie: Bouwt voort op minimale migratie door een vijfde criterium toe te voegen:
  5. Modernisering Afhankelijkheden: Alle afhankelijkheden worden geüpgraded naar hun laatste stabiele major-versies die beschikbaar zijn op Maven Central (per november 2024).

3. Agentische Frameworks

Het paper evalueert verschillende agent-gebaseerde benaderingen met behulp van het Strands agent-framework en Claude-4.5-Sonnet:

• Baseline (Strands Agent): Uitgerust met shell- en bewerkingshulpmiddelen om code te migreren en ervoor te zorgen dat mvn clean verify slaagt.
• Prompt Engineering (PE) Agent: Verrijkt met systeemprompts die de agent expliciet instrueren om alle afhankelijkheden te upgraden naar hun laatste major-versies.
• RAG Agent: Integreert een Retrieval-Augmented Generation-benadering waarbij de agent een externe kennisbank van afhankelijkheden raadpleegt om de juiste laatste versies te identificeren.
• Hybride Aanpak: Combineert statische code-analyse (deterministisch upgraden van afhankelijkheden) met de LLM-agent. Het statische hulpmiddel verzorgt versie-upgrades, en de agent lost resulterende build-fouten en compatibiliteitsproblemen op.

Belangrijkste Bijdragen

1. MigrationBench Dataset: De introductie van de eerste grootschalige benchmark voor repository-level code-migratie, bestaande uit 5.102 repositories (Full) en een gecureerde subset van 300 repositories (Selected).
2. Evaluatiekader: Een uitgebreid, geautomatiseerd kader voor het beoordelen van migratiesucces via minimale en maximale criteria, dat het gebrek aan ground truth in migratietaken aanpakt.
3. Agentische Oplossingen: De voorstelling en evaluatie van een agentische workflow voor code-migratie, inclusief een nieuwe Hybride Aanpak die statische analyse combineert met LLM-resoneren om de efficiëntie te verbeteren.
4. Open Bronnen: De vrijgave van de dataset, de broncode voor evaluatie en gedetailleerde agenttrajecten (inclusief tussentijdse beslissingen en faalmodi) om reproduceerbaarheid en toekomstig onderzoek te ondersteunen.

Experimentele Resultaten

Experimenten werden uitgevoerd op de selected-subset (300 repositories) met behulp van het Strands agent-framework en Claude-4.5-Sonnet.

• Minimale Migratie: De baseline Strands-agent behaalde een 71,67% slagingspercentage (pass@1) voor minimale migratie.
• Maximale Migratie:
  • De baseline-agent behaalde slechts 15,33% slagingspercentage.
  • Het toevoegen van Prompt Engineering (PE) verhoogde de effectiviteit tot 45,67%.
  • Het integreren van RAG verbeterde de effectiviteit verder tot 53,33%.
  • De Hybride Aanpak kwam overeen met de effectiviteit van de RAG-agent van 53,33%, terwijl het gemiddelde aantal LLM-aanroepen per repository werd verlaagd (52,55 versus 59,22), wat een gunstige afweging tussen kosten en efficiëntie aantoont.
• Modelvergelijking: Bij toepassing van de Hybride Aanpak op andere modellen (DeepSeek-V3.1, Qwen3-Coder-480B, GLM-5) bleef Claude-4.5-Sonnet het meest effectief, hoewel andere modellen verschillende mate van succes lieten zien (bijvoorbeeld GLM-5 behaalde 45,33%).
• Compilatie versus Verificatie: Het uitschakelen van unit-tests (alleen vertrouwen op mvn clean compile) verhoogde de effectiviteit van minimale migratie van 71,67% naar 97,67%, wat de kritieke rol van test suites in het valideren van functionele equivalentie benadrukt.

Betekenis en Claims

Het paper positioneert MigrationBench als een cruciale resource voor het bevorderen van onderzoek in software-engineering en LLM-capaciteiten. De auteurs beweren dat:

• Complexiteitskloof: Migratietaken een aanzienlijk hoger niveau van moeilijkheid presenteren dan codegeneratie of het oplossen van geïsoleerde problemen, en een holistisch repository-begrip vereisen.
• Haalbaarheid: LLM's, met name wanneer ze worden geleid door agentische workflows en externe kennis (RAG) of hybride statische analyse, repository-level migratie van Java 8 naar Java 17 effectief kunnen aanpakken.
• Standaardisatie: Het voorgestelde evaluatiekader biedt een rigoureuze, gestandaardiseerde methode voor het beoordelen van migratiesucces, die verder gaat dan eenvoudige compilatiecontroles door modernisering van afhankelijkheden en behoud van tests op te nemen.
• Toekomstige Richting: De vrijgave van agenttrajecten en de UTG-subset opent nieuwe wegen voor het bestuderen van agentbeperkingen, faalmodi en het genereren van unit-tests voor legacy-code.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van bestaande testcoverage (wat geen volledige functionele equivalentie voor niet-geteste code kan garanderen) en potentiële reproduceerbaarheidsproblemen door Maven Central-throttling tijdens grootschalige datacollectie. Ze handhaven echter dat MigrationBench een robuuste basis biedt voor systematische en reproduceerbare evaluatie van code-migratiemethoden.