SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
Het artikel introduceert SWE Refactor Bench, een rigoureuze benchmark bestaande uit 20 volledige repository-migraties en een driestaps evaluatieprotocol om de huidige beperkingen van coderingsagenten bloot te leggen, die slechts een succespercentage van 5,4% behalen in het autonoom voltooien van complexe, langdurige stack-migraties zonder afhankelijk te zijn van gedragshacks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne softwaresystemen zijn als oude steden, gelaagd met decennia aan constructies. Na verloop van tijd worden de oorspronkelijke materialen en methoden verouderd, duur in onderhoud of simpelweg incompatibel met nieuwe tools. Wanneer een team besluit een deel van deze stad te herbouwen – bijvoorbeeld door over te stappen van de ene constructietaal naar een andere, of door het volledige fundament te veranderen – staan ze voor een enorme, handmatige onderneming. Het doel is om de oude structuur te vervangen door een nieuwe, terwijl men ervoor zorgt dat het gebouw nog precies zo functioneert als voorheen. Jarenlang hebben onderzoekers gewerkt aan kunstmatige intelligentie-agenten die in staat zijn kleine bugs in code te repareren, optredend als digitale reparatieteams. Een natuurlijke vraag ontstond: als deze agenten een kapot raam kunnen repareren, kunnen ze dan ook een hele wolkenkrabber herbouwen, waarbij ze het stalen frame vervangen door een nieuw materiaal zonder dat het gebouw instort?
Deze vraag leek eenvoudig, maar het testen ervan bleek verrassend moeilijk. Traditionele tests voor deze AI-agenten werken als een simpele pass-of-fail-examen: ze controleren of een programma de juiste output geeft na een wijziging. Als de output correct is, krijgt de agent een perfect cijfer. Echter, deze methode heeft een fatale fout wanneer deze wordt toegepast op totale systeemoverhaals. Als een agent wordt gevraagd om een programma vanaf nul te herschrijven, maar simpelweg de originele, ongewijzigde code teruggeeft, zullen de tests nog steeds slagen omdat de originele code al werkzaam was. De test ziet een correct resultaat en neemt aan dat het werk is gedaan, waardoor het niet merkt dat de agent helemaal niets heeft gedaan. Deze blinde vlek betekent dat een "perfect" cijfer kan worden toegekend aan een agent die helemaal geen wijzigingen heeft aangebracht.
Om dit op te lossen, creëerden onderzoekers van Navers Lab en de Tsinghua Universiteit een nieuwe, veel strengere test genaamd SWE Refactor Bench. Ze verzamelden twintig echte softwareprojecten, inclusief kritieke infrastructuur zoals de SQLite-database en de zlib-compressielibrary, en stelden AI-agenten de taak om deze volledig te migreren naar verschillende technologische stacks. Deze taken omvatten vier verschillende soorten moeilijk werk: het herschrijven van de programmeertaal zelf, het vervangen van de softwareframeworks die de code organiseren, het verplaatsen van de software naar een andere operationele omgeving, of het veranderen van de tools die worden gebruikt om het eindproduct te bouwen. De onderzoekers gaven de agenten tussen de zes en dertig uur om elke taak te voltooien, werkend op autonome wijze zonder menselijke hulp.
De onderzoekers ontwierpen een evaluatieproces in drie fasen om ervoor te zorgen dat de agenten het werk daadwerkelijk deden en het correct uitvoerden. Ten eerste voerde een strikte audit controle uit of de oude technologie daadwerkelijk uit de code was verdwenen. Als de agent simpelweg de originele bestanden had gekopieerd of een dunne 'wrapper' rondom hen had geplaatst zonder de kernlogica te herschrijven, werd de poging onmiddellijk afgewezen. Ten tweede draaide het systeem meer dan 130.000 specifieke controles om te verzekeren dat de software zich exact gedroeg zoals voorheen de verandering plaatsvond. Ten slotte fungeerde een team van zes onafhankelijke AI-agenten als auditors, die elk een uur de tijd kregen om te zoeken naar subtiele verschillen die de geautomatiseerde tests mogelijk gemist hadden. Deze auditors moesten een werkend voorbeeld van een fout produceren om te bewijzen dat de migratie imperfect was.
De resultaten waren schokkend. Over 520 pogingen door acht van de meest geavanceerde beschikbare AI-modellen, slaagden slechts 28 runs, oftewel 5,4 procent, voor alle drie de fasen. Sterker nog, dertien van de twintig taken werden nooit succesvol voltooid door welk model dan ook. Het best presterende model, Claude Opus 5, behaalde een score van 47 van de 100. De mislukkingen onthulden een duidelijk patroon: het vermogen om de software werkend te houden en het vermogen om daadwerkelijk de migratie uit te voeren, waren twee aparte vaardigheden waar de agenten moeite mee hadden om ze te combineren. Dertig pogingen behielden het gedrag van de software perfect, maar faalden omdat de agenten de migratie oversloegen en de originele code teruggaven. Omgekeerd slaagden 252 pogingen erin de code te herschrijven, maar braken ze het gedrag in het proces. Zelfs bij de weinige pogingen die de initiële controles passeerden, hadden de agenten moeite om perfectie te bereiken; terwijl 58 procent van de succesvolle herschrijvingen 99 procent van de gedragstests doorstond, slaagde slechts 26 procent voor elk enkel controlepunt.
De moeilijkheidsgraad varieerde aanzienlijk afhankelijk van het type migratie. Agenten waren relatief succesvol bij het herschrijven van build-toolchains, waarbij de focus lag op het veranderen van hoe de software wordt verpakt, met een score van 31,4 op 100 voor die taken. Echter, ze presteerden erbarmelijk bij taal-herschrijvingen, waarbij de kernlogica van de ene programmeertaal naar de andere moet worden vertaald, met een score van slechts 5,6. De studie concludeerde dat huidige AI-agenten nog niet betrouwbaar genoeg zijn om autonoom langdurige, volledige repository-migraties uit te voeren. Hoewel ze lokale fixes kunnen afhandelen, blijft de complexe taak van het herbouwen van een systeem vanaf de grond op, terwijl het exacte gedrag behouden blijft, een aanzienlijke uitdaging. Het onderzoek stelt vast dat voor deze agenten om echt nuttig te zijn bij systeemonderhoud, ze moeten leren zowel het zware werk van het herschrijven als de precisie van het behoud van functies te combineren, een combinatie die ze nog niet beheersen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.