SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
Het artikel introduceert SWE-Bench ProMax, een rigoureus gecureerde, meertalige benchmark van 170 grootschalige code-refactoringtaken die ontworpen zijn om de gebreken en verzadiging van bestaande evaluaties te overwinnen, waarmee wordt aangetoonid dat huidige frontier AI-agenten nog steeds worstelen met complexe, gedrag-preserverende software engineering-uitdagingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers leren om software engineers te worden. Jarenlang hebben wetenschappers deze "AI-coderingsagenten" getest door hen kleine, geïsoleerde puzzels te laten oplossen, zoals het schrijven van een enkele functie om twee getallen bij elkaar op te tellen. Het is alsof je een piloot test door hem een vliegtuig te laten taxiën op de landingsbaan. Maar echte software wordt niet regel voor regel gebouwd; het is een enorme, onderling verbonden stad van code waar het veranderen van één verkeersbord de noodzaak kan hebben om kaarten, verkeerslichten en dienstregelingen in de hele metropool bij te werken. De grote vraag die onderzoekers zich stellen is: Kunnen deze AI-agenten de rommelige, complexe realiteit aan van het herschrijven van enorme stukken software zonder iets kapot te maken? Dit is het domein van "code refactoring" — de kunst van het reorganiseren van de interne bedrading van een gebouw zonder de manier waarop de lichten voor de bewoners aangaan te veranderen.
Maak kennis met SWE-Bench ProMax, een nieuwe, super uitdagende test die ontworpen is om te zien of AI-agenten klaar zijn voor de grote competities. Eerdere tests waren als een videogame op de "Easy Mode", waarbij de AI vaak kon vertrouwen op het memoriseren van antwoorden of het oplossen van problemen die te simpel waren. De makers van deze nieuwe benchmark realiseerden zich dat als de tests te makkelijk zijn of slecht zijn ontworpen, de hoge scores van de AI slechts een illusie van intelligentie zijn. Daarom bouwden ze een "Hard Mode" hindernisbaan. Ze verzamelden 170 echte software-uitdagingen uit zeven verschillende programmeertalen (waaronder Python, Java, C++ en Rust). Dit zijn geen kleine reparaties; het zijn enorme verbouwingen waarbij de AI wijzigingen moet coördineren over gemiddeld 11,4 verschillende bestanden en meer dan 260 regels code moet herschrijven, terwijl hij tegelijkertijd ervoor moet zorgen dat de software exact hetzelfde functioneert als voorheen.
De resultaten zijn een reality check voor de AI-industrie. Toen de slimste, duurste AI-modellen in deze arena werden geworpen, behaalden ze de test niet. Het beste model slaagde erin slechts 41,2% van de taken op te lossen. Dit suggere than hoewel AI goed wordt in kleine klusjes, worstelt het nog steeds met de complexe, meerstaps coördinatie die vereist is voor echt software-engineering. Interessant genoeg toonde het paper aan dat meer geld uitgeven aan een model niet altijd betere resultaten opleverde; sommige goedkopere, open-source modellen presteerden bijna even goed als de dure reuzen. De belangrijkste reden dat de AI faalde? Het had de neiging een "partiële" werker te zijn. Het zou het hoofpprobleem wel oplossen, maar vergeten de ondersteunende bestanden bij te werken, zoals een lekkende leiding repareren maar vergeten de watermeter te informeren, waardoor het hele systeem faalt. Deze benchmark bewijst dat echt meesterschap in software engineering voor AI nog een werk in uitvoering is, wat een niveau van planning en cross-file coördinatie vereist dat huidige agenten nog niet volledig beheersen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.