ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java
Dit artikel introduceert ScarfBench, een uitgebreide benchmark voor het evalueren van het vermogen van AI-coderingsagenten om gedragsbehoudende cross-framework-migraties van enterprise Java-toepassingen uit te voeren tussen Spring, Jakarta EE en Quarkus, en onthult dat de huidige state-of-the-art-modellen aanzienlijk moeite hebben met deze complexe refactoreringstak.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer oud, degelijk gebouwd huis voor. Het is decennialang bewoond geweest en werkt perfect voor het gezin erin. Maar de wijk verandert. De oude wegen (het oude softwarekader) worden opgebroken en er worden nieuwe, snellere snelwegen (moderne kaders) aangelegd. Het gezin wil hun meubels verhuizen en hun dagelijkse routine exact hetzelfde houden, maar ze moeten verhuizen naar een huis dat is gebouwd op een volledig andere fundering, met andere leidingen, elektrische bedrading en deurklinken.
Dit is het probleem dat SCARFBENCH probeert op te lossen.
Het Probleem: Een Huis Verhuizen, Niet Alleen Spuiten
In de wereld van computersoftware draaien veel grote bedrijven hun systemen op "Java", een populaire programmeertaal. Deze systemen zijn vaak gebouwd op drie specifieke "kaders" (denk hierbij aan verschillende architecturale stijlen of blauwdrukken): Spring, Jakarta EE en Quarkus.
Na verloop van tijd willen bedrijven overstappen van de ene stijl naar de andere om geld te besparen of sneller te werken. Maar je kunt niet zomaar de verf verwisselen. Je moet het hele huis verhuizen.
- De Uitdaging: Het gaat niet alleen om het veranderen van een paar woorden. Je moet herschrijven hoe het huis is bedraad, hoe de deuren openen en hoe het water stroomt, terwijl je er tegelijkertijd voor zorgt dat het gezin erin geen enkel verschil merkt in hun dagelijkse leven.
- De Huidige Stand: Experts zeggen dat dit ongelooflijk moeilijk is. Tot nu toe had niemand een goede manier om te testen of Kunstmatige Intelligentie (KI) deze klus kon klaren.
De Oplossing: SCARFBENCH (De "Verhuistest")
De auteurs hebben een enorme test gecreëerd genaamd SCARFBENCH. Denk hierbij aan een "Verhuissimulator" voor software.
- De Opstelling: Ze namen 34 verschillende "huizen" (softwaretoepassingen) die in de ene stijl waren gebouwd (bijvoorbeeld Spring).
- Het Doel: Ze vroegen KI-agenten (slimme computerprogramma's) om deze exacte huizen opnieuw te bouwen in een andere stijl (bijvoorbeeld Quarkus of Jakarta), waarbij ze de dagelijkse routine van het gezin (het gedrag van de software) exact hetzelfde hielden.
- Het Bewijs: Ze vroegen de KI niet alleen: "Heb je het af?" Ze bouwden een strenge "Mondeling Examen" (een testsuite). Het nieuwe huis moest:
- De bouwinspecteur passeren (compileren).
- Het licht en het water laten werken (deployen).
- Het gezin toelaten om door de voordeur te lopen, in de woonkamer te zitten en de tv aan te zetten, precies zoals ze dat eerder deden (gedragstests doorstaan).
De Resultaten: De KI Leert Nog Steeds Om Te Verhuizen
De onderzoekers testten vijf van de slimste KI-coderingsagenten die vandaag de dag beschikbaar zijn. Dit is wat ze ontdekten:
- De Score is Laag: Zelfs de beste KI slaagde er slechts in ongeveer 12% tot 15% van de huizen perfect te verhuizen.
- De Valstrik van "Valse Succes": Veel KI's konden een huis bouwen dat er op papier goed uitzag en zelfs het licht liet branden (het compileerde en werd gedeployed), maar toen het gezin het probeerde te gebruiken, gingen de deuren niet open of stroomde het water niet. De KI kon de woorden van de blauwdruk vertalen, maar begreep de logica van het huis niet.
- Sommige Verhuizingen Zijn Moeilijker: Van de ene stijl naar de andere verhuizen was makkelijker dan andere. Verhuizen naar de Jakarta-stijl was het moeilijkst; de KI slaagde er in meer dan de helft van de pogingen niet eens in om het huis te bouwen (compileren).
- Eén Succes: Van de 204 verschillende verhuistaken werd slechts één perfect voltooid door een KI, waarbij het nieuwe huis exact zoals het oude werkte.
Waarom Dit Belangrijk Is
Dit artikel zegt niet dat KI nutteloos is. Het zegt dat terwijl KI goed wordt in het schrijven van code, het nog steeds vreselijk slecht is in het herarchitectureren van complexe systemen. Het is alsof je een robot hebt die een gedicht kan schrijven, maar als je vraagt om je hele keuken naar een nieuw huis te verhuizen en de koelkast werkend te houden, zet hij de koelkast misschien in de slaapkamer.
De auteurs hebben deze "Verhuissimulator" (de benchmark) vrijgegeven zodat andere onderzoekers het kunnen gebruiken om KI in de toekomst beter te leren hoe ze deze complexe verhuizingen moeten uitvoeren. Ze zeggen in feite: "Hier is een meetlat; gebruik deze om te zien of je nieuwe KI het huis daadwerkelijk kan verhuizen, en niet alleen de muren kan schilderen."
Kortom: SCARFBENCH is een realiteitscheck. Het toont aan dat terwijl KI geweldig is in kleine taken, het verplaatsen van volledige softwaresystemen van het ene moderne kader naar het andere zonder ze te breken, nog steeds een taak is die menselijk begrip vereist, en dat de huidige KI daar nog niet helemaal is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.