ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java
Dieser Beitrag stellt ScarfBench vor, einen umfassenden Benchmark zur Bewertung der Fähigkeit von KI-Coding-Agenten, verhaltenserhaltende Framework-Übergänge von Enterprise-Java-Anwendungen zwischen Spring, Jakarta EE und Quarkus durchzuführen, und zeigt, dass aktuelle State-of-the-Art-Modelle bei dieser komplexen Refactoring-Aufgabe erhebliche Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen ein sehr altes, solide gebautes Haus. Es wird seit Jahrzehnten bewohnt und funktioniert für die darin lebende Familie perfekt. Doch die Nachbarschaft verändert sich. Die alten Straßen (das alte Software-Framework) werden überpflastert, und neue, schnellere Autobahnen (moderne Frameworks) werden gebaut. Die Familie möchte ihre Möbel umziehen und ihren täglichen Ablauf genau so beibehalten, muss aber in ein Haus einziehen, das auf einem völlig anderen Fundament steht und über andere Wasserleitungen, elektrische Leitungen und Türklinken verfügt.
Dies ist das Problem, das SCARFBENCH zu lösen versucht.
Das Problem: Ein Haus umziehen, nicht nur streichen
In der Welt der Computersoftware betreiben viele große Unternehmen ihre Systeme auf „Java", einer beliebten Programmiersprache. Diese Systeme basieren oft auf drei spezifischen „Frameworks" (denken Sie daran als verschiedene Architekturstile oder Baupläne): Spring, Jakarta EE und Quarkus.
Im Laufe der Zeit möchten Unternehmen von einem Stil auf einen anderen wechseln, um Geld zu sparen oder schneller zu laufen. Doch man kann nicht einfach die Farbe wechseln. Man muss das gesamte Haus umziehen.
- Die Herausforderung: Es geht nicht nur darum, ein paar Wörter zu ändern. Man muss neu verlegen, wie das Haus verkabelt ist, wie die Türen aufgehen und wie das Wasser fließt, und dabei sicherstellen, dass die Familie im Inneren keinen einzigen Unterschied in ihrem täglichen Leben bemerkt.
- Der aktuelle Stand: Experten sagen, dies sei unglaublich schwierig. Bislang hatte niemand eine gute Möglichkeit, zu testen, ob Künstliche Intelligenz (KI) diesen Job erledigen könnte.
Die Lösung: SCARFBENCH (Der „Umzugstest")
Die Autoren haben einen riesigen Test namens SCARFBENCH erstellt. Denken Sie daran als einen „Umzugssimulator" für Software.
- Das Setup: Sie nahmen 34 verschiedene „Häuser" (Softwareanwendungen), die in einem Stil gebaut waren (z. B. Spring).
- Das Ziel: Sie forderten KI-Agenten (intelligente Computerprogramme) auf, diese exakt gleichen Häuser in einem anderen Stil (z. B. Quarkus oder Jakarta) wieder aufzubauen, wobei der tägliche Ablauf der Familie (das Verhalten der Software) exakt gleich bleiben musste.
- Der Beweis: Sie fragten die KI nicht einfach: „Haben Sie fertig?" Sie bauten eine strenge „Mündliche Prüfung" (eine Testsuite). Das neue Haus musste:
- Den Bauinspektor bestehen (kompilieren).
- Das Licht und das Wasser einschalten (bereitstellen/deployen).
- Die Familie durch die Haustür gehen lassen, im Wohnzimmer sitzen und den Fernseher genau so einschalten wie zuvor (Bestehen der Verhaltens tests).
Die Ergebnisse: Die KI lernt noch, wie man umzieht
Die Forscher testeten fünf der intelligentesten KI-Coding-Agenten, die heute verfügbar sind. Hier ist, was sie fanden:
- Die Punktzahl ist niedrig: Selbst die beste KI schaffte es, nur etwa 12 % bis 15 % der Häuser perfekt umzuziehen.
- Die Falle des „falschen Erfolgs": Viele KIs konnten ein Haus bauen, das auf dem Papier gut aussah und sogar das Licht einschaltete (es kompilierte und wurde bereitgestellt), aber als die Familie es nutzen wollte, gingen die Türen nicht auf oder das Wasser floss nicht. Die KI konnte die Wörter des Bauplans übersetzen, verstand aber nicht die Logik des Hauses.
- Einige Umzüge sind schwieriger: Der Umzug von einem Stil in einen anderen war einfacher als in andere. Der Umzug in den Jakarta-Stil war am schwierigsten; die KI scheiterte in mehr als der Hälfte der Versuche sogar daran, das Haus zu bauen (zu kompilieren).
- Ein Erfolg: Von 204 verschiedenen Umzugsaufgaben wurde nur eine von einer KI perfekt abgeschlossen, wobei das neue Haus exakt wie das alte funktionierte.
Warum das wichtig ist
Dieser Artikel sagt nicht, dass KI nutzlos ist. Er sagt, dass KI, während sie gut darin wird, Code zu schreiben, immer noch schrecklich darin ist, komplexe Systeme neu zu architektonieren. Es ist wie ein Roboter, der ein Gedicht schreiben kann, aber wenn man ihn bittet, Ihre gesamte Küche in ein neues Haus zu verlegen und den Kühlschrank funktionstüchtig zu halten, stellt er den Kühlschrank vielleicht ins Schlafzimmer.
Die Autoren veröffentlichten diesen „Umzugssimulator" (den Benchmark), damit andere Forscher ihn nutzen können, um KI beizubringen, diese komplexen Umzüge in Zukunft besser zu bewältigen. Sie sagen im Wesentlichen: „Hier ist ein Maßstab; nutzen Sie ihn, um zu sehen, ob Ihre neue KI tatsächlich das Haus umziehen kann und nicht nur die Wände streicht."
Kurz gesagt: SCARFBENCH ist eine Realitätsprüfung. Es zeigt, dass KI zwar großartig bei kleinen Aufgaben ist, der Umzug ganzer Softwaresysteme von einem modernen Framework zu einem anderen, ohne sie zu beschädigen, jedoch immer noch eine Aufgabe ist, die ein menschliches Verständnis erfordert, und die aktuelle KI dies noch nicht ganz erreicht hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.