SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
Das Papier stellt SWE Refactor Bench vor, einen anspruchsvollen Benchmark mit 20 Repository-weiten Migrationen und einem dreistufigen Evaluierungsprotokoll, um die aktuellen Einschränkungen von Coding-Agenten aufzuzeigen, die eine Erfolgsquote von nur 5,4 % bei der autonomen Durchführung komplexer, langfristiger Stack-Migrationen ohne Rückgriff auf Verhaltens-Hacks erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne Softwaresysteme gleichen antiken Städten, die über Jahrzehnte hinweg mit Schichten von Konstruktionen gewachsen sind. Im Laufe der Zeit werden die ursprünglichen Materialien und Methoden veraltet, teuer in der Wartung oder schlichtweg inkompatibel mit neuen Werkzeugen. Wenn ein Team beschließt, einen Teil dieser Stadt umzubauen – etwa den Wechsel von einer Konstruktionssprache zu einer anderen oder das Ändern des gesamten Fundaments –, steht es vor einer massiven, manuellen Aufgabe. Das Ziel ist es, die alte Struktur durch eine neue zu ersetzen und gleichzeitig sicherzustellen, dass das Gebäude exakt so funktioniert wie zuvor. Jahrelang haben Forscher an künstlichen Intelligenz-Agenten gearbeitet, die in der Lage sind, kleine Fehler im Code zu beheben, und damit wie digitale Reparaturtrupps agieren. Eine natürliche Frage stellte sich: Wenn diese Agenten ein zerbrochenes Fenster reparieren können, können sie dann auch einen ganzen Wolkenkratzer neu errichten und dabei das Stahlskelett durch ein neues Material ersetzen, ohne dass das Gebäude einstürzt?
Diese Frage schien unkompliziert, doch die Testung erwies sich als überraschend schwierig. Traditionelle Tests für diese KI-Agenten funktionieren wie eine einfache Bestehen-oder-Nicht-Bestehen-Prüfung: Sie prüfen, ob ein Programm nach einer Änderung die richtige Ausgabe liefert. Wenn die Ausgabe korrekt ist, erhält der Agent eine perfekte Punktzahl. Dieses Verfahren hat jedoch einen fatalen Makel, wenn es auf totale Systemüberholungen angewendet wird. Wenn ein Agent angewiesen wird, ein Programm von Grund auf neu zu schreiben, aber stattdessen einfach den ursprünglichen, unveränderten Code zurückgibt, werden die Tests dennoch als bestanden gewertet, da der ursprüngliche Code bereits funktionierte. Der Test sieht ein korrektes Ergebnis und nimmt an, dass die Arbeit erledigt wurde, wobei er nicht bemerkt, dass der Agent überhaupt nichts getan hat. Diese blinde Stelle bedeutet, dass eine „perfekte“ Punktzahl einem Agenten verliehen werden könnte, der keinerlei Änderungen vorgenommen hat.
Um dies zu lösen, entwickelten Forscher der Naver Labs und der Tsinghua Universität einen neuen, viel strengeren Test namens SWE Refactor Bench. Sie sammelten zwanzig reale Softwareprojekte, darunter kritische Infrastrukturen wie die SQLite-Datenbank und die zlib-Kompressionsbibliothek, und stellten KI-Agenten die Aufgabe, diese vollständig in andere Technologiestacks zu migrieren. Diese Aufgaben umfassten vier verschiedene Arten schwieriger Arbeit: das Umschreiben der Programmiersprache selbst, das Austauschen der Software-Frameworks, die den Code organisieren, das Versetzen der Software in eine andere Betriebsumgebung oder das Ändern der Werkzeuge, die zur Erstellung des Endprodukts verwendet werden. Die Forscher gaben den Agenten zwischen sechs und dreißig Stunden Zeit, um jede Aufgabe zu bewältigen, wobei sie autonom und ohne menschliche Hilfe arbeiteten.
Die Forscher entwarfen einen dreistufigen Evaluierungsprozess, um sicherzustellen, dass die Agenten die Arbeit tatsächlich verrichteten und sie korrekt ausführten. Zuerlich prüfte ein strenges Audit, ob die alte Technologie tatsächlich aus dem Code verschwunden war. Wenn der Agent lediglich die ursprünglichen Dateien kopiert oder einen dünnen Wrapper um sie herum gelegt hatte, ohne die Kernlogik umzuschreiben, wurde der Versuch sofort abgelehnt. Zweitens führte das System über 130.000 spezifische Prüfungen durch, um sicherzustellen, dass sich die Software exakt so verhielt wie zuvor die Änderung stattfand. Schließlich fungierte ein Team aus sechs unabhängigen KI-Agenten als Auditoren, die jeweils eine Stunde lang damit verbrachten, nach subtilen Unterschieden zu suchen, die die automatisierten Tests möglicherweise übersehen hatten. Diese Auditoren mussten ein funktionierendes Beispiel eines Fehlers produzieren, um zu beweisen, dass die Migration unvollkommen war.
Die Ergebnisse waren drastisch. Über 520 Versuche von acht der fortschrittlichsten verfügbaren KI-Modellen hinweg bestanden nur 28 Durchläufe, also 5,4 Prozent, alle drei Stufen. Tatsächlich wurden dreizehn der zwanzig Aufgaben von keinem Modell erfolgreich abgeschlossen. Das am besten abschneidende Modell, Claude Opus 5, erreichte eine Punktzahl von 47 von 100. Die Misserfolge offenbarten ein klares Muster: Die Fähigkeit, die Software funktionsfähig zu halten, und die Fähigkeit, die Migration tatsächlich durchzuführen, waren zwei separate Fähigkeiten, die die Agenten nicht kombinieren konnten. Dreißig Versuche bewahrten das Verhalten der Software perfekt, scheiterten jedoch, weil die Agenten die Migration komplett übersprungen und den ursprünglichen Code zurückgegeben hatten. Umgekehrt schrieben 252 Versuche den Code erfolgreich um, brachen dabei jedoch das Verhalten. Selbst unter den wenigen Versuchen, die die ersten Prüfungen bestanden, hatten die Agenten Schwierigkeiten, Perfektion zu erreichen; während 58 Prozent der erfolgreichen Umschreibungen 99 Prozent der Verhaltensprüfungen bestanden, passierten nur 26 Prozent jedes einzelnen Check.
Der Schwierigkeitsgrad variierte erheblich je nach Art der Migration. Die Agenten waren relativ erfolgreich beim Umschreiben von Build-Toolchains, bei denen es darum geht, wie die Software paketiert wird, und erreichten dabei 31,4 von 100 Punkten für diese Aufgaben. Bei Sprachumschreibungen hingegen schnitten sie sehr schlecht ab, wo die Kernlogik von einer Programmiersprache in eine andere übersetzt werden muss, was lediglich 5,6 Punkte ergab. Die Studie kam zu dem Schluss, dass aktuelle KI-Agenten noch nicht zuverlässig genug sind, um autonome, langfristige Migrationen ganzer Repositories durchzuführen. Während sie lokale Korrekturen handhaben können, bleibt die komplexe Aufgabe, ein System von Grund auf neu aufzubauen und dabei exakt das gleiche Verhalten zu bewahren, eine erhebliche Herausforderung. Die Forschung stellt fest, dass diese Agenten, um bei der Systemwartung wirklich nützlich zu sein, lernen müssen, sowohl die schwere Last des Umschreibens als auch die Präzision der Funktionserhaltung zu meistern – eine Kombination, die sie bisher noch nicht beherrscht haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.