SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
Das Paper stellt SWE-bench ProMax vor, einen rigoros kuratierten, mehrsprachigen Benchmark aus 170 groß angelegten Code-Refactoring-Aufgaben, der darauf ausgelegt ist, die Mängel und die Sättigung bestehender Evaluationen zu überwinden, und zeigt auf, dass aktuelle Frontier-KI-Agenten immer noch mit komplexen, verhaltenserhaltenden Software-Engineering-Herausforderungen kämpfen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer lernen, Softwareentwickler zu werden. Jahrelang haben Wissenschaftler diese „KI-Coding-Agenten“ getestet, indem sie sie baten, winzige, isolierte Rätsel zu lösen, wie etwa das Schreiben einer einzelnen Funktion, um zwei Zahlen zu addieren. Es ist, als würde man einen Piloten testen, indem man ihn nur auf dem Rollfeld eines Flugplatzes taksieren lässt. Aber echte Software wird nicht Zeile für Zeile gebaut; sie ist eine massive, miteinander verbundene Stadt aus Code, in der das Ändern eines einzelnen Straßenschilds dazu führen kann, dass Karten, Ampeln und Busfahrpläne in der gesamten Metropole aktualisiert werden müssen. Die große Frage, die sich Forscher stellen, lautet: Können diese KI-Agenten mit der unordentlichen, komplexen Realität damit umgehen, riesige Teile von Software umzuschreiben, ohne dabei etwas kaputt zu machen? Dies ist der Bereich des „Code Refactoring“ – die Kunst, die interne Verkabelung eines Gebäudes neu zu organisieren, ohne die Art und Weise zu ändern, wie das Licht für die Menschen im Inneren angeht.
Hier kommt SWE-Bench ProMax ins Spiel, ein neuer, superherausfordernder Test, der sehen soll, ob KI-Agenten bereit für die Profiliga sind. Frühere Tests waren wie ein Videospiel im „Leichten Modus“, bei dem die KI oft darauf zurückgreifen konnte, Antworten auswendig zu lernen oder Probleme zu lösen, die zu einfach waren. Die Schöpfer dieses neuen Benchmarks erkannten: Wenn die Tests zu einfach oder schlecht konzipiert sind, sind die hohen Punktzahlen der KI nur eine Illusion von Intelligenz. Also bauten sie einen „Schweren Modus“-Hindernisparcours. Sie sammel way 170 reale Software-Herausforderungen aus sieben verschiedenen Programmiersprachen (darunter Python, Java, C++ und Rust). Dies sind keine kleinen Korrekturen; es sind massive Überarbeitungen, bei denen die KI Änderungen über durchschnittlich 11,4 verschiedene Dateien koordinieren und über 260 Zeilen Code umschreiben muss, während sie gleichzeitig sicherstellt, dass sich die Software exakt so verhält wie zuvor.
Die Ergebnisse sind ein Realitätscheck für die KI-Branche. Als die klügsten, teuersten KI-Modelle in diese Arena geworfen wurden, meisterten sie den Test nicht. Das beste Modell löste lediglich 41,2 % der Aufgaben. Dies deutet darauf hin, dass KI zwar gut darin wird, kleine Aufgaben zu erledigen, aber immer noch Schwierigkeiten mit der komplexen, mehrstufigen Koordination hat, die für echtes Engineering erforderlich ist. Interessanterweise stellte die Arbeit fest, dass das Ausgeben von mehr Geld für ein Modell nicht immer zu besseren Ergebnissen führte; einige günstigere Open-Source-Modelle schnitten fast so gut ab wie die teuren Giganten. Der Hauptgrund, warum die KI scheiterte? Sie neigte dazu, ein „unvollständiger“ Arbeiter zu sein. Sie behob zwar das Hauptproblem, vergaß aber, die unterstützenden Dateien zu aktualisieren – so als würde man ein leckendes Rohr reparieren, aber vergessen, den Wasserzähler zu informieren, was schließlich zum Versagen des gesamten Systems führt. Dieser Benchmark beweist, dass die wahre Meisterschaft im Software-Engineering für KI noch ein Work in Progress ist und ein Maß an Planung und dateiübergreifender Koordination erfordert, das aktuelle Agenten noch nicht ganz beherrschen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.