SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
Das Paper stellt SWE Atlas vor, eine neue Benchmark-Suite, die darauf ausgelegt ist, Coding-Agenten bei unterrepräsentierten professionellen Workflows wie Codebase-Q&A, Testwriting und Refactoring zu evaluieren, indem sowohl funktionale Korrektheit als auch Software-Engineering-Qualität bewertet werden, und zeigt auf, dass zwar Spitzenmodelle führen, jedoch erhebliche Herausforderungen bei der Bewältigung von Randfällen und der Einhaltung bewährter Praktiken bestehen bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Von „Flickschustern" zu „Meisterarchitekten"
Stellen Sie sich vor, Sie haben ein Team unglaublich intelligenter, superschneller Bauroboter (das sind die KI-Coding-Agenten) engagiert, um Ihnen beim Bau und der Wartung einer riesigen Stadt (einer Software-Codebasis) zu helfen.
In den letzten Jahren haben wir diese Roboter getestet, indem wir ihnen einfache, spezifische Aufgaben gaben: „Reparieren Sie dieses kaputte Fenster" oder „Installieren Sie diese neue Tür". Wenn der Roboter das Fenster reparierte, ohne den Rahmen zu beschädigen, gab es einen Goldstern. Das ist es, was frühere Tests (wie SWE-Bench) taten. Sie maßen, ob der Roboter Dinge flicken konnte.
SWE Atlas sagt: „Moment mal. Ein guter Bauarbeiter zu sein, bedeutet nicht nur, kaputte Fenster zu reparieren. Es bedeutet auch, die ganze Stadt zu verstehen, Sicherheitsanleitungen zu schreiben und alte Gebäude so umzugestalten, dass sie in 10 Jahren nicht einstürzen."
Die Forscher entwickelten einen neuen, härteren Test namens SWE Atlas, um zu sehen, ob diese Roboter wie professionelle Ingenieure und nicht nur wie Flickschuster agieren können.
Die drei neuen Herausforderungen (die „Atlas"-Aufgaben)
Anstatt nur Fehler zu beheben, gibt SWE Atlas den Robotern drei Arten von professionellen Jobs:
1. Codebasis-Fragen & Antworten: Der „Stadtführer"
- Der alte Weg: „Hier ist eine Karte. Sag mir, wo die Bibliothek ist." (Der Roboter liest nur die Karte).
- Der SWE-Atlas-Weg: „Ich bin neu hier. Ich muss wissen, wie sich die Ampeln verhalten, wenn es regnet und das Stromnetz ausfällt. Ich will nicht nur eine Karte; ich will, dass du das Auto fährst, die Ampeln in Echtzeit beobachtest und mir genau sagst, was passiert, wenn etwas schiefgeht."
- Der Haken: Der Roboter muss die Software tatsächlich ausführen, beobachten, wie sie unter Stress kämpft, und das live Verhalten erklären. Er kann nicht nur raten, indem er den Code liest.
2. Testschreiben: Der „Sicherheitsinspektor"
- Der alte Weg: „Schreibe einen Test, um sicherzustellen, dass die Tür aufgeht." (Der Roboter schreibt einen Test, der prüft, ob die Tür aufgeht).
- Der SWE-Atlas-Weg: „Schreibe einen Test, der versucht, die Tür zu zerstören. Was ist, wenn jemand versucht, sie zu öffnen, während sie abgeschlossen ist? Was ist, wenn die Scharniere verrostet sind? Was ist, wenn der Wind zu stark bläst?"
- Der Haken: Der Roboter muss ein Gegner sein. Er muss an jedes seltsame, randständige Szenario denken, das einen Absturz verursachen könnte. Wenn der Roboter einen Test schreibt, der nur den „glücklichen Pfad" prüft (alles funktioniert perfekt), besteht er den Test nicht.
3. Refactoring: Der „Renovierungsexperte"
- Der alte Weg: „Male die Wand blau." (Der Roboter ändert die Farbe).
- Der SWE-Atlas-Weg: „Dieser Raum ist ein Chaos. Die Verkabelung ist verheddert, die Rohrleitungen sind am falschen Ort, und die Möbel blockieren die Tür. Richte den ganzen Raum neu ein, damit es einfacher zu leben ist, aber bewege kein einziges Möbelstück und ändere nicht, wie der Raum funktioniert. Wirf auch alle alten, kaputten Werkzeuge weg, die wir nicht mehr brauchen."
- Der Haken: Der Roboter muss den Code aufräumen (wartbar machen), ohne versehentlich etwas zu zerstören, das aktuell funktioniert. Es ist wie Herzchirurgie zu betreiben, während der Patient einen Marathon läuft.
Wie sie die Roboter benoteten (der „Bewertungsbogen")
In der Vergangenheit waren Tests wie ein Multiple-Choice-Quiz: Lief der Code? Ja/Nein.
SWE Atlas verwendet einen Lehrer-Bewertungsbogen. Stellen Sie sich einen strengen Kunstlehrer vor, der das Gemälde eines Schülers bewertet.
- Haben Sie den Himmel gemalt? (Ja/Nein)
- Haben Sie die richtigen Pinselstriche verwendet? (Ja/Nein)
- Haben Sie die Pinsel auf dem Boden liegen lassen? (Ja/Nein – dies ist ein „Negativer Bewertungspunkt", da es schlechte Praxis ist).
Die Forscher verwendeten eine zweite KI (ein „Richter"), um die Arbeit des Roboters zu betrachten und diese detaillierten Kästchen abzuhaken. Ihnen war wichtig:
- Sauberkeit: Hat der Roboter „toten Code" (Müll) hinterlassen?
- Organisation: Ist der neue Code für einen Menschen später leicht zu lesen?
- Vollständigkeit: Hat der Roboter irgendwelche Randfälle übersehen?
Was sie fanden (die Ergebnisse)
Die Forscher testeten die intelligentesten verfügbaren KI-Modelle (wie GPT-5.4 und Opus 4.7) sowie einige Open-Source-Modelle. Hier ist das Urteil:
Die „Flickschuster" sind großartig, aber die „Ingenieure" haben Schwierigkeiten:
Die Top-KI-Modelle sind hervorragend darin, einfache Fehler zu beheben (die „Flick"-Arbeit). Aber wenn sie gebeten werden, die chaotische, komplexe Arbeit professioneller Ingenieurskunst zu leisten (wie tiefgreifendes Refactoring oder das Schreiben robuster Tests), sinken ihre Punktzahlen erheblich.Das Problem der „Konsistenz":
Wenn Sie einen Top-Roboter bitten, ein Problem dreimal zu lösen, könnte er es einmal richtig machen und die anderen beiden Male scheitern. Sie sind noch nicht zuverlässig genug, um mit kritischer Infrastruktur betraut zu werden.Die „Explorations"-Lücke:
Die besten Roboter hatten Erfolg, weil sie nicht nur den Code lasen; sie führten den Code aus. Sie richteten die Software ein, brachen sie, reparierten sie und beobachteten die Protokolle. Roboter, die nur den Code „lasen", ohne ihn auszuführen, scheiterten bei den „Codebasis-Fragen & Antworten"-Aufgaben.Die „Glücklicher-Pfad"-Falle:
Beim Schreiben von Tests neigten die Roboter dazu, Tests zu schreiben, die nur prüften, ob Dinge normal funktionierten. Sie versagten beim Schreiben von Tests, die auf Katastrophen prüften (die „gegnerische" Denkweise).Open-Source- vs. Closed-Modelle:
Die leistungsstärksten, teuersten „geschlossenen" Modelle (von großen Tech-Unternehmen) schnitten viel besser ab als die kostenlosen „offenen" Modelle. Die Open-Modelle waren oft zu verwirrt, um die komplexen, mehrstufigen Aufgaben zu bewältigen.
Das Fazit
SWE Atlas ist ein Weckruf. Es sagt uns, dass KI zwar sehr gut darin wird, kleine Code-Schnipsel zu schreiben oder einfache Fehler zu beheben, aber noch nicht bereit ist, ein professioneller Software-Ingenieur zu sein.
Es hat immer noch Schwierigkeiten mit:
- Vorausdenken darüber, was schiefgehen könnte.
- Aufräumen von chaotischem Code, ohne ihn zu zerstören.
- Verstehen, wie ein System in der realen Welt funktioniert (nicht nur auf dem Papier).
Das Papier kommt zu dem Schluss, dass wir aufhören müssen, nur zu fragen „Hat es funktioniert?", und anfangen müssen zu fragen „Ist es gute Ingenieurskunst?", weil die Zukunft des KI-Codings vom Letzteren abhängt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.