SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Dieses Paper führt SWE-Together ein, einen Multi-Turn-Benchmark, der aus realen User-Agent-Kodierungssitzungen abgeleitet wurde und einen reaktiven, auf LLMs basierenden Usersimulator nutzt, um Coding-Agenten sowohl basierend auf der Korrektheit des finalen Repositories als auch auf der Anzahl der erforderlichen Korrekturfeedback-Durchgänge zu evaluieren, wobei sich zeigt, dass stärkere Agenten höhere Erfolgsraten mit weniger Interventionen erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Softwareentwickler ein. In der Vergangenheit haben Sie ihn getestet, indem Sie ihm ein perfekt geschriebenes, 10-seitiges Handbuch übergeben und sagten: „Baue dieses Feature.“ Sie haben gewartet, bis er fertig war, sich den fertigen Code angesehen und ihm eine Note gegeben. Wenn der Code funktionierte, bekam er eine Eins. Wenn nicht, bekam er eine Sechs.
Das Problem: Das echte Leben läuft nicht so ab. In einem echten Job haben Sie kein perfektes Handbuch. Sie beginnen mit einer vagen Idee, der Ingenieur baut etwas, Sie merken, dass Sie ein entscheidendes Detail vergessen haben, Sie korrigieren einen Fehler, den er gemacht hat, und Sie präzisieren Ihr Ziel mitten im Prozess. Die alten Tests haben nicht gemessen, wie gut ein Ingenieur mit diesem chaotischen, hin- und hergehenden Gespräch umgeht. Sie haben nur das Endprodukt gemessen und ignoriert, wie viel Anleitung der Ingenieur benötigte, um dorthin zu gelangen.
Die Lösung: SWE-Together
Die Autoren dieser Arbeit haben eine neue Testumgebung namens SWE-Together geschaffen. Betrachten Sie es als ein „wiederholbares Videospiel“ für Coding-Agenten (KI-Programmierer).
So funktioniert es, unterteilt in einfache Teile:
1. Das Ausgangsmaterial: Echtes Filmmaterial
Anstatt künstliche Testfragen zu erfinden, haben die Forscher in der realen Welt gefischt. Sie haben sich 11.260 tatsächliche Konversationen zwischen echten Menschen und KI-Coding-Assistenten angesehen. Aus diesem riesigen Haufen haben sie sorgfältig 109 spezifische Aufgaben ausgewählt, die perfekt für einen Test geeignet waren.
- Der Filter: Sie warfen Gespräche weg, die zu chaotisch waren, kein klares Ziel hatten oder nicht reproduzierbar waren. Sie behielten nur die, bei denen der Mensch ein klares Ziel hatte, die KI echte Arbeit leistete und das Ergebnis überprüfbar war.
2. Der „Roboter-User“-Simulator
Dies ist der cleverste Teil. Um eine neue KI zu testen, können sie nicht einfach die alten Nachrichten des Menschen wieder abspielen, da die neue KI vielleicht einen anderen Weg einschlägt. Wenn die neue KI einen anderen Fehler macht, ergibt die nächste Nachricht des alten Menschen vielleicht keinen Sinn mehr.
Deshalb haben sie einen Smart Robot User gebaut.
- Wie es funktioniert: Stellen Sie sich einen Regisseur vor, der ein Theaterstück beobachtet. Der Regisseur weiß genau, was der ursprüngliche Mensch erreichen wollte. Während der neue KI-Schauspieler auftritt, beobachtet der Roboter-User. Wenn die KI vom Weg abkommt oder einen Punkt übersieht, den der ursprüngliche Mensch bemerkt hätte, greift der Roboter-User ein und sagt: „Warte, ich meinte eigentlich X“ oder „Du hast Y vergessen.“
- Das Ziel: Der Roboter-User agiert exakt wie der ursprüngliche Mensch, passt aber sein Timing an die Leistung der neuen KI an. Dies stellt sicher, dass jede KI gegen dieselbe „Intention“ getestet wird, selbst wenn sie unterschiedliche Wege einschlagen.
3. Die neue Bewertung
In den alten Tests bekamen Sie nur eine einzige Note: Hat der Code funktioniert?
In SWE-Together verwenden sie eine zweiteilige Bewertung:
- Teil A: Die Endnote (Korrektheit): Hat die KI letztendlich das gebaut, was verlangt wurde?
- Teil B: Die „Hilfestellungs“-Note (Benutzerkorrektur): Dies ist die große Innovation. Sie zählen, wie oft der Roboter-User die KI korrigieren musste.
- Analogie: Stellen Sie sich zwei Schüler vor, die eine Matheaufgabe lösen. Beide erhalten das richtige Ergebnis.
- Schüler A hat es aus eigener Kraft herausgefunden.
- Schüler B hat das richtige Ergebnis erhalten, aber erst, nachdem der Lehrer ihn dreimal angestupst und einen großen Fehler korrigiert hat.
- In SWE-Together bekommt Schüler A eine bessere Note, weil er weniger Intervention benötigte. Das Papier nennt dies „User Correction“ (Benutzerkorrektur).
- Analogie: Stellen Sie sich zwei Schüler vor, die eine Matheaufgabe lösen. Beide erhalten das richtige Ergebnis.
Was sie fanden
Die Forscher testeten sieben der klügsten verfügbaren KI-Modelle. So lief es ab:
- Klugere KI braucht weniger Hilfe: Es gab ein klares Muster. Die „klügeren“ KI-Modelle (wie Claude Opus 4.8) erhielten höhere Endnoten und benötigten weniger Korrekturen durch den Roboter-User. Die „schwächeren“ Modelle erhielten niedrigere Scores und benötigten den Roboter-User ständig, um sie anzustupsen und zu korrigieren.
- Der Roboter-User ist überzeugend: Sie testeten, ob Menschen den Unterschied zwischen dem Roboter-User und einem echten Menschen feststellen konnten. Das konnten sie nicht. Die Simulation war so gut, dass Menschen sie nicht zuverlässig unterscheiden konnten.
- Effizienz: Einige Modelle waren schneller und verwendeten weniger „Tokens“ (Wörter/Rechenleistung), um die Aufgabe zu erledigen, während andere langsamer, aber genauer waren.
Das Fazit
Die Autoren des Papers argumentieren, dass wir aufhören müssen, KI-Coder wie bei einer schriftlichen Prüfung mit einem perfekten Lösungsschlüssel zu testen. Wir müssen sie so testen, wie sie in einem echten Büro arbeiten.
SWE-Together beweist, dass die besten Coding-Agenten nicht nur diejenigen sind, die den Code schließlich reparieren können; es sind diejenigen, die zuhören, vage Anweisungen verstehen und ihre eigenen Fehler beheben können, ohne dass ein Mensch ständig eingreifen muss und sagt: „Nein, das meinte ich nicht.“
Kurz gesagt: Es ist ein Benchmark, der die KI dafür belohnt, ein guter Kollaborateur zu sein, und nicht nur ein guter Code-Generator.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.