A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents
Dieses Paper führt SWE-RPG ein, einen vereinheitlichten Benchmark für Coding-Agenten, der nicht nur den Erfolg des finalen Patches, sondern auch die zwischenzeitlichen Reasoning-Schritte wie die Klärung von Anforderungen und die Implementierungsplanung bewertet und aufzeigt, dass die implizite Wiederherstellung von Anforderungen der primäre Engpass ist, der die Leistung aktueller Agenten bei Aufgaben auf Repository-Ebene begrenzt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie einen superintelligenten Roboter-Assistenten haben, der Computercode schreiben kann. Sie geben ihm eine einfache Anweisung wie „Behebe den Fehler in diesem Spiel“ oder „Füge ein neues Level hinzu“, und er macht sich an die Arbeit. Das ist der Traum von KI-Coding-Agenten. Lange Zeit haben Wissenschaftler diese Roboter getestet, indem sie ihnen eine Aufgabe gaben und prüften, ob das Endergebnis funktioniert. Wenn das Spiel ohne Absturz läuft, bekommt der Roboter einen goldenen Stern. Wenn es abstürzt, bekommt der Robot ein rotes X.
Aber hier liegt das Problem: Ein rotes X verrät Ihnen nicht, warum der Roboter gescheitert ist. Hat er Ihre Anweisungen missverstanden? Hat er einen schlechten Plan entworft? Oder hat er einfach nur den falschen Code getippt? Es ist, als würde ein Schüler eine Mathearbeit mit einer „0/10“ bewertet bekommen, ohne die Anmerkungen des Lehrers zu sehen, wo genau er Fehler gemacht hat. Um diese Roboter wirklich besser zu machen, müssen wir ihren Denkprozess sehen, nicht nur das Endergebnis. Dies ist die große Frage, die das Paper behandelt: Wie hören wir auf, nur den fertigen Patch zu bewerten, und beginnen, das Gehirn des Roboters zu diagnostizieren?
Hier kommt SWE-RPG ins Spiel, ein neuer, super-detaillierter Test, der darauf abzielt, in den Verstand des Roboters hineinzublicken. Die Forscher entwickelten einen Benchmark (einen standardisierten Test) unter Verwendung von 163 realen Coding-Aufgaben aus 31 verschiedenen Softwareprojekten. Anstatt nur zu prüfen, ob der Code am Ende funktioniert, erstellten sie für jeden einzelnen Schritt der Reise des Roboters „Gold Truth“-Referenzen. Stellen Sie sich das wie ein Rezeptbuch eines Meisterkochs vor, das nicht nur das fertige Gericht zeigt, sondern auch jeden verborgenen Inhaltsstoff auflistet, den der Koch erraten musste, jeden Schritt des Kochplans und den exaksten Moment, in dem der Roboter vom Weg abgekommen sein könnte.
Die Forscher stellten drei populäre Coding-Agenten (benannt als Claude Code, Codex und OpenCode) auf die Probe, indem sie sie mit sechs verschiedenen „Gehirn“-Modellen (LLMs) kombinierten. Die Ergebnisse waren ein kleiner Realitätscheck. Selbst die besten Roboter lösten nur etwa 31,5 % der Aufgaben. Das bedeutet, dass sie fast zwei Drittel der Zeit scheiterten! Aber die wahre Magie von SWE-RPG lag darin, herauszufinden, wo sie scheiterten. Die Studie ergab, dass der größte Engpass tatsächlich nicht das Schreiben des Codes war, sondern das Verstehen der verborgenen Regeln. Etwa 24,5 % bis 46,0 % der Fehler passierten, weil die Roboter nicht in der Lage waren, die „impliziten Anforderungen“ zu erfassen – die Dinge, die Sie nicht gesagt haben, die der Roboter aber wissen musste, um den Job richtig zu erledigen.
Wenn Sie einen Roboter zum Beispiel baten, den „TSV-Import zu beheben“, könnte er den Code zwar reparieren, aber versehentlich den CSV-Import beschädigen, weil er nicht realisiert hatte, dass die beiden miteinander zusammenhängen. Die Studie legt nahe, dass wir, um diese Agenten wirklich nützlich zu machen, aufhören müssen, uns nur darauf zu konzentrieren, sie schneller Code schreiben zu lassen, und stattdessen anfangen müssen, sie zu besseren Detektiven auszubilden, die fähig sind, zwischen den Zeilen einer Benutzeranfrage zu lesen. Das Paper kommt zu dem Schluss, dass diese Agenten zwar beeindruckend sind, aber immer noch mit der unordentlichen, menschlichen Seite der Softwareentwicklung zu kämpfen haben, und SWE-RPG ist die neue Landkarte, die wir brauchen, um ihnen zu helfen, diese kniffligen, verborgenen Anforderungen zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.