Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study
Diese empirische Studie von über 11.000 agentischen Pull Requests zeigt, dass es irreführend ist, sich ausschließlich auf Merge- oder Ablehnungsergebnisse zur Bewertung von KI-Coding-Agenten zu verlassen, da ein erheblicher Teil der Ablehnungen auf Workflow-Einschränkungen und nicht auf Agentenfehler zurückzuführen ist und viele Merges erhebliche menschliche Eingriffe erfordern, was interaktionsbewusste Bewertungsmetriken erfordert, die auf Review-Verhalten basieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige, hochtechnologische Küche vor, in der Roboter (KI-Coding-Agenten) ständig versuchen, neue Gerichte (Code-Änderungen) zu kochen und sie dem Küchenchef (dem menschlichen Prüfer) zur Genehmigung vorzulegen. Das Ziel ist es, diese Gerichte auf die Speisekarte des Restaurants zu setzen (in die Software zu mergen).
Lange Zeit haben Menschen beurteilt, wie gut diese Roboter-Köche sind, indem sie einfach nur das Endergebnis betrachteten: Wurde das Gericht serviert (gemerged) oder in den Müll geworfen (abgelehnt)?
Diese neue Studie argumentiert, dass das Betrachten des Endergebnisses so ist, als würde man einen Koch nur danach beurteilen, ob der Teller die Küche verlassen hat, ohne zu fragen, warum. Die Forscher stellten fest, dass das Label „Ja/Nein" eine sehr unvollständige Geschichte erzählt.
Hier ist das, was sie entdeckten, aufgeschlüsselt in einfache Analogien:
1. Der „Müll" ist nicht immer das Verschulden des Kochs
Wenn das Gericht eines Roboters abgelehnt wird, gehen wir oft davon aus, dass der Roboter etwas Ungenießbares gekocht hat (einen Programmierfehler). Die Studie ergab jedoch, dass nur etwa 36 % der Ablehnungen tatsächlich darauf zurückzuführen waren, dass der Roboter das Rezept vermasselt hatte.
Die anderen zwei Drittel wurden aus Gründen abgelehnt, die nichts mit den Kochkünsten des Roboters zu tun hatten:
- Das Problem des „falschen Abends" (31 %): Das Gericht war perfekt, aber die Küche war bereits geschlossen, oder der Chef hatte für diesen Abend bereits ein anderes Gericht bestellt. In technischen Begriffen: Der Code war in Ordnung, aber der Projektworkflow benötigte ihn nicht, oder es handelte sich um ein Duplikat.
- Die „Stille Behandlung" (33 %): Das Gericht wurde zurückgeschickt, aber der Chef sagte kein Wort. Es gab keine Notiz auf dem Teller, die erklärte, warum. Es ist unmöglich zu sagen, ob der Roboter versagt hat oder ob der Chef es einfach ignoriert hat.
Das Fazit: Wenn Sie Ablehnungen nur als „Versagen" zählen, beschuldigen Sie den Roboter ungerechterweise für Dinge, die eigentlich nur schlechte Timing oder Stille waren.
2. Das „servierte" Gericht ist nicht immer allein das Werk des Roboters
Wenn ein Gericht serviert wird (gemerged), gehen wir davon aus, dass der Roboter es von Anfang bis Ende perfekt gekocht hat. Doch die Studie ergab, dass etwa 15 % dieser „Erfolge" tatsächlich den Eingriff des menschlichen Kochs erforderten, um Dinge zu reparieren, bevor das Gericht ausgegeben werden konnte.
- Der „Geschmackstest" (Feedback-Schleifen): Der Roboter kochte das Hauptgericht, aber der Chef probierte es, sagte: „Braucht mehr Salz", und der Roboter reparierte es.
- Das „Anrichten" (menschliches Eingreifen): Der Roboter kochte das Essen, aber der Chef musste das Garnieren neu anordnen oder die Präsentation reparieren, bevor er es servieren konnte.
Tatsächlich war der menschliche Koch bei einigen Robotern (wie Copilot und Devin) viel häufiger in den Prozess involviert als bei anderen (wie Codex und Cursor), deren Gerichte fast ohne Interaktion serviert wurden.
Das Fazit: Ein „Merged"-Label bedeutet nicht immer, dass der Roboter den ganzen Job allein erledigt hat. Manchmal hat der Mensch am Ende die schwere Arbeit geleistet, damit es funktioniert.
3. Unterschiedliche Roboter, unterschiedliche Küchen
Die Studie stellte fest, dass sich verschiedene Roboter unterschiedlich verhielten, je nachdem, in welcher „Küche" (Softwareprojekt) sie sich befanden.
- Einige Roboter wurden in Küchen mit strengen Regeln und beschäftigten Köchen geschickt, die ständig Feedback gaben. Diese Roboter hatten mehr Ablehnungen und mehr menschliche Hilfe.
- Andere Roboter wurden in Küchen geschickt, in denen die Köche eher distanziert waren, was zu mehr „stiller" Zustimmung oder Ablehnung führte.
Das große Fazit
Die Studie kommt zu dem Schluss, dass man die Fähigkeit eines Roboter-Kochs nicht allein danach beurteilen kann, ob auf dem Ticket das Stempel „Serviert" oder „Abgelehnt" steht.
- Ablehnungen sind oft nur Workflow-Probleme oder Stille, kein schlechtes Kochen.
- Merges beinhalten oft menschliche Köche, die den Teller vor dem Servieren reparieren.
Um wirklich zu verstehen, wie gut diese KI-Agenten sind, müssen wir auf das Gespräch zwischen dem Roboter und dem Menschen schauen – die Kommentare, die Reparaturen und die Gründe hinter den Entscheidungen – und nicht nur auf das Endergebnis. Tun wir dies nicht, beurteilen wir den Koch anhand einer Speisekarte, die nicht die ganze Geschichte erzählt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.