Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents
Dieses Paper analysiert 654 abgelehnte Pull Requests über fünf Coding-Agenten und eine menschliche Baseline hinweg, um einzigartige und agentenspezifische Ablehnungsmuster zu identifizieren, während es gleichzeitig Heuristiken vorschlägt, um die Herausforderung fehlenden Reviewer-Feedbacks in 67,9 % der Fälle zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Softwareentwicklung wie eine riesige, geschäftige Baustelle vor. Normalerweise, wenn ein Arbeiter (ein menschlicher Entwickler) ein neues Zimmer fertigstellt oder ein Leck repariert, reicht er einen „Änderungsantrag“ (einen Pull Request) beim Bauleiter ein. Der Manager schaut ihn sich an und sagt: „Toll, bauen wir das so ein“ oder „Nein, das wird nicht funktionieren“.
Kürzlich ist eine neue Art von Arbeitern eingetroffen: KI-Agenten. Das sind Roboter, die in der Lage sind, Pläne zu erstellen, zu bauen und ihre eigenen Änderungsanträge einzureichen, ohne dass ein Mensch ihnen die Hand hält. Dieses Paper untersucht, was passiert, wenn diese KI-Arbeiter ihre Arbeit einreichen, im Vergleich zu menschlichen Arbeitern.
Hier ist die Aufschlüsselung der Studie, unter Verwendung einfacher Analogien:
1. Das große Problem: Die „stille Ablehnung“
Die Forscher untersuchten 654 abgelehnte Änderungsanträge von fünf verschiedenen KI-Robotern (wie Devin, Claude Code und GitHub Copilot) und verglichen sie mit Anträgen, die von Menschen gestellt wurden.
Die schockierendste Erkenntnis? Zwei von drei Ablehnungen waren still.
- Die Analogie: Stellen Sie sich vor, Sie reichen eine Zeichnung zu einem Wettbewerb ein, und sie wird einfach in den Müll geworfen. Sie fragen: „Warum?“, und der Richter zuckt nur mit den Schultern und geht weg.
- Die Realität: 67,9 % der abgelehnten KI-Anfragen hatten keine Erklärung vom Reviewer. Der Antrag wurde einfach geschlossen. Dies macht es für die Forscher sehr schwierig zu wissen, warum die KI gescheitert ist, weil der „Richter“ den Grund nicht aufgeschrieben hat.
2. Die „KI-spezifischen“ Fehler
Wenn die Forscher doch Gründe für eine Ablehnung fanden, entdeckten sie, dass KI-Roboter Fehler machen, die Menschen fast nie machen. Sie fanden sieben spezifische Ablehnungsgründe, die nur bei KI auftraten:
- Die „zu große“ Box: Menschen reichen manchmal große Projekte ein, aber KI-Roboter neigen dazu, massive, überwältigende Änderungen alles auf einmal einzureichen. Es ist, als würde eine KI versuchen, in einem einzigen Tag einen ganzen Wolkenkratzer zu bauen. Die Manager lehnten diese ab, weil sie zu groß waren, um sie ordnungsgemäß zu überprüfen.
- Das „Misstrauens“-Abzeichen: Einige Manager vertrauten dem Code einfach nicht, weil er von einem Roboter erstellt wurde. Sie lehnten ihn ab, nur weil er KI-generiert war, aus Angst, er könnte unzuverlässig oder „halluziniert“ (erfunden) sein.
- Das „Slop“-Label: In einem Fall lehnte ein Projekteigentümer einen KI-Antrag ab und bezeichnete ihn als „SLOP“ (ein Slang-Begriff für qualitativ minderwertige, massenproduzierte Inhalte), was im Grunde bedeutete: „Das ist Müll, der von einer Maschine generiert wurde.“
- Das „Experiment“-Scheitern: Einige KI-Anfragen wurden nur eingereicht, um zu sehen, ob der Roboter es kann, nicht weil jemand tatsächlich den Code wollte. Diese wurden abgelehnt, weil sie nicht für den echten Gebrauch bestimmt waren.
3. Die „Roboter-typischen“ Eigenheiten
Unterschiedliche KI-Roboter haben unterschiedliche Persönlichkeiten und Einstellungen, was zu einzigartigen Ablehnungsmustern führt:
- Der „Devin“-Effekt: Ein spezieller Roboter namens Devin hat eine Einstellung, die seine eigenen Anfragen automatisch schließt, wenn sie zu lange unbearbeitet bleiben. Die Studie fand heraus, dass viele der Ablehnungen von Devin nicht darauf zurückzuführen waren, dass der Code schlecht war, sondern dass der Roboter selbst sagte: „Mir ist langweilig, ich schließe das jetzt“, nach 7 Tagen Stille.
- Die „Kontext“-Falle: Einige KI-Roboter wurden abgelehnt, weil sie keine „privaten“ Dateien oder Daten sehen konnten, die sie brauchten, um die Aufgabe zu erledigen. Es ist, als würde ein Roboter versuchen, ein Schloss zu reparieren, aber aus dem Raum ausgesperrt sein, in dem der Schlüssel aufbewahrt wird.
4. Die Lösung: Ein „Müllfilter“
Da so viele Ablehnungen ohne Notizen erfolgten (das Problem der „stillen Ablehnung“), erkannten die Forscher, dass sie einen Weg brauchten, um die Daten zu bereinigen, bevor sie sie untersuchen konnten. Sie entwickelten einen einfachen Filter (einen Satz von Regeln), um zu erraten, welche Ablehnungen wirklich „still“ waren und welche möglicherweise versteckte Hinweise enthielten.
- Die Filter-Regeln: Sie suchten nach Anfragen, die:
- Von der Person, die sie geschrieben hatte, selbst geschlossen wurden (Self-closed).
- Sehr schnell geschlossen wurden (z. B. innerhalb von 7 Tagen).
- Ohsne dass jemand einen Kommentar hinterlassen hat, geschlossen wurden.
- Das Ergebnis: Durch die Verwendung dieser Regeln konnten sie das „Rauschen“ (die stillen, unhilfreichen Ablehnungen) herausfiltern und sich auf diejenigen konzentrieren, bei denen die Manager tatsächlich erklärten, warum sie „Nein“ sagten. Dies hilft zukünftigen Forschern, ein klareres Bild davon zu bekommen, was schiefläuft.
Zusammenfassung
Das Paper kommt zu dem Schluss, dass KI-Agenten zwar schneller als je zuvor Code bauen, aber häufiger abgelehnt werden als Menschen. Das liegt nicht nur daran, dass ihr Code fehlerhaft ist; es liegt daran, dass sie:
- Dinge einreichen, die zu groß oder zu komplex sind.
- Misstrauen bei menschlichen Managern auslösen.
- Einzigartige „Roboter-Verhaltensweisen“ (wie das automatische Schließen) haben, die Menschen nicht haben.
- Oft abgelehnt werden, ohne dass jemand den Grund erklärt, was es schwierig macht, aus Fehlern zu lernen.
Die Studie bietet einen „Filter“, um diese Daten zu bereinigen, damit wir besser verstehen können, wie wir diese KI-Arbeiter in Zukunft zuverlässiger machen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.