On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Diese empirische Studie über 567 von dem Claude Code Agent generierte GitHub Pull Requests über 157 Open-Source-Projekte hinweg zeigt, dass zwar 83,8 % der agentengestützten Beiträge akzeptiert werden – oft ohne Modifikation –, sie jedoch dennoch häufig menschliche Aufsicht für Fehlerbehebungen, Dokumentation und die Einhaltung von Projektstandards erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Softwareentwicklung als eine riesige, geschäftige Baustelle vor, auf der tausende Teams digitale Wolkenkratzer (Open-Source-Projekte) errichten. Jahrelang haben die Arbeiter (Entwickler) die schwere Arbeit erledigt, Entwürfe erstellt und Ziegel gelegt.
Vor kurzem ist ein neuer Typ von superintelligentem Roboter-Assistenten namens „Agentic Coding“ (speziell ein Werkzeug namens Claude Code) auf der Baustelle eingetroffen. Im Gegensatz zu einem einfachen Taschenrechner, der nur Fragen beantwortet, kann dieser Roboter einen Schraubenschlüssel greifen, die Baupläne prüfen, ein leckendes Rohr reparieren, eine neue Bedienungsanleitung schreiben und sogar den Papierkram erledigen, um die Genehmigung für die Arbeit einzuholen – und das alles ganz allein.
Dieses Dokument ist ein Zeugnis darüber, wie gut diese Roboter ihre Arbeit in der realen Welt tatsächlich erledigen. Die Forscher haben 567 Bauprojekte (Pull Requests) untersucht, bei denen dieser Roboter die Arbeit verrichtete, sie mit Projekten verglichen, die von Menschen erledigt wurden, und vier große Fragen gestellt.
Hier ist das, was sie herausgefunden haben, erklärt mit einfachen Analogien:
1. Welche Art von Arbeit leisten die Roboter? (RQ1)
Das Ergebnis: Menschen und Roboter reparieren beide kaputte Dinge (Bugs) und bauen neue Räume (Features). Die Roboter haben jedoch ein besonderes Talent für Renovierungen und Aufräumarbeiten.
- Die Analogie: Wenn ein menschlicher Arbeiter gebeten wird, „das Haus zu repariieren“, repariert er vielleicht das Dach oder baut eine neue Garage. Wenn man den Roboter bittet, „das Haus zu reparieren“, liebt er es, die Möbel umzustellen (Refactoring), bessere Etiketten an die Schränke zu kleben (Dokumentation) und mehr Überwachungskameras hinzuzufügen (Testing).
- Das Resultat: Roboter sind überraschend gut in der mühsamen, regelbasierten Aufräumarbeit, die Menschen oft als langweilig empfinden. Sie neigen auch dazu, viel längere, detailliertere „Arbeitsaufträge“ (PR-Beschreibungen) zu schreiben, die genau erklären, was sie getan haben.
2. Akzeptieren die Chefs (Maintainer) die Arbeit der Roboter? (RQ2)
Das Ergebnis: Ja, meistens! Aber nicht ganz so oft wie die Arbeit von Menschen.
- Die Statistik: Etwa 84 % der Arbeit des Roboters werden genehmigt und zusammengeführt (merged). Zum Vergleich: Etwa 91 % der menschlichen Arbeit werden genehmigt.
- Warum wird die Arbeit abgelehnt? Es liegt selten daran, dass der Roboter eine „schlechte Wand“ gebaut hat. Meistens wird die Arbeit aus folgenden Gründen abgelehnt:
- Zeitpunkt: Ein anderes Teammitglied hat das Problem bereits auf eine andere Weise gelöst.
- Größe: Der Roboter hat versucht, das ganze Haus auf einmal zu reparieren, wodurch der Bauplan zu riesig für eine Überprüfung wurde.
- Veraltung: Das Projekt hat die Richtung geändert, während der Roboter arbeitete.
- Die Erkenntnis: Die Roboter sind im Allgemeinen vertrauenswürdig, aber sie übersehen manchmal den „großen Kontext“ dessen, was das Team gerade jetzt eigentlich will.
3. Brauchen die Roboter Hilfe, um den Job zu beenden? (RQ3)
Das Ergebnis: Überraschenderweise benötigen Roboter und Menschen etwa die gleiche Menge an „Feinschliff“, bevor ihre Arbeit perfekt ist.
- Die Analogie: Stellen Sie sich vor, Sie bestellen eine maßgeschneiderte Torte. Manchmal bekommt der Bäcker (Roboter) es beim ersten Mal zu 100 % richtig. Manchmal bekommt er es zu 90 % richtig und Sie müssen nur noch das Frosting anpassen.
- Die Statistik: Etwa 55 % der Roboter-Kuchen sind so, wie sie sind, perfekt. Das ist fast so viel wie bei menschlichen Bäckern (58,5 %).
- Der Aufwand: Wenn die Torte tatsächlich noch angepasst werden muss, ist die Menge der Arbeit, die erforderlich ist, um einen Roboter-Kuchen zu korrigieren, statistisch gesehen dieselbe, wie um eine menschliche Torte zu korrigieren. Die Roboter machen nicht mehr Fehler, die mehr Arbeit erfordern; sie machen nur andere Arten von kleinen Fehlern.
4. Was genau müssen Menschen korrigieren? (RQ4)
Das Ergebnis: Wenn Menschen eingreifen müssen, um die Arbeit des Roboters zu korrigieren, geht es meistens um Sicherheitsprüfungen, Anweisungen und Stil.
- Fehlerbehebungen (48 %): Manchmal ist der Roboter zu optimistisch. Er nimmt an, dass eine Tür niemals kaputtgeht, also baut er keinen Backup-Plan ein. Menschen müssen diesen Backup-Plan hinzufügen.
- Dokumentation (29 %): Der Roboter baut vielleicht ein großartiges neues Zimmer, vergisst aber, die Karte des Hauses zu aktualisieren. Menschen müssen das „README“ (die Bedienungsanleitung) aktualisieren.
- Refactoring (27 %): Der Roboter baut vielleicht eine Wand, die funktioniert, aber sie steht an einer seltsamen Stelle, die den Rest des Hauses schwer navigierbar macht. Menschen müssen sie verschieben, damit sie zum Haus passt.
- Stil (23 %): Der Roboter verwendet vielleicht die falsche Farbe oder die falsche Schriftart. Menschen müssen dafür sorgen, dass es zum Rest des Gebäudes passt.
Das große Ganze
Betrachten Sie Agentic Coding als einen sehr talentierten, schnellen und eifrigen Lehrling.
- Vorteile: Er kann einen riesigen Teil der schweren Arbeit erledigen, insbesondere die langweiligen Aufräum- und Testaufgaben. Er produziert Arbeit, die oft gut genug ist, um sie sofort zu verwenden.
- Nachteile: Er verpasst manchmal den „Vibe“ des Projekts, schreibt Anweisungen, die zu lang oder zu kurz sind, und benötigt gelegentlich einen menschlichen Aufseher, der die Sicherheit und den Stil überprüft.
Das Fazit: Der Roboter ersetzt den menschlichen Bauleiter noch nicht. Stattdessen ist er ein leistungsstarkes Werkzeug, das die Drecksarbeit erledigt, sodass der Mensch einspringen, die Pläne prüfen und das letzte Wort haben kann, um sicherzustellen, dass alles sicher, stilvoll ist und perfekt zum Projekt passt. Das Papier legt nahe, dass der Roboter zwar ein großartiger Ausgangspunkt ist, die menschliche Aufsicht jedoch weiterhin unerlässlich ist, um aus einem „guten Entwurf“ ein „fertiges Meisterwerk“ zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.