Are We All Using Agents the Same Way? An Empirical Study of Core and Peripheral Developers Use of Coding Agents
Diese empirische Studie über 9.427 agentische Pull Requests offenbart deutliche Nutzungsmuster zwischen Kern- und Peripherie-Entwicklern und zeigt, dass während Peripherie-Entwickler eine breitere Palette von Aufgaben delegieren und eher dazu neigen, ohne Verifizierung zu mergen, Kern-Entwickler sich auf Dokumentation und Tests konzentrieren, während sie strengere Integrationsstandards aufrechterhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Softwareprojekt wie eine riesige, geschäftige Baustelle vor. Seit Jahren nutzen die Arbeiter (Entwickler) intelligente Assistenten (wie Chatbots), um ihnen beim Erstellen von Bauplänen zu helfen. Doch vor kurzem ist eine neue Art von Arbeiter eingetroffen: der Autonome Agent. Dies sind nicht nur Assistenten, die auf Anweisungen warten; sie sind wie unabhängige Roboter, die einen Hammer greifen, ein Leck reparieren, ein Handbuch schreiben und sogar ihre eigene Arbeit zur Genehmigung einreichen können, ohne dass man ihnen jeden einzelnen Schritt genau vorschreiben muss.
Die Forscher in dieser Arbeit wollten wissen: Nutzen die „Chefs“ (Core-Entwickler) und die „Neulinge“ (Peripheral-Entwickler) diese Roboter auf die gleiche Weise?
Um dies herauszufinden, untersuchten sie fast 10.000 Arbeitseinreichungen (genannt Pull Requests) von GitHub, bei denen diese Roboter die schwere Arbeit erledigt hatten. Hier ist, was sie herausgefunden haben, unterteilt in einfache Geschichten:
1. Wer nutzt die Roboter und wofür?
- Die Neulinge (Peripheral Developers): Eine kleine Gruppe von neuen oder weniger erfahrenen Arbeitern nutzt diese Roboter sehr viel. Sie behandeln die Roboter wie ein „Schweizer Taschenmesser“ und übergeben ihnen alle Arten von Aufgaben gleichermaßen: Fenster reparieren (Bugs), neue Räume bauen (Features), Bedienungsanleitungen schreiben (Dokumentation) und die Wasserleitungen testen (Testing).
- Die Chefs (Core Developers): Die erfahrenen Führungskräfte nutzen die Roboter ebenfalls, aber sie sind wählerischer. Sie schicken die Roboter hauptsächlich zu den langweiligen, repetitiven Aufgaben: das Schreiben von Anleitungen und das Durchführen von Tests. Sie bitten die Roboter selten, komplexe Bugs zu beheben oder neue Funktionen zu bauen.
- Das Ergebnis: Obwohl beide Gruppen die Roboter nutzen, wird die robotergestützte Arbeit der Chefs viel häufiger genehmigt und in das Hauptgebäude integriert als die der Neulinge. Es scheint, dass ein „Ruf“ immer noch zählt, selbst wenn ein Roboter die Arbeit erledigt hat.
2. Wie prüfen sie die Arbeit des Roboters?
Stellen Sie sich vor, die Roboter reichen ihre fertige Arbeit bei einem Qualitätskontrolleur ein.
- Die Chefs: Sie sind die strengeren Inspektoren. Sie schreiben etwas mehr Kommentare und stellen mehr Fragen. Wenn sie ein Problem finden, sagen sie nicht einfach: „Das sieht unordentlich aus.“ Sie sagen oft: „Hier ist ein völlig anderer Weg, dies zu bauen, der stabiler wäre.“ Sie konzentrieren sich auf die langfristige Gesundheit des Gebäudes.
- Die Neulinge: Sie prüfen die Arbeit ebenfalls, konzentrieren sich aber eher auf das unmittelbare Aussehen und Gefühl. Sie sagen vielleicht: „Hey, diese Ziegel sind in einer seltsamen Reihenfolge gestapelt; lass uns sie neu anordnen.“ Sie kümmern sich um Organisation und Struktur.
- Die Überraschung: Beide Gruppen sorgen sich hauptsächlich darum, ob das Gebäude in Zukunft leicht erweitert oder verändert werden kann (Evolvierbarkeit).
3. Beheben sie die Fehler des Roboters?
- Meistens Nein: In etwa 74 % der Fälle war die vom Roboter eingereichte Arbeit gut genug, dass die Menschen gar nichts daran geändert haben. Sie haben einfach nur auf „Genehmigen“ geklickt.
- Wenn sie es doch tun: Wenn ein Mensch eingreift, um den Code des Roboters zu ändern, führen sie meistens ein „Refactoring“ durch. Stellen Sie sich das wie das Aufräumen eines unordentlichen Zimmers vor – man rückt Möbel um, damit der Fluss besser ist, anstatt die Wände neu zu bauen.
- Neulinge nutzen den Roboter tendenziell und greifen dann ein, um spezifische defekte Dinge (Bugs) zu beheben.
- Chefs greifen tendenziell ein, um die Dokumentation (die Bedienungsanleitungen) zu verbessern und die Struktur aufzuräumen.
4. Der „Sicherheitscheck“ (CI-Pipeline)
Bevor ein neuer Raum zu einem Gebäude hinzugefügt wird, führen Sicherheitsinspektoren eine Reihe automatisierter Tests durch (wie zum Beispiel die Prüfung, ob die Feueralarme funktionieren).
- Die Chefs: Sie sind sehr streng. Sie lassen die Arbeit eines Roboters fast nie in das Hauptgebäude, es sei denn, alle Sicherheitstests sind bestanden. Sie fungieren als die ultimativen Türsteher.
- Die Neulinge: Sie sind eher bereit, die Arbeit des Roboters einzufügen, selbst wenn einige Sicherheitstests noch laufen oder fehlgeschlagen sind. Sie integrieren die Arbeit etwa doppelt so oft wie die Chefs, ohne auf den vollständigen Sicherheitsbericht zu warten.
Das große Fazit
Die Arbeit kommt zu dem Schluss, dass Erfahrung immer noch zählt, selbst wenn Roboter die Arbeit erledigen.
- Der „Mühsal“-Faktor (Toil Factor): Beide Gruppen nutzen Roboter, um die langweilige, mühsame Arbeit (wie das Schreiben von Anleitungen und das Durchführen von Tests) zu erledigen, was ihnen Zeit für wichtigere Denkaufgaben verschafft.
- Die Vertrauenslücke: Neulinge vertrauen den Robotern manchmal zu schnell und integrieren die Arbeit manchmal, bevor sie vollständig geprüft wurde. Die erfahrenen Führungskräfte halten weiterhin die Zügel in der Hand und stellen sicher, dass das Endprodukt sicher und hochwertig ist.
- Die Lehre: Wir sollten nicht davon ausgehen, dass, weil ein Roboter die Arbeit erledigt hat, jeder sie gleich behandelt. Das menschliche Erfahrungsniveau verändert, wie der Roboter genutzt wird, was ihm aufgetragen wird und wie sorgfältig seine Arbeit überprüft wird.
Kurz gesagt: Die Roboter sind großartige Werkzeuge, aber die „Chefs“ sind immer noch diejenigen, die sicherstellen, dass das Gebäude nicht zusammenbricht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.