Are We All Using Agents the Same Way? An Empirical Study of Core and Peripheral Developers Use of Coding Agents
Deze empirische studie van 9.427 agentic pull requests onthult duidelijke gebruikspatronen tussen kernontwikkelaars en perifere ontwikkelaars, waarbij wordt aangetoond dat terwijl perifere ontwikkelaars een breder scala aan taken delegeren en vaker mergen zonder verificatie, kernontwikkelaars zich concentreren op documentatie en testen terwijl zij strengere integratiestandaarden handhaven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een softwareproject voor als een enorme, bruisende bouwplaats. Jarenlang hebben de arbeiders (ontwikkelaars) slimme assistenten (zoals chatbots) gebruikt om hen te helpen bij het maken van blauwdrukken. Maar onlangs is er een nieuw type arbeider gearriveerd: de Autonome Agent. Dit zijn niet alleen assistenten die wachten op instructies; het zijn eerder onafhankelijke robots die een hamer kunnen pakken, een lek kunnen repareren, een handleiding kunnen schrijven en zelfs hun eigen werk kunnen indienen voor goedkeuring zonder dat ze precies verteld wordt hoe ze elke stap moeten zetten.
De onderzoekers in dit artikel wilden weten: Gebruiken de "Bazen" (Core Developers) en de "Nieuwe Medewerkers" (Peripheral Developers) deze robots op dezelfde manier?
Om dit te achterhalen, keken ze naar bijna 10.000 werkzaamheden (Pull Requests) op GitHub, waarbij deze robots het zware werk hebben gedaan. Dit is wat ze ontdekten, onderverdeeld in eenvoudige verhalen:
1. Wie gebruikt de robots, en waarvoor?
- De Nieuwe Medewerkers (Peripheral Developers): Een kleine groep nieuwe of minder ervaren arbeiders gebruikt deze robots veel. Ze behandelen de robots als een "Zwitsers zakmes" en geven ze allerlei soorten taken gelijkmatig: het repareren van kapotte ramen (bugs), het bouwen van nieuwe kamers (features), het schrijven van instructiehandleidingen (documentatie) en het testen van de waterleidingen (testing).
- De Bazen (Core Developers): De ervaren leiders gebruiken de robots ook, maar zij zijn kieskeuriger. Ze sturen de robots vooral aan voor de saaie, repetitieve klusjes: het schrijven van handleidingen en het uitvoeren van tests. Ze vragen de robots zelden om complexe bugs op te lossen of nieuwe functies te bouwen.
- Het Resultaat: Hoewel beide groepen de robots gebruiken, wordt het door de robots gemaakte werk van de Bazen veel vaker goedgekeurd en toegevoegd aan het hoofdgebouw. Het lijkt erop dat een "reputatie" nog steeds belangrijk is, zelfs wanneer een robot het werk heeft gedaan.
2. Hoe inspecteren zij het werk van de robot?
Stel je voor dat de robots hun voltooide werk indienen bij een kwaliteitscontroleur.
- De Bazen: Zij zijn de strengere inspecteurs. Ze schrijven iets meer commentaar en stellen meer vragen. Wanneer ze een probleem vinden, zeggen ze niet alleen: "Dit ziet er slordig uit." Ze zeggen vaak: "Hier is een compleet andere manier om dit te bouwen die sterker zou zijn." Ze focussen op de gezondheid van het gebouw op de lange termijn.
- De Nieuwe Medewerkers: Zij inspecteren het werk ook, maar ze richten zich meer op de directe vorm en structuur. Ze zeggen misschien: "Hé, deze stenen zijn in een vreemde volgorde gestapeld; laten we ze opnieuw ordenen." Ze geven om de organisatie en de structuur.
- De Verrassing: Beide groepen maken zich vooral zorgen over de vraag of het gebouw in de toekomst gemakkelijk kan worden uitgebreid of aangepast (evolvability).
3. Fixen zij de fouten van de robot?
- Meestal niet: In ongeveer 74% van de gevallen was het door de robot ingediende werk goed genoeg zodat de mensen er helemaal niets aan hoefden te veranderen. Ze drukten simpelweg op "Approve".
- Wanneer ze het wel fixen: Als een mens wel ingrijpt om de code van de robot aan te passen, doen ze meestal een "refactor". Zie dit als het opruimen van een rommelige kamer — het verschuiven van meubels om de doorloop te verbeteren, in plaats van de muren te herbouwen.
- Nieuwe Medewerkers gebruiken de robot meestal, om vervolgens zelf in te grijpen om specifieke defecten (bugs) te herstellen.
- Bazen grijpen meestal in om de documentatie (de instructiehandleidingen) te verbeteren en de structuur op te schonen.
4. De "Veiligheidscontrole" (CI Pipeline)
Voordat er een nieuwe kamer aan een gebouw wordt toegevoegd, voeren veiligheidsinspecteurs een reeks geautomatiseerde tests uit (zoals controleren of de brandmelders werken).
- De Bazen: Zij zijn zeer strikt. Ze laten het werk van een robot bijna nooit toe in het hoofdgebouw, tenzij alle veiligheidstests zijn geslaagd. Zij fungeren als de ultieme poortwachters.
- De Nieuwe Medewerkers: Zij zijn eerder bereid om het werk van de robot toe te laten, zelfs als sommige veiligheidstests nog bezig zijn of zijn mislukt. Ze voegen het werk ongeveer twee keer zo vaak toe zonder te wachten op het volledige veiligheidsrapport.
De Belangrijkste Conclusie
Het artikel concludeert dat ervaring nog steeds belangrijk is, zelfs wanneer robots het werk doen.
- De "Toil"-factor: Beide groepen gebruiken robots om het saaie, tijdrovende werk (zoals het schrijven van handleidingen en het uitvoeren van tests) te elimineren, waardoor ze vrijkomen voor belangrijker denkwerk.
- De Vertrouwenskloof: Nieuwe medewerkers vertrouwen de robots soms te snel en voegen werk toe voordat het volledig is gecontroleerd. De ervaren leiders houden nog steeds de teugels in handen en zorgen ervoor dat het eindproduct veilig en van hoge kwaliteit is.
- De Les: We mogen er niet vanuit gaan dat omdat een robot het werk heeft gedaan, iedereen het op dezelfde manier zal behandelen. Het menselijke ervaringsniveau verandert hoe de robot wordt gebruikt, wat er aan de robot wordt gevraagd en hoe zorgvuldig het werk wordt gecontroleerd.
Kortom, de robots zijn geweldige hulpmiddelen, maar de "Bazen" zijn nog steeds degene die ervoor zorgen dat het gebouw niet instort.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.