Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time

Dit onderzoek analyseert een dataset van 110.000 pull requests om de activiteitspatronen van autonome coderingsagenten te vergelijken met menselijke bijdragen en concludeert dat, hoewel hun rol in open-sourceprojecten groeit, hun code over de tijd meer wijzigingen (churn) ondergaat dan door mensen geschreven code.

De kern

Titel: De Digitale Werknemers: Wat doen ze en blijven ze hangen?

Stel je voor dat softwareontwikkeling een enorme bouwplaats is. Vroeger werkten hier alleen mensen: architecten, metselaars en timmerlieden. Maar sinds kort zijn er nieuwe, digitale werknemers op de bouwplaats verschenen: AI-agenten. Dit zijn slimme computerprogramma's die niet alleen helpen met een steen leggen, maar hele muren kunnen opbouwen, plannen kunnen maken en zelfs hun eigen werk controleren.

De auteurs van dit onderzoek (van universiteiten in Nederland en de VS, en van GitHub) hebben zich afgevraagd: Wat doen deze digitale werknemers eigenlijk op de echte bouwplaats, en hoe lang blijft hun werk staan?

Hier is het verhaal van hun ontdekking, vertaald in gewone taal:

1. De Grote Verzameling (De Dataset)

De onderzoekers hebben een gigantische verzameling bij elkaar gebracht: ongeveer 110.000 bouwplannen (zogenoemde 'Pull Requests') van GitHub. Ze keken naar vijf populaire digitale werknemers:

• OpenAI Codex (de oude, ervaren leerling)
• Claude Code (de nieuwe, creatieve kunstenaar)
• GitHub Copilot (de veelzijdige assistent)
• Google Jules (de snelle nieuwkomer)
• Devin (de specialist)

Ze vergeleken deze met plannen die door echte mensen waren gemaakt. Het doel? Kijken of de digitale werknemers anders werken dan wij.

2. Waar werken ze? (De Locatie)

Je zou denken dat deze slimme robots alleen op de grootste, beroemdste bouwprojecten werken (zoals het bouwen van de Eiffeltoren). Maar dat bleek niet zo te zijn!

• Mensen: Werken vaak op grote, bekende projecten met veel volgers.
• Robots: Werken vooral op kleine, onbekende projecten (soms zelfs op projecten die nog niemand kent, de "0-sterren" projecten).

De analogie: Stel je voor dat een beroemde architect (de mens) werkt aan een stadspark, terwijl een team van snelle, digitale robot-metselaars (de AI) vooral bezig is met het bouwen van schuurtjes in de achtertuin van mensen. Ze zijn overal, maar vooral op de plekken waar nog niet veel mensen kijken.

3. Wat bouwen ze? (De Werkzaamheden)

De robots zijn erg druk. Ze maken soms hele grote veranderingen in één keer.

• Mensen: Voegen vaak kleine, zorgvuldige stukjes toe.
• Robots: Soms gooien ze een hele nieuwe vleugel aan het huis (duizenden regels code tegelijk). Ze zijn ook erg dol op het schrijven van handleidingen (documentatie) en het opschonen van bestanden, soms meer dan op het bouwen van de daadwerkelijke muren.

Een opvallend verschil: De robots werken vaak heel snel en hun plannen worden sneller goedgekeurd dan die van mensen. Alsof de bouwinspecteur zegt: "O, een robot heeft dit gedaan? Dan mag het wel, snel door!"

4. Het Grote Geheim: Hoe lang blijft het staan? (De Overleving)

Dit is het meest interessante deel van het verhaal. De onderzoekers keken niet alleen naar wat er gebouwd werd, maar ook naar wat er blijft staan na een week of drie weken.

• Mensen: Als een mens een muur zet, blijft die muur vaak staan. Het werk is stabiel.
• Robots: Als een robot een muur zet, wordt die muur vaak weer gesloopt of aangepast door een mens of een andere robot.

De analogie:
Stel je voor dat je een tuin aanlegt.

• De mens plant een boom. Die boom groeit en blijft daar staan.
• De robot plant 100 bloemen in één keer. Maar na een paar dagen merkt de tuinman dat de bloemen niet goed staan, of dat er een pad dwars doorheen moet. De robot-bloemen worden verwijderd of verplaatst.

De conclusie is dat code die door robots wordt geschreven, sneller verandert of verdwijnt dan code van mensen. Het is alsof de robots veel "proefwerk" leveren dat later moet worden bijgeschaafd. Ze zijn snel en productief, maar hun werk is minder stabiel op de lange termijn.

5. Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI-agenten een enorme rol spelen in de softwarewereld, maar dat ze nog niet perfect zijn.

• Ze zijn geweldig voor het snel opzetten van kleine projecten of het schrijven van handleidingen.
• Maar als je echt stabiele, langdurige software wilt bouwen, moeten mensen er nog steeds zorgvuldig naar kijken en het werk van de robots vaak opnieuw doen.

Kortom: De digitale werknemers zijn er in groten getale en ze zijn erg productief, maar hun werk is vaak tijdelijk. Ze zijn als de snelle, creatieve stagiairs die veel ideeën hebben, maar waar de ervaren meester-timmerman (de mens) nog steeds moet komen om te zorgen dat het werk echt goed en duurzaam is.

De onderzoekers hebben al hun data openbaar gemaakt, zodat andere wetenschappers in de toekomst kunnen blijven kijken hoe deze digitale werknemers zich ontwikkelen. Misschien worden ze in de toekomst wel zo goed dat hun muren net zo sterk blijven staan als die van de mensen!

Technische samenvatting

1. Probleemstelling en Context

De opkomst van grote taalmodellen (LLMs) voor code heeft de softwareontwikkeling fundamenteel veranderd. Waar eerdere tools voornamelijk als passieve assistenten fungeerden (bijv. code completeren), evolueren deze nu naar autonome coderingsagenten. Deze agenten kunnen zelfstandig branches aanmaken, pull requests (PR's) openen, code reviews uitvoeren en workflows beheren.

Hoewel er veel onderzoek is gedaan naar de acceptatiegraad en prestaties van deze tools in gecontroleerde omgevingen (benchmarks), ontbreekt er een breed inzicht in hun real-world gedrag en de langetermijnimpact op de kwaliteit en onderhoudbaarheid van software. Bestaand onderzoek focust vaak op een beperkt aantal populaire repositories of specifieke agenten, wat een vertekend beeld geeft. De kernvraag is: hoe verschillen agent-genereren bijdragen van menselijke bijdragen in termen van samenwerking, codekwaliteit en stabiliteit over tijd?

2. Methodologie

Dataverzameling en Dataset

De auteurs hebben een nieuw, groot dataset samengesteld bestaande uit ongeveer 110.000 open-source pull requests van GitHub.

• Tijdspanne: Juni tot augustus 2025 (een periode waarin vijf specifieke agenten actief waren).
• Onderzochte Agenten: OpenAI Codex, Claude Code, GitHub Copilot, Google Jules en Devin.
• Identificatie: Agenten werden geïdentificeerd via specifieke "signatures" zoals branch-prefices (bijv. head:codex/), auteursvelden voor bots (bijv. author:devin-ai-integration[bot]), of watermerken in de PR-beschrijving.
• Vergelijking: Een controlegroep van menselijk gegenereerde PR's werd verzameld met dezelfde methode, waarbij bekende agenten en bots (zoals Dependabot) werden uitgesloten.
• Data: De dataset omvat metadata over commits, comments, reviews, issues en bestandswijzigingen (millioenen regels code).

Analyse en Metrieken

De studie beantwoordt twee hoofdvragen (RQ's) via specifieke metrieken:

• RQ1: Activiteitspatronen en Samenwerking

  • Merge Rate & Latentie: Hoe vaak worden PR's samengevoegd en hoe snel?
  • Change Size: Aantal regels toegevoegd/verwijderd.
  • Bestandstypes: Welke talen en bestandsformaten worden aangepast?
  • Interactie: Aantal comments en reviews per PR.
  • Repository Context: Populariteit (aantal sterren) van de repositories waar de PR's worden ingediend.

• RQ2: Code Evolutie en Onderhoudbaarheid
  De auteurs analyseren de code 3 dagen, 1 week en 3 weken na het samenvoegen (merge) om stabiliteit te meten:

  • Survival Rate: Het percentage regels dat niet is gewijzigd of verwijderd na de merge. Een hoge rate betekent stabiliteit.
  • Churn Rate: Het percentage regels dat opnieuw is bewerkt of gewijzigd na de initiële commit. Een hoge rate suggereert instabiliteit of veel herwerking.
  • Deletion Rate: Het percentage regels dat is verwijderd.

3. Belangrijkste Resultaten

Activiteitspatronen (RQ1)

• Repository Populariteit: Agenten zijn oververtegenwoordigd in onpopulaire repositories (0 sterren). Ongeveer 75% van de PR's van Codex en Jules komt uit repositories met 0 sterren, terwijl menselijke PR's vaker in populaire repositories (10+ of 100+ sterren) voorkomen. Dit suggereert dat agenten vaak worden gebruikt voor persoonlijke projecten of "0-to-1" ontwikkeling.
• Change Size: Agent-genereren PR's zijn over het algemeen groter dan menselijke PR's. De mediaan voor menselijke PR's is ongeveer 60 regels, terwijl agenten zoals Claude gemiddeld 376 regels wijzigen.
• Bestandstypes: Agenten wijzigen vaker niet-code bestanden (zoals Markdown-documentatie) dan mensen. TypeScript/JavaScript en Python zijn de meest voorkomende talen.
• Merge Snelheid: PR's van agenten (vooral Codex en Jules) worden vaak sneller gemerged dan menselijke PR's (soms binnen minuten). Dit kan wijzen op minder complexe taken of voorafgaande menselijke controle voordat de PR wordt ingediend.
• Interactie: Menselijke PR's krijgen vaker comments en reviews dan agent-PR's. Agent-PR's worden soms "offline" beoordeeld voordat ze naar GitHub gaan.

Code Stabiliteit en Churn (RQ2)

• Lager Overlevingspercentage: Code gegenereerd door agenten heeft een significant lagere survival rate dan menselijke code. Na 3 dagen is bijna de helft van de menselijke code nog intact, terwijl agent-code vaker wordt aangepast.
• Hogere Churn: Agent-gegenereerde commits vertonen een hogere churn rate. Dit betekent dat de code sneller wordt herschreven, gerefactored of verwijderd.
• Oorzaak: De auteurs speculeren dat agenten vaak grotere, meer lokale wijzigingen maken die minder goed geïntegreerd zijn in de bredere architectuur, wat leidt tot latere correcties door menselijke ontwikkelaars.

4. Bijdragen van het Onderzoek

1. Grootschalige Dataset: Publicatie van een dataset van >110.000 PR's met gedetailleerde metadata, specifiek gericht op autonome agenten.
2. Vergelijkend Onderzoek: Een uitgebreide vergelijking van vijf populaire agenten onderling en tegenover menselijke ontwikkelaars.
3. Langetermijnperspectief: Eerste longitudinale studie die kijkt naar de stabiliteit van agent-code over tijd (churn en survival), in plaats van alleen de initiële kwaliteit.
4. Inzicht in Gebruikspatronen: Het vaststellen dat agenten voornamelijk worden gebruikt in minder populaire repositories, wat een nieuw inzicht biedt in de adoptie van deze technologie.

5. Betekenis en Conclusie

De studie concludeert dat autonome agenten een groeiende rol spelen in open-source softwareontwikkeling, maar dat hun bijdragen kwetsbaarder zijn voor verandering dan menselijke code. Hoewel agenten de productiviteit kunnen verhogen (snellere merges, grotere wijzigingen), gaat dit ten koste van de initiële stabiliteit van de code.

De bevindingen suggereren dat:

• Agenten momenteel vooral worden ingezet voor snelle, vaak eenvoudige taken in kleinere projecten.
• Er een risico is op technische schuld als agent-code niet zorgvuldig wordt beoordeeld, gezien de hogere churn.
• De software-engineering gemeenschap moet zich bewust zijn van deze "churn" wanneer ze AI-tools integreren in hun workflows.

Dit onderzoek vormt een belangrijke basis voor toekomstig werk gericht op het verbeteren van de onderhoudbaarheid van AI-genereren code en het ontwikkelen van betere evaluatiemethoden voor autonome agents in de echte wereld.