🤖 AI

How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests

Deze studie analyseert 24.014 samengevoegde pull requests van AI-coderingsagenten en vergelijkt deze met menselijke bijdragen om empirisch vast te stellen dat agenten aanzienlijk meer commits genereren en een hogere consistentie vertonen tussen hun beschrijvingen en code-wijzigingen.

Oorspronkelijke auteurs: Daniel Ogenrwot, John Businge

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Ogenrwot, John Businge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe AI-robots code schrijven: Een kijkje in de keuken van GitHub

Stel je voor dat softwareontwikkeling een enorme, levende stad is. De gebouwen zijn de computerprogramma's, en de straten zijn de code die alles laat werken. In het verleden waren alleen mensen de architecten en bouwvakkers die nieuwe gebouwen toevoegden of oude repareerden. Maar nu zijn er AI-coding agents (kunstmatige intelligentie-robots) bijgekomen die ook meehelpen bouwen.

Deze robots kunnen zelfstandig voorstellen doen om de stad te verbeteren. Ze schrijven een briefje (een Pull Request of PR) waarin ze zeggen: "Ik heb dit nieuwe raam geplaatst" of "Ik heb die lekke dakgoot gerepareerd."

De onderzoekers Daniel en John hebben gekeken naar duizenden van deze voorstellen om te zien: Hoe verschillen de robots van de mensen? Ze hebben gekeken naar twee belangrijke dingen:

Hoe groot en ingewikkeld is hun werk? (De structuur)
Hoe goed beschrijven ze wat ze hebben gedaan? (De communicatie)

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. De grootte van het werk: "De klusjesman versus de hoofdbouwer"

Stel je voor dat je een huis moet renoveren.

Mensen doen vaak grote klussen. Ze kunnen een hele kamer slopen, nieuwe muren zetten én de vloer vervangen in één keer. Hun voorstellen zijn vaak groot, omvatten veel verschillende onderdelen (veel bestanden) en worden in meerdere stappen (commits) gedaan. Het is alsof ze een heel project leiden.
De Robots (AI) zijn meer als snelle klusjesmannen. Ze komen vaak binnen om één specifieke, kleine reparatie te doen. Ze maken vaak minder grote veranderingen en houden het heel lokaal. Ze werken vaak in één keer af, in plaats van in tientallen kleine stapjes.

Het verrassende detail: Niet alle robots zijn hetzelfde.

Sommige robots (zoals Devin of Copilot) zijn heel precies en maken alleen heel kleine, gerichte reparaties.
Andere robots (zoals Claude Code of OpenAI Codex) zijn wat vrijer en maken soms grotere, bredere veranderingen, die meer lijken op wat mensen doen.

De les: Robots veranderen niet per se meer code dan mensen, maar ze organiseren hun werk anders. Ze maken vaak kleinere, meer gefocuste pakketjes.

2. De beschrijving: "Hoe goed is het verhaal?"

Elke keer als iemand iets aan het huis toevoegt, moet ze een briefje schrijven: "Ik heb de deur geschilderd."

Mensen schrijven soms een kort briefje dat niet helemaal overeenkomt met wat ze hebben gedaan. Misschien zeggen ze "Ik heb de deur gerepareerd", terwijl ze eigenlijk alleen de scharnieren hebben vervangen.
Robots blijken verrassend goed te zijn in het schrijven van hun briefjes.

De onderzoekers keken naar twee soorten "match":

Woordelijk: Gebruiken ze dezelfde woorden in hun briefje als in de code? (Bijvoorbeeld: "scharnier" in de tekst en "scharnier" in de code). Hier scoorden beide groepen laag. Dat is normaal; code en taal zijn vaak verschillend.
Betekenis: Begrijpen ze de essentie van hun werk? Als een robot "scharnieren vervangt" en in de code staat "draai bouten los en schroef nieuwe vast", begrijpt de AI dat dit hetzelfde betekent.

Het resultaat: De robots schrijven hun briefjes net zo goed (en soms zelfs iets beter) dan mensen. Hun verhaal past heel nauwkeurig bij wat ze daadwerkelijk hebben gebouwd. Ze zijn dus niet alleen goede bouwers, maar ook goede verslaggevers.

Waarom is dit belangrijk?

Vroeger dachten we misschien dat robots chaotisch werkten of slecht konden communiceren. Dit onderzoek laat zien dat:

Ze betrouwbaar zijn: Ze weten precies wat ze doen en vertellen het duidelijk.
Ze anders werken: Ze zijn niet "mensen in een robotpak". Ze werken in kleinere, meer gestructureerde blokken.

Wat betekent dit voor de toekomst?
Als je een bouwteam leidt (een softwareteam), moet je weten dat je nu robots in dienst hebt die anders werken dan mensen. Je kunt hun werk sneller herkennen aan de manier waarop ze het presenteren (kleine, gefocuste pakketjes). En je kunt erop vertrouwen dat hun uitleg klopt, zodat je minder tijd hoeft te besteden aan het raden van wat ze bedoelden.

Kortom: De robots zijn aangekomen in de stad, ze bouwen netjes, en ze weten precies wat ze zeggen. Ze zijn geen vervangers voor de menselijke architect, maar zeer efficiënte, betrouwbare helpers.

Probleemstelling

AI-coding agents (zoals GitHub Copilot, Devin, Cursor en Claude Code) evolueren van assistieve tools naar autonome bijdragers die code genereren en pull requests (PRs) indienen. Hoewel er veel onderzoek is gedaan naar hoe ontwikkelaars met AI-suggesties interageren, ontbreekt er empirisch bewijs over hoe deze agent-genereren PRs zich in de praktijk verhouden tot menselijke bijdragen.

Specifiek zijn er twee kritieke kennisgaten:

Structuur van wijzigingen: Hoe verschillen de manier waarop agents code wijzigen (aantal commits, bestanden geraakt, toegevoegde/verwijderde regels) van die van mensen?
Communicatieve helderheid: Hoe nauwkeurig beschrijven de PR-omschrijvingen (beschrijvingen) de daadwerkelijke code-wijzigingen (diffs) bij agents in vergelijking met mensen?

Het begrijpen van deze verschillen is essentieel om de betrouwbaarheid, het onderhoudseffect en de communicatie tijdens code-reviews te beoordelen.

Methodologie

De auteurs voerden een grootschalige empirische studie uit met behulp van de MSR 2026 Mining Challenge dataset (AIDev dataset).

Datacollectie en Voorbereiding:

Dataset: Het onderzoek gebruikte een subset van 24.014 samengevoegde (merged) Agentic PRs (440.295 commits) en 5.081 samengevoegde Human PRs (23.242 commits) uit 116.211 repositories.
Dataherstel: Omdat de Human PRs in de originele dataset geen commit-level details bevatten, hebben de auteurs deze handmatig gereconstrueerd via de GitHub REST API om een eerlijke vergelijking mogelijk te maken.
Filtering: Alleen PRs met geldige patches (niet-lege unified diffs) werden geselecteerd.

Analyse-metrics:
De studie beantwoordde twee onderzoeksvragen (RQs) via de volgende metrics:

RQ1 (Structurele kenmerken):
- Aantal commits per PR.
- Aantal bestanden geraakt (files touched).
- Aantal toegevoegde en verwijderde regels (Lines of Code - LOC).
- Statistiek: Omdat de data niet normaal verdeeld was, werd de Mann-Whitney U-test gebruikt. Effectgroottes werden gemeten met Cliff's delta ( $\delta$ ).
RQ2 (Alignement tussen beschrijving en code):
- Lexicale similariteit: Gemeten met TF-IDF cosine similarity en Okapi BM25 (oppervlakkige woord-overlap).
- Semantische similariteit: Gemeten met embeddings van CodeBERT en GraphCodeBERT om de betekenis van de beschrijving te vergelijken met de betekenis van de code-wijzigingen.

Belangrijkste Bijdragen

Grootschalige Vergelijking: Eerste empirische studie die duizenden agent- en menselijke PRs structureel vergelijkt op repository-niveau.
Alignement-evaluatie: Een nieuwe evaluatie van hoe goed agent-gegenereerde beschrijvingen de onderliggende code-wijzigingen weergeven, zowel lexicaal als semantisch.
Reproduceerbaarheid: Publicatie van een replicatiepakket met de verzamelde data en analyse-scripts.

Resultaten

RQ1: Structurele Kenmerken

Commits: Het grootste verschil zit in het aantal commits. Menselijke PRs hebben aanzienlijk meer commits dan agent-PRs (Cliff's $\delta = 0.5429$ , groot effect). Agents maken vaak compactere, meer gefocuste wijzigingen.
Bestanden en Regels: Menselijke PRs raken meer bestanden en verwijderen meer code (medium effect). Agents zijn gericht op kleinere, gelokaliseerde wijzigingen.
Agent-variatie: Niet alle agents zijn hetzelfde. Devin, Cursor en Copilot produceren zeer compacte wijzigingen, terwijl Claude Code en OpenAI Codex een bredere variatie vertonen die dichter bij menselijke patronen ligt.
Conclusie: Het onderscheidend vermogen van agents zit niet zozeer in de hoeveelheid code die ze veranderen, maar in hoe ze die veranderingen structureren (minder commits, minder bestanden).

RQ2: Alignement Beschrijving vs. Code

Semantische Alignement: Zowel menselijke als agent-PRs tonen een zeer hoge semantische similariteit (scores tussen 0,9 en 1,0). Dit betekent dat de beschrijvingen de betekenis van de code-wijzigingen goed vatten.
Lexicale Alignement: De lexicale overlap (woord-overlap) is laag voor beide groepen, wat aangeeft dat de beschrijvingen niet letterlijk de code herhalen.
Vergelijking: Agent-PRs vertonen een licht hogere consistentie tussen beschrijving en diff dan menselijke PRs, vooral in de semantische metrics. Agents lijken hun wijzigingen dus minstens zo goed (en soms iets beter) te beschrijven als mensen.

Betekenis en Implicaties

Code Review en Triage: Review-processen kunnen worden geoptimaliseerd door te kijken naar het aantal commits en bestanden als vroege indicatoren voor de scope van een PR. Een agent-PR met veel commits of veel bestanden kan een afwijkend patroon vertonen dat extra aandacht vereist.
Betrouwbaarheid: De hoge semantische alignement suggereert dat agent-gegenereerde PRs betrouwbaar zijn in het communiceren van hun intentie, wat nuttig is voor geautomatiseerde taken zoals het genereren van release notes of change logs.
Heterogeniteit: Agents gedragen zich niet uniform. Het is belangrijk om rekening te houden met het specifieke agent-type bij het voorspellen van review-effort of defectrisico's.
Toekomstig Werk: Er is meer onderzoek nodig om te zien hoe deze structurele patronen zich vertalen naar concrete risico's op bugs of onderhoudskosten.

Samenvattend toont dit onderzoek aan dat AI-coding agents fundamenteel anders werken dan mensen (minder gefragmenteerde commits, gelokaliseerde wijzigingen), maar dat ze zeer bekwaam zijn in het coherent beschrijven van hun werk.