💻 computer science

Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance

Deze empirische studie analyseert 7.156 pull requests om aan te tonen dat, hoewel Devin een uniek positief tijdelijk trend in acceptatie vertoont, het taaktype de dominante factor is die succespercentages beïnvloedt, waarbij OpenAI Codex de meest consistente hoge prestaties laat zien over diverse categorieën, ondanks dat geen enkele agent uitblinkt in alle taaktypen.

Oorspronkelijke auteurs: Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke bouwplaats. In plaats van menselijke arbeiders heb je vijf verschillende AI-robots (OpenAI Codex, GitHub Copilot, Devin, Cursor en Claude Code) die code kunnen schrijven, bugs kunnen oplossen en documentatie kunnen schrijven. Je doel is om te zien welke robot het beste zijn werk goedgekeurd krijgt door de inspecteurs van de bouwplaats (de "Pull Request Acceptance Rate").

Dit artikel is als een gedetailleerd rapport dat deze vijf robots over een periode van enkele maanden vergelijkt. Hier is wat ze hebben gevonden, eenvoudig uitgelegd:

1. Het "Soort Werk" Is Belangrijker Dan De Robot

De grootste verrassing was niet welke robot het snelst was, maar wat voor soort werk ze deden.

De Analogie: Stel je voor dat je een robot vraagt om "een gedicht te schrijven" versus "een brug te bouwen". Het schrijven van een gedicht is meestal makkelijker om goedgekeurd te krijgen dan het bouwen van een brug.
De Bevinding: Het artikel vond dat het type taak de belangrijkste factor is.
- Wanneer de robots werden gevraagd om documentatie te doen (zoals het schrijven van handleidingen of commentaar), kregen ze 82% van de tijd goedkeuring.
- Wanneer ze werden gevraagd om nieuwe functies te bouwen (zoals het toevoegen van een nieuwe kamer aan een huis), kregen ze slechts 66% van de tijd goedkeuring.
De Les: Als je een robot alleen beoordeelt op basis van zijn algemene score, kun je misleid worden. Een robot die voornamelijk makkelijke "gedichtschrijf"-taken doet, zal eruitzien als een ster, zelfs als hij slecht is in "brugbouwen".

2. Er Is Geen Enkele Robot Die Elke Categorie Wint

Er is geen "beste robot" voor alles. Elke robot heeft een specifieke superkracht.

OpenAI Codex: Dit is de betrouwbare allrounder. Het presteerde consistent goed bij bijna elk type werk en zakte nooit onder een fatsoenlijke score.
Claude Code: Dit is de Documentatiespecialist. Het was het beste in het schrijven van handleidingen en het creëren van nieuwe functies, maar we moeten voorzichtig zijn omdat het in deze studie niet veel andere taken uitvoerde.
Cursor: Dit is de Bugfixer. Als het aankwam op het repareren van kapotte dingen, was het de beste presteerder.
Devin: Deze robot begon traag maar werd na verloop van tijd beter. Het was de enige die een duidelijke trend van verbetering per week liet zien, opklimmend van ongeveer 60% goedkeuring naar 80%.

3. Tijd Verandert Dingen (Maar Niet Voor Iedereen)

De onderzoekers observeerden deze robots maandenlang om te zien of ze leerden of verbeterden.

De Analogie: Denk eraan als een student die elke week een toets maakt.
- Devin is als de student die hard studeert en elke week hogere scores behaalt.
- De anderen zijn als studenten die al slim zijn; ze beginnen hoog en blijven hoog, maar ze tonen niet veel verbetering na verloop van tijd. Ze blijven gewoon consistent.

4. Waarom De "Wereldwijde Score" Misleidend Is

Het artikel waarschuwt voor het kijken naar één enkele "gemiddelde score" voor een robot.

De Analogie: Stel je twee chefs voor. Chef A kookt alleen simpele salades (die iedereen leuk vindt). Chef B kookt alleen complexe, pittige stoofpotjes (die moeilijker goed te krijgen zijn). Als je alleen kijkt naar de "gemiddelde klantbeoordeling", ziet Chef A misschien beter uit. Maar dat betekent niet dat Chef A een betere chef is; het betekent gewoon dat ze makkelijker ingrediënten kregen.
De Bevinding: De onderzoekers moesten de robots scheiden op basis van het type werk dat ze deden om een eerlijke vergelijking te krijgen. Zodra ze dat deden, ontdekten ze dat de "beste" robot veranderde, afhankelijk van of het werk ging over het oplossen van een bug, het schrijven van een test of het updaten van een document.

Samenvatting

Als je een AI-programmeerassistent wilt aannemen, vraag dan niet alleen: "Wie is de beste?"

Als je bugfixes nodig hebt, kijk dan naar Cursor of OpenAI Codex.
Als je nieuwe functies of documentatie nodig hebt, zijn Claude Code of OpenAI Codex misschien je beste opties.
Als je een robot wilt die lijkt te leren en verbeteren na verloop van tijd, is Devin degene om in de gaten te houden.

De belangrijkste les is dat context koning is. Je kunt een tool niet beoordelen zonder precies te weten welk werk er van hem wordt gevraagd.

Technische Samenvatting: Vergelijking van AI-programmeeragenten: Een taakgestratificeerde analyse van pull request-acceptatie

Probleemstelling

De snelle integratie van AI-aangedreven programmeerassistenten in software-engineeringswerkstromen heeft het paradigma verschoven van eenvoudige code-aanvulling naar autonome agenten die functies kunnen genereren, bugs kunnen oplossen en onafhankelijk pull requests (PR's) kunnen aanmaken. Systematische vergelijkingen van de effectiviteit van deze agenten blijven echter beperkt. Bestaande evaluaties vertrouwen vaak op globale prestatie-indicatoren die geen onderscheid maken tussen de inherente capaciteit van een agent en de specifieke verdeling van de taken die aan die agent worden toegewezen. Een agent die voornamelijk documentatietaken afhandelt (die doorgaans hogere acceptatiepercentages hebben), kan bijvoorbeeld superieur lijken aan een agent die complexe functiemodulaties implementeert, zelfs als deze laatste over sterkere onderliggende capaciteiten beschikt. Dit verstorende effect, gecombineerd met een gebrek aan longitudinale gegevens over hoe de prestaties van agenten in de loop van de tijd evolueren, creëert een lacune in het begrip van de ware effectiviteit van verschillende AI-programmeeragenten in de praktijk van softwareontwikkeling.

Methodologie

Deze studie presenteert een empirische analyse van 7.156 gesloten pull requests uit de AIDev-dataset, specifiek de AIDev-POP-subset (repositories met 100+ sterren). De dataset bestrijkt vijf populaire AI-programmeeragenten: OpenAI Codex, GitHub Copilot, Devin, Cursor en Claude Code.

Datafiltering en voorverwerking:
De auteurs filterden de ruwe dataset van 33.596 PR's om alleen te behouden:

Gesloten PR's.
PR's uit repositories met permissieve licenties (MIT of Apache-2.0).
PR's die ten minste één review of opmerking ontvingen van een mens anders dan de maker, om een zinvolle evaluatie te waarborgen.

Indicatoren en statistische aanpak:

Succesindicator: Gedefinieerd als het acceptatiepercentage (aandeel samengevoegde PR's).
Temporele analyse (RQ1): Lineaire regressiemodellen ( $y = \beta_0 + \beta_1 \cdot t + \varepsilon$ ) en LOESS-gladmaking werden toegepast op acceptatiepercentages over de tijd om evolutiepatronen te identificeren.
Factorenanalyse (RQ2): De studie onderzocht correlaties tussen acceptatiepercentages en taaktypes, evenals reviewfrequentie.
Vergelijkende analyse (RQ3): Om heterogeniteit in werkdruk aan te pakken, voerden de auteurs taakgestratificeerde paarsgewijze vergelijkingen uit. Met behulp van Pearsons chi-kwadraattoetsen voor onafhankelijkheid (en Fishers exacte toets voor schaarse gegevens) vergeleken ze agenten binnen specifieke taakcategorieën (bijv. functies, fixes, documentatie).
- Significantieregeling: Een Bonferronivermindering werd toegepast over 64 toetsen ( $\alpha \approx 0,00078$ ) om te controleren voor meervoudige vergelijkingen.
- Effectgrootte: De phi-coëfficiënt ( $\phi$ ) werd gerapporteerd om de grootte van het effect te meten.

De studie erkent expliciet haar observationele aard, met de opmerking dat hoewel het patronen documenteert, het geen causaliteit claimt vanwege mogelijke verstorende factoren zoals concentratie van repositories, veranderingen in gebruikersgedrag en modelupdates.

Belangrijkste bijdragen

Analyse van temporele evolutie: De studie onthult heterogene evolutiepatronen over agenten heen. Devin is de enige agent die een consistent positief trend in het acceptatiepercentage toont over een periode van 32 weken, terwijl anderen grotendeels stabiel blijven.
Taakgestratificeerde methodologie: Het artikel introduceert een methodologie die heterogeniteit in werkdruk controleert door agenten binnen specifieke taakcategorieën te evalueren, waardoor misleidende conclusies die worden getrokken uit globale gemiddelden worden voorkomen.
Dominantie van taaktype: Empirisch bewijs toont aan dat taaktype een dominante factor is die acceptatiepercentages beïnvloedt, wat een gat van 29 procentpunten creëert tussen de hoogst presterende categorie (chore: 84,0%) en de laagst presterende (performance: 55,4%). Dit gat overschrijdt vaak de variantie die wordt waargenomen tussen verschillende agenten binnen dezelfde categorie.
Agent-specifieke sterktes: De analyse identificeert dat geen enkele agent alle anderen overtreft in alle taaktypes. Prestaties zijn sterk contextafhankelijk.

Belangrijkste resultaten

Temporele trends (RQ1):

Devin toonde een consistente verbetering van +0,77% per week ( $R^2 = 0,34$ ), stijgend van ongeveer 60% naar ongeveer 80% acceptatie.
OpenAI Codex en GitHub Copilot vertoonden plateau-gedrag, waarbij ze vanaf hun eerste waargenomen week consequent hoge acceptatiepercentages handhaafden.

Prestatiefactoren (RQ2):

Taaktype: Documentatietaken behaalden een 82,1% acceptatiepercentage, vergeleken met 66,1% voor nieuwe functies – een gat van 16 procentpunten.
Reviewfrequentie: GitHub Copilot-PR's ontvingen significant meer reviews per PR (4,94) vergeleken met OpenAI Codex (1,39), wat correleerde met lagere acceptatiepercentages, hoewel de auteurs opmerken dat dit mogelijk taakcomplexiteit of repositorybeleid weerspiegelt in plaats van een directe causale link.

Agentvergelijkingen (RQ3):

OpenAI Codex toonde consequent hoge acceptatiepercentages in alle negen geanalyseerde taakcategorieën (variërend van 59,6% tot 88,6%), en leidde in fix- (83,0%) en refactor- (74,3%) taken.
Claude Code leidde in documentatie (92,3%) en functies (72,6%), hoewel met een kleinere steekproefgrootte.
Cursor excelleerde in test-taken (77,8%) en fix-taken (80,4%).
Statistische significantie: Van de 64 gestratificeerde vergelijkingen waren slechts 6 statistisch significant na Bonferronivermindering. Alle significante verschillen betroffen fix- of feat-taken. Opmerkelijk is dat Devin onderpresteerde ten opzichte van Codex, Copilot en Cursor, specifiek in fix-taken.

Betekenis en implicaties

Het artikel betoogt dat de "beste" AI-programmeeragent geen universeel concept is, maar afhankelijk is van de specifieke taak die op dat moment moet worden uitgevoerd. De aanzienlijke variantie in acceptatiepercentages op basis van taaktype suggereert dat globale prestatie-indicatoren misleidend kunnen zijn.

Voor praktici: De keuze van de agent moet worden gedreven door de specifieke werkstroom. Voor bugfixes tonen Cursor en OpenAI Codex sterke prestaties, terwijl Devin relatieve zwakte toont in dit domein. Documentatietaken tonen minimale differentiatie tussen agenten. De auteurs suggereren dat praktici kunnen profiteren van het aannemen van een combinatie van agenten die zijn toegespitst op verschillende werkstromen.
Voor onderzoekers: De studie pleit voor taakstratificatie als standaardpraktijk in toekomstige evaluaties. Globale indicatoren moeten worden aangevuld met taakverdelingen, en vergelijkingen moeten worden gestratificeerd om verstorende variabelen te controleren. De auteurs benadrukken ook de behoefte aan complementaire indicatoren (bijv. statische analyse, technische schuld) naast eenvoudige acceptatiepercentages om langetermijnkwaliteit van code te vangen.

De studie concludeert dat hoewel AI-agenten softwareontwikkeling transformeren, hun evaluatie genuanceerde, contextbewuste methodologieën vereist die rekening houden met zowel taakheterogeniteit als temporele dynamiek.