💻 computer science

Novice Developers Produce Larger Review Overhead for Project Maintainers while Vibe Coding

Onderzoek naar 22.953 pull requests toont aan dat minder ervaren 'vibe coders' die AI gebruiken meer code genereren maar aanzienlijk meer reviewtijd vereisen en een lagere acceptatiegraad hebben dan ervaren ontwikkelaars, wat aangeeft dat ze de verificatielast verschuiven naar maintainers.

Oorspronkelijke auteurs: Syed Ammar Asdaque, Imran Haider, Muhammad Umar Malik, Maryam Abdul Ghafoor, Abdul Ali Bangash

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Syed Ammar Asdaque, Imran Haider, Muhammad Umar Malik, Maryam Abdul Ghafoor, Abdul Ali Bangash

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom beginners met AI-codeerhulpmiddelen meer werk voor de chef-kok opleveren

Stel je voor dat softwareontwikkelaars koks zijn in een enorme, drukke keuken (het open-source project). Vroeger moest je jarenlang in de leer om een gerecht te kunnen maken dat de chef-kok (de projectbeheerder) goedkeurde.

Vandaag de dag hebben we een nieuwe tool: een superkrachtige, AI-gestuurde robotarm die je kunt aansturen met je stem. Je zegt: "Maak een taart," en de robotarm pakt de ingrediënten en begint te bakken. Dit noemen ze "Vibe Coding". Je hoeft niet meer elke stap zelf te doen; je geeft alleen de "vibe" of de richting aan.

De grote vraag voor de chef-koks is: Kan een beginnende kok met deze robotarm net zo goed werk leveren als een ervaren meesterkok met dezelfde robot?

De auteurs van dit onderzoek hebben gekeken naar bijna 23.000 "gerechten" (code-aanpassingen) die door 1.700 koks met deze robotarm zijn gemaakt. Ze hebben de koks in twee groepen verdeeld:

De Meesters (Ervaring): Koks die al jaren in de keuken staan.
De Beginners (Weinig ervaring): Koks die nog maar net beginnen.

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De beginners maken grotere rompslomp

Je zou denken dat beginners voorzichtig zijn en kleine stapjes zetten. Maar met de AI-robotarm doen ze juist het tegenovergestelde.

Het verhaal: De beginners gebruiken de AI om enorme hoeveelheden code tegelijk te genereren. Het is alsof een beginner de robotarm laat zeggen: "Bak niet één taart, maar bak een hele bakkerij vol met taarten, taartjes en gebakken deeg."
De cijfers: Beginners maken 2,15 keer meer code-stukjes en wijzigen 1,47 keer meer bestanden dan de meesters. Ze gooien er gewoon meer "deeg" op de plank.

2. De chef-kok moet veel harder werken om het te controleren

Hier komt het vervelende deel voor de projectbeheerders (de chef-koks). Omdat de beginners zo'n enorme berg code aanleveren, moet de chef-kok dit allemaal controleren.

Het verhaal: Stel je voor dat een meesterkok een perfect gebakken taart aanlevert. De chef kijkt er even naar, knikt en zegt: "Goed." Maar als een beginner een berg deeg aanlevert met daarop een taart die er een beetje raar uitziet, moet de chef-kok urenlang zoeken naar wat er mis is.
De cijfers:
- De chef-koks moeten 4,5 keer meer opmerkingen maken over de code van beginners.
- De code van beginners wordt 31% vaker geweigerd (de taart is niet eetbaar).
- Het duurt 5,16 keer langer voordat de code van een beginner eindelijk wordt goedgekeurd en in het project wordt opgenomen.

3. Waarom lukt het beginners niet zo goed?

De onderzoekers keken naar de problemen en vonden twee hoofdredenen waarom de beginners met hun robotarm vastlopen:

Probleem 1: De keuken is anders dan de robot denkt.
De AI maakt code die er op papier perfect uitziet (zoals een recept dat logisch klinkt), maar die niet werkt in de specifieke keuken van het project. De beginner weet niet hoe hij de robot moet vertellen: "Oh, wacht, in deze keuken brandt de oven te snel, pas de tijd aan." De beginner moet dan via de computer (CI/CD) proberen uit te vinden waarom het niet werkt, terwijl een meesterkok dit direct zou weten.
Probleem 2: De robot kent de regels van het huis niet.
De AI maakt een nieuwe functie, maar vergeet dat het project specifieke regels heeft over privacy of hoe dingen met elkaar moeten praten. De beginner ziet dit niet, maar de chef-kok moet het hele gerecht opnieuw opbouwen om het aan te passen aan de regels van het huis.

Wat betekent dit voor de toekomst?

Het goede nieuws is dat beginners met AI wel degelijk meer code kunnen produceren. Het slechte nieuws is dat ze dit niet kunnen doen zonder dat de ervaren mensen (de chefs) er veel meer werk van krijgen om het te controleren.

De les voor projectleiders:
Je kunt ervaren developers niet zomaar vervangen door beginners met AI. Als je dat doet, moet je ook extra mensen inhuren om al die code te controleren, of je moet de beginners eerst leren hoe ze hun AI-robot moeten "checken" voordat ze het aan de chef geven.

Kortom: AI is een geweldige motor, maar als je een beginner achter het stuur zet, moet je de passagier (de projectbeheerder) voorbereiden op een veel langere en rommeligere rit.

Probleemstelling

Met de opkomst van "Software 3.0" en AI-coding agents (zoals Copilot, Cursor, Devin), kunnen ontwikkelaars code veel sneller genereren. Dit roept een kritische vraag op voor projectmanagers en maintainers van open-source projecten: kunnen "vibe coders" (ontwikkelaars die AI-gestuurde prompts gebruiken) met weinig ervaring expert-ontwikkelaars vervangen?

Hoewel AI-tools de cognitieve last verminderen, is het onduidelijk of de kwaliteit van de bijdragen en de integratie-efficiëntie gelijk blijven, ongeacht de ervaring van de menselijke gebruiker. Bestaand onderzoek toont aan dat AI soms zelfs de taakvoltooiingstijd voor ervaren ontwikkelaars kan verlengen door verificatie-overhead, maar er ontbreekt een systematische vergelijking tussen ervaren en onervaren ontwikkelaars binnen AI-gestuurde workflows.

Methodologie

De auteurs hebben een kwantitatieve studie uitgevoerd op basis van het AIDev-dataset, een openbare corpus van AI-gestuurde Pull Requests (PR's) op GitHub.

Dataset: 22.953 PR's van 1.719 unieke "vibe coders" in repositories met meer dan 100 sterren.
Definitie Vibe Coding: Een workflow waarbij een menselijke ontwikkelaar een AI-agent stuurt via natuurlijke taal-prompten en de gegenereerde code valideert.
Groepering: De ontwikkelaars werden ingedeeld op basis van hun "Experience Score" (totaal aantal commits gedeeld door de accountleeftijd op GitHub):
- $Exp_{Low}$ : Onervaren vibe coders (onderste twee kwartielen).
- $Exp_{High}$ : Ervaren vibe coders (bovenste twee kwartielen).
Analyse: De auteurs vergeleken de twee groepen op vier kernmetrieken:
1. Bijdragegrootte: Aantal commits en gewijzigde bestanden per PR.
2. Acceptatiegraad: Percentage van PR's die zijn samengevoegd (merged).
3. Oplossingstijd: Tijd van creatie tot merge.
4. Review-volumen: Aantal review-opmerkingen per PR.
Statistiek: Er werden non-parametrische toetsen (Mann-Whitney U) en Chi-kwadraattoetsen gebruikt om significantie te bepalen ( $p < 0.05$ ).

Belangrijkste Resultaten

De studie levert tegenintuïtieve resultaten op: onervaren ontwikkelaars genereren grotere, maar kwalitatief minder goed geaccepteerde bijdragen, wat leidt tot een aanzienlijke toename van de werklast voor maintainers.

Grotere omvang van bijdragen ( $Exp_{Low}$ vs. $Exp_{High}$ ):
- Onervaren ontwikkelaars ( $Exp_{Low}$ ) leveren 2,15 keer meer commits per PR.
- Zij wijzigen 1,47 keer meer bestanden per PR.
- Dit geldt voor bijna alle categorieën van PR's (bijv. features, style fixes).
Hogere review-overhead en lagere acceptatie:
- PR's van $Exp_{Low}$ ontvangen 4,52 keer meer review-opmerkingen dan die van ervaren ontwikkelaars.
- De acceptatiegraad is 31% lager voor onervaren ontwikkelaars.
- PR's blijven 5,16 keer langer open voordat ze worden opgelost of gemerged.
Oorzaken van de wrijving (Case Studies):
Door handmatige inspectie van PR's met de hoogste review-volumes werden twee hoofdproblemen geïdentificeerd bij onervaren ontwikkelaars:
- Infrastructuur-mismatch: AI genereert syntactisch correcte code die echter faalt in specifieke CI/CD-omgevingen (bijv. time-out problemen). Onervaren ontwikkelaars kunnen deze omgevingen lokaal niet repliceren en moeten via CI debuggen.
- Integratie-frictie: AI-code mist vaak de nodige systeemcontext (bijv. privacy-schema's of architecturale standaarden), wat leidt tot uitgebreide handmatige verificatie en aanpassingen door maintainers.

Belangrijkste Bijdragen

Empirisch Bewijs: Het paper biedt de eerste systematische data die aantoont dat AI-assistentie de ervaring van de ontwikkelaar niet "gelijkmaakt". Onervaren ontwikkelaars produceren code die fundamenteel meer verificatie vereist.
Verschuiving van Werklast: Het onderzoek toont aan dat AI de last van code-generatie verplaatst naar de last van code-verificatie. Onervaren ontwikkelaars verschuiven de verificatielast disproportioneel naar de maintainers.
Methodologisch Kader: Het introduceert een segmentatie op basis van ervaring binnen AI-workflows, wat een nieuwe lens biedt voor onderzoek naar mens-AI samenwerking.

Significantie en Implicaties

De bevindingen hebben directe gevolgen voor software-engineeringpraktijken:

Voor Projectmanagers: Het is niet veilig om ervaren ontwikkelaars te vervangen door onervaren "vibe coders" zonder de review-capaciteit te verhogen. De kosten in tijd en moeite voor maintainers nemen exponentieel toe.
Training en Onboarding: Teams moeten zich richten op het trainen van novice ontwikkelaars in verificatievaardigheden. Het leren testen en valideren van AI-gegenereerde code is belangrijker dan het genereren ervan.
Review-strategieën: Er moeten adaptieve review-cycli worden geïmplementeerd, zoals het toewijzen van extra reviewers aan PR's van onervaren ontwikkelaars of het gebruik van geautomatiseerde checks om de review-volgorde te sturen.
Toekomstig Onderzoek: De studie onderstreept de noodzaak van "Software 3.0"-tools die niet alleen code genereren, maar ook helpen bij het begrijpen van projectspecifieke context en infrastructuurbeperkingen.

Kortom, hoewel AI de productiviteit van novices in termen van code-omvang verhoogt, creëert het een kwaliteitskloof die leidt tot een aanzienlijke toename van de onderhouds- en reviewkosten voor open-source projecten.