PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
Dit onderzoek analyseert met behulp van de geautomatiseerde tool PatchTrack hoe ontwikkelaars ChatGPT-genereren code in pull requests evalueren en integreren, en concludeert dat volledige adoptie zeldzaam is omdat AI-output voornamelijk als uitgangspunt dient dat vereist aanpassing, conceptuele begeleiding en een afweging van contextuele factoren in plaats van directe correctheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Samenvatting: Hoe ontwikkelaars ChatGPT gebruiken bij het bouwen van software
Stel je voor dat softwareontwikkeling een gigantische bouwplaats is. Duizenden mensen werken samen aan gebouwen (software) en moeten constant controleren of de plannen van elkaar kloppen. Dit noemen ze "Pull Requests": een verzoek om een nieuwe muur of een nieuw raam toe te voegen aan het gebouw.
Deze studie kijkt naar wat er gebeurt als bouwvakkers (ontwikkelaars) ChatGPT als hun nieuwe, super-snelle stagiair gebruiken. Ze vragen de AI: "Hoe bouw ik dit raam?" en de AI schrijft een plan. Maar wat doen de ervaren bouwmeesters met dat plan?
Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taal:
1. De AI is geen meesterbouwer, maar een inspiratiebron
De grootste ontdekking is dat niemand het plan van de AI zomaar overneemt.
- Het cijfer: Gemiddeld wordt slechts 25% van de code die ChatGPT schrijft, daadwerkelijk gebruikt.
- De analogie: Stel je voor dat ChatGPT een recept voor een taart schrijft. De ontwikkelaar leest het, maar zegt: "Bedankt, maar ik heb geen citroen, en mijn oven werkt anders. Ik gebruik het idee voor de vulling, maar ik bak de bodem zelf."
- De AI levert vaak een goed startpunt, maar de mens moet het "op maat maken" zodat het past in het bestaande gebouw.
2. De vier mogelijke uitkomsten
De onderzoekers keken naar 338 gevallen en verdeelden ze in vier categorieën:
- A. Het plan wordt gebruikt (maar aangepast): De AI schrijft een stukje code, en de ontwikkelaar plakt het in, maar moet er wel wat aan sleutelen (bijvoorbeeld variabelen hernoemen of de stijl aanpassen). Dit is het meest voorkomende scenario.
- B. Het plan wordt niet gebruikt, maar het idee wel: Soms schrijft de AI een heel stuk code dat niet past. Maar de ontwikkelaar zegt: "Bedankt voor het idee, ik ga het zelf op een andere manier doen." De AI heeft dus geholpen met het denken, niet met het bouwen.
- C. De AI geeft alleen advies, geen code: Soms vraagt de ontwikkelaar: "Hoe noem ik deze functie?" of "Wat is de beste manier om dit te documenteren?". De AI geeft een antwoord, maar er wordt geen code geschreven. Toch helpt dit de bouwplannen te verbeteren.
- D. Het project wordt stopgezet: Soms wordt een verzoek om een nieuwe muur helemaal afgewezen. Dit kan zijn omdat het plan te duur is, niet past bij de architectuur, of omdat er al een ander team bezig was met hetzelfde. Ook hier heeft de AI soms geholpen om te zien dat het een slecht idee was.
3. Waarom wordt er niet alles overgenomen?
Je zou denken dat als de AI snel is, we alles van haar moeten nemen. Maar dat is niet zo. De onderzoekers vonden drie belangrijke redenen waarom mensen het plan van de AI aanpassen of verwerpen:
- De "Stijl" van het gebouw: Elk software-project heeft zijn eigen regels (zoals een bouwvoorschrift). De AI kent deze lokale regels vaak niet en schrijft iets dat technisch klopt, maar niet past bij de rest van het project.
- Vertrouwen: Bouwmeesters moeten weten waarom iets werkt. Als de AI iets schrijft dat ze niet begrijpen, durven ze het niet te gebruiken. Ze controleren alles dubbel.
- De "Halucinaties": Soms verzint de AI iets dat eruitziet als een goed plan, maar in werkelijkheid niet werkt (zoals een raam dat in de lucht hangt). De mens moet dit opsporen en corrigeren.
4. De AI is meer dan alleen een schrijver
Zelfs als de AI geen code schrijft die wordt gebruikt, helpt ze enorm. Ze fungeert als:
- Een tutor: Ze legt uit hoe iets werkt.
- Een redacteur: Ze helpt bij het schrijven van duidelijke instructies (documentatie).
- Een debug-hulp: Ze helpt te vinden waar de fout zit, zelfs als ze niet de oplossing schrijft.
Conclusie: De mens blijft de baas
De boodschap van dit onderzoek is helder: ChatGPT vervangt de ontwikkelaar niet.
Het is meer als een junior stagiair die heel snel veel ideeën heeft, maar die nog niet weet hoe het gebouw er precies uit moet zien. De ervaren bouwmeester (de mens) moet die ideeën bekijken, filteren, aanpassen en beslissen wat er echt wordt gebouwd.
De AI versnelt het proces en helpt bij het denken, maar de uiteindelijke kwaliteit en de beslissingen liggen altijd bij de mens. De toekomst van softwareontwikkeling is dus niet "AI doet het werk", maar "Mensen en AI werken samen, waarbij de mens de regie houdt."
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.