Beyond the Commit: Developer Perspectives on Productivity with AI Coding Assistants
Deze mixed-methods studie bij BNY Mellon, bestaande uit 2.989 enquête-reacties en 11 interviews, betoogt dat het evalueren van AI-coderingsassistenten een holistische, veelzijdige aanpak vereist die langetermijnfactoren vanuit een mensgericht perspectief, zoals technische expertise en eigenaarschap over het werk, incorporeert, in plaats van uitsluitend te vertrouwen op traditionele korte-termijn productiviteitsmetrieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorm bouwbedrijf runt. Jarenlang heb je de productiviteit van je bouwvakkers gemeten door te tellen hoeveel stenen ze per uur leggen of hoeveel muren ze per dag afmaken. Maar onlangs heb je elke bouwvakker een magische assistent-robot gegeven die direct de volgende steen kan suggereren, blauwdrukken kan schrijven en zelfs fouten kan herstellen.
Nu ben je in de war. De robots zijn populair, maar maken ze het bedrijf ook echt sneller? En als ze dat doen, betekent "sneller" dan nog wel hetzelfde als vroeger?
Dit artikel is een diepgaand onderzoek door een team van onderzoekers (van Carnegie Mellon University en BNY Mellon) die met bijna 3.000 van deze "bouwvakkers" (softwareontwikkelaars) hebben gesproken om uit te zoeken hoe we succes kunnen meten in dit nieuwe tijdperk van AI-robots.
Hier is het verhaal van wat ze ontdekten, opgedeeld in eenvoudige delen:
1. De Grote Verwarring: Gelukkig vs. Snel
De onderzoekers stelden eerst een simpele vraag: "Ben je tevreden met je robotassistent?" en "Hoeveel tijd bespaart het je?"
- Het resultaat: De meeste ontwikkelaars zeiden: "Ja, ik hou van de robot! Het maakt mijn dag makkelijker." (86% was tevreden).
- De twist: Maar toen er werd gevraagd: "Hoeveel tijd heb je bespaard?", zeiden de meesten: "Niet veel. Misschien 30 minuten per week."
De analogie: Stel je een super snelle auto voor die je in 5 minuten op je werk brengt, maar je staat de overige 45 minuten in de file. Je kunt van de auto houden omdat hij leuk en betrouwbaar is, maar je komt nog steeds niet sneller op je werk aan dan voorheen. De studie vond dat ontwikkelaars houden van het gevoel van het gebruik van de AI, maar dat dit niet altijd vertaalt naar grote blokken aan bespaarde tijd. Dit bewijst dat je niet één getal (zoals "bespaarde tijd") kunt gebruiken om te beoordelen of het hulpmiddel werkt.
2. De Zes Nieuwe Regels van het Spel
Omdat de oude manier van tellen (stenen per uur) niet meer werkt, hebben de onderzoekers met 11 ontwikkelaars gesproken om nieuwe manieren te vinden om succes te meten. Ze vonden zes verschillende factoren die ertoe doen, die ze onderverdeeld hebben in drie fasen van een project:
Fase A: Tijdens het Bouwen (Het "In het Moment" Gevoel)
- Zelfredzaamheid (De "Doe-het-zelf" Superkracht):
- Vroeger: Als een bouwvakker niet wist hoe hij een lekkende pijp moest repareren, moest hij stoppen, een senior expert bellen of zoeken in een enorme bibliotheek met handleidingen.
- Nu: De robot fluistert het antwoord direct in zijn oor. Hij voelt zich een superheld die problemen kan oplossen zonder zijn bureau te verlaten.
- Frustratie & Mentale Belasting (De "Mentale Touwtrekkerij"):
- De adder onder het gras: De robot is niet perfect. Soms suggereert hij een oplossing die er goed uitziet, maar die eigenlijk fout is. De ontwikkelaar moet dan stoppen, diep nadenken en alles dubbelchecken. Dit kan hen zelfs vermoeider en gefrustreerder maken, ook al typen ze sneller.
Fase B: De Sleutels Overhandigen (De Teamcontrole)
- Snelheid van Taakvoltooiing (De "Doorvoerprikkel"):
- Dit is de ouderwetse metriek: Hoe snel hebben we de klus geklaard? De studie vond dat AI weliswaar helpt, maar dat dit niet altijd betekent dat de klus sneller af is. Soms betekent het alleen dat de klus met minder inspanning wordt gedaan, maar dat de bespaarde tijd klein is.
- Peer Review (De "Veiligheidsinspectie"):
- Vroeger controleerde een senior bouwvakker het werk van een junior. Nu, als de junior de robot gebruikt, moet de senior vragen: "Heb jij dit geschreven, of de robot?" Als de robot het heeft geschreven, moet de senior extra tijd besteden aan het begrijpen van de code om te controleren of het veilig is. Soms maakt de robot de code "te perfect" of verwarrend, waardoor de veiligheidscontrole moeilijker wordt.
Fase C: De Lange Termijn (De Toekomst van de Bouwvakker)
- Technische Expertise (De "Leercurve"):
- Het risico: Als een junior bouwvakker de robot laat doen al het denkwerk, leren ze misschien nooit hoe ze zelf een lekkende pijp moeten repareren. Ze worden misschien geweldig in het indrukken van knoppen, maar slecht in het begrijpen van de loodgieterskunst. De studie waarschuwt dat we, als we niet voorzichtig zijn, een generatie ontwikkelaars kunnen creëren die niet zonder de robot kan werken.
- Eigenaarschap (De "Trots van Creatie"):
- Het gevoel: Ontwikkelaars houden ervan om te zeggen: "Ik heb dit gebouwd." Als de robot 90% van de code heeft geschreven, voelen ze dan nog steeds trots? Voelen ze zich nog verantwoordelijk als het kapot gaat? De studie vond dat ontwikkelaars zich zorgen maken dat als ze de code niet zelf hebben geschreven, ze er geen diepe band mee voelen, en ze misschien trager zijn met het repareren ervan wanneer het later kapot gaat.
3. Het Hangt Af van Wat Je Doet
De onderzoekers vonden ook dat de AI anders helpt afhankelijk van de taak:
- Iets nieuws bouwen: De robot is geweldig in het geven van een vliegende start, maar je moet oppassen dat je niet blindelings kopieert en plakt.
- Oude code repareren: Hier heeft de robot moeite mee omdat hij veel context nodig heeft. Het is alsoals proberen een 50 jaar oud huis te repareren met een robot die alleen weet hoe je nieuwe huizen bouwt.
- Handleidingen of tests schrijven: Dit is waar de robot uitblinkt. Het is alsof je een robot hebt die direct de instructiehandleiding kan schrijven voor het huis dat je zojuist hebt gebouwd. Dit levert de meeste tijdbesparing op.
De Kern van het Verhaal
De conclusie van het artikel is dat we moeten stoppen met zoeken naar één enkel "magisch getal" om productiviteit te meten.
De analogie: Stel je voor dat je de vaardigheid van een chef probeert te beoordelen door alleen te tellen hoeveel borden hij serveert. Als hij een robot gebruikt om groenten te snijden, serveert hij misschien meer borden, maar als de robot het eten vies maakt of de chef vergeet hoe hij moet koken, faalt het restaurant op de lange termijn.
Om echt te begrijpen of AI-coderingsassistenten helpen, moeten we naar het hele plaatje kijken:
- Zijn ontwikkelaars gelukkig?
- Zijn ze aan het leren, of alleen maar aan het kopiëren?
- Voelen ze zich verantwoordelijk voor de code?
- Controleert het team het werk effectief?
De auteurs zeggen dat we een "holistisch" beeld nodig hebben — een gebalanceerd scorebord dat de menselijke ervaring en langetermijngroei waardeert, in plaats van alleen de snelheid van de output.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.