Developers' Experience with Generative AI Beyond Productivity Assessment -- Insights from an Empirical Mixed-Methods Field Study
Deze mixed-methods veldstudie onthult dat hoewel professionele ontwikkelaars generatieve AI-tools over het algemeen nuttig vinden voor repetitieve taken en productiviteitswinsten rapporteren, de effectiviteit van specifieke interactiemodi (suggesties in de code versus chat) varieert per taakcomplexiteit, waarbij het combineren ervan vaak de voordelen vermindert en cognitieve belasting introduceert tijdens ontwikkelingsintensief werk.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Beschouw softwareontwikkelaars als meesterchefs in een drukke keuken. Jarenlang hebben ze gerechten handmatig gesneden, gesauteerd en gepresenteerd. Onlangs is er een nieuwe "slimme sous-chef" (Generatieve AI) geïntroduceerd om hen te helpen. Dit artikel gaat niet alleen over hoe veel sneller de keuken werkt; het gaat over hoe de chefs zich voelen bij het werken met deze nieuwe assistent, wat voor soort hulp ze daadwerkelijk willen en of de assistent soms in de weg zit.
Hier is een overzicht van de bevindingen van de studie in begrijpelijke taal:
De Opzet: Een Vierdaags "Keuken"-Experiment
Onderzoekers nodigden 22 professionele softwareontwikkelaars (de chefs) van SAP uit om vier dagen lang te werken met een specifieke AI-tool genaamd GitHub Copilot.
- De "Gecontroleerde" Dagen: Twee dagen waren als een kookwedstrijd. De chefs kregen specifieke, vooraf ingestelde recepten (coderingsopdrachten) om op te lossen in een laboratoriumsetting, terwijl onderzoekers elke beweging volgden, hun stress maten en hun schermactiviteit registreerden.
- De "Echte Leven" Dagen: Twee dagen werkten ze gewoon zoals normaal. De chefs gingen terug naar hun gebruikelijke keuken en deden wat ze normaal doen, maar hielden wel een dagboek bij van wat ze deden en hoe nuttig de AI was.
Wat de Chefs dachten vóór het Experiment
Vóór de studie waren de chefs over het algemeen positief over het idee van de slimme sous-chef.
- Het Goede: Ze vonden de AI een geweldige hulp voor saaie, repetitieve taken zoals het snijden van groenten (boilerplate code schrijven) of het opruimen van de werkplek (unit tests schrijven). Het maakte hen productiever en minder vermoeid.
- Het Slechte: Ze wisten niet zeker of de AI het werk plezieriger maakte. Sterker nog, sommigen voelden dat omdat de AI de "leuke" creatieve delen deed, ze minder voldoening haalden uit hun werk.
- De Angst: Ze maakten zich zorgen dat de AI fouten zou maken (zoals een verbrand gerecht serveren) of dat ze misschien zouden vergeten hoe ze vanaf nul moeten koken als ze er te veel op zouden vertrouwen.
De Grote Ontdekking: Wissel niet van Tool halverwege een Taak
De meest verrassende bevinding ging over hoe de chefs de AI gebruikten. De AI bood twee manieren om mee te werken:
- De "Autocomplete" Modus: De AI fluistert suggesties direct naast de code terwijl je typt (zoals een sous-chef die je het volgende ingrediënt aanreikt voordat je erom vraagt).
- De "Chat" Modus: Je stopt met typen en voert een gesprek met de AI in een apart venster om om een heel recept te vragen of een complex probleem uit te leggen.
De Vuistregel:
- Als je een eenvoudige, repetitieve taak uitvoert (zoals het schrijven van een standaard functie), gebruik dan de Autocomplete modus. Dit is snel en houdt je in de flow.
- Als je een complexe taak uitvoert (zoals het debuggen van een kapotte machine of het bedenken van een nieuw menu), gebruik dan de Chat modus. Dit geeft je het grote plaatje en uitleg.
De Valkuil: De studie toonde aan dat als een chef probeerde beide modi te gebruiken voor dezelfde taak — door heen en weer te schakelen tussen luisterende suggesties en een gesprek voeren — ze daadwerkelijk langzamer werden en zich meer gestrest voelden dan wanneer ze de AI helemaal niet hadden gebruikt. Het was alsof je probeerde naar een radio te luisteren en tegelijkert met een vriend te praten terwijl je kookt; je raakt gewoon in de war en laat je lepel vallen.
De Verrassing rondom de "Mentale Belasting"
Je zou denken dat het hebben van een helper het brein van een chef lichter maakt. Verrassend genoeg toonde de studie aan dat wanneer ontwikkelaars de AI gebruikten voor hun moeilijkste taken, ze zich juist mentaal zwaarder belast voelden (hogere cognitieve belasting), ook al voltooiden ze het werk met dezelfde snelheid.
Waarom? Omdat het gebruiken van de AI een nieuwe laag werk toevoegt: je moet lezen wat de AI heeft geschreven, controleren of het klopt, en het repareren als het fout is. Het is alsond een sous-chef die je een voorgesneden ui geeft, maar je moet de ui nog steeds inspecteren om te control je niet rot is. Als de "hulp" van de AI goed is, voelt de chef zich productief. Als de hulp slecht is, voelt de chef dat hij gewoon extra werk doet.
De Toekomst van de Keuken
De chefs staan open voor het gebruik van deze nieuwe technologie, maar ze hebben een duidelijke visie op hun toekomstige rollen:
- De AI zal de saaie, repetitieve en tijdrovende klusjes overnemen (snijden, schoonmaken, basisvoorbereidingen).
- De Menselijke Chef zal zich richten op de hoogwaardige zaken: het ontwerpen van het menu, het begrijpen van de smaak van de klant en ervoor zorgen dat het eindgerecht veilig en heerlijk is.
Ze maken zich echter zorgen dat als ze te veel op de AI vertrouwen, ze hun eigen "spiergeheugen" voor het koken kunnen verliezen. Ze merkten ook op dat hoewel ze de AI sneller om snelle tips vragen dan hun menselijke collega's, ze nog steeds meer vertrouwen op hun menselijke teamgenoten voor het oplossen van echt moeilijke problemen.
De Conclusie
De studie concludeert dat AI een krachtig hulpmiddel is, maar geen toverstaf. Om er het meeste van te halen, moeten ontwikkelaars doelgericht te werk gaan:
- Kies de juiste "modus" voor de klus (Autocomplete voor eenvoudige dingen, Chat voor complexe dingen).
- Wissel niet heen en weer tussen de modi, want dan raak je alleen maar vermoeid.
- Onthoud dat de AI een helper is, geen vervanging voor menselijk oordeel.
Door de AI te behandelen als een specifiek instrument in plaats van een constante metgezel, kunnen ontwikkelaars hun stress laag en hun productiviteit hoog houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.