How Do Software Professionals Evaluate AI-Generated Code? (Registered Report)
Dit geregistreerde rapport schetst een constructivistische grounded theory-studie die een voltooide enquête combineert met iteratieve interviews om een theorie te ontwikkelen over hoe softwareprofessionals door AI gegenereerde code evalueren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je zojuist een recept voor een chocoladetaart aan een robotkok hebt overhandigd. De robot bromt, neuriet en spuugt een perfect uitziende taart uit. Maar hier komt de twist: jij hebt hem niet gebakken. Je moet de taart proeven, de ingrediënten controleren en beslissen of hij veilig is om te eten voordat je hem aan je vrienden serveert.
Dat is precies wat softwareprofessionals nu doen met Generatieve AI. Tools zoals GitHub Copilot en ChatGPT fungeren als die robotkoks, die met lichtvoetige snelheid regels code in een handomdraai produceren. Maar terwijl de robots sneller worden, zitten de mensen nog steeds in de keuken te proberen uit te vogelen: Is deze code eigenlijk goed? Of is het een heerlijk uitziende valstrik?
Dit artikel is geen verslag van een afgebakken taart; het is een recept voor een nieuwe studie (een zogenaamde "Registered Report") die de auteurs net beginnen te bakken. Ze willen begrijpen hoe mensen momenteel deze door AI gemaakte creaties proeven, testen en vertrouwen.
Het Grote Mysterie: Controleren we de Taart Wel?
De auteurs vermoeden dat het ingewikkeld begint te worden. Wanneer je zelf code schrijft, ken je elk ingrediënt. Maar wanneer AI de code schrijft, kan de code verborgen bugs, vreemde smaken of ingrediënten bevatten die je niet hebt gevraagd.
Het artikel suggereert dat omdat iedereen haast heeft (deadlines, concurrentie, bazen die in je nek hijgen), ontwikkelaars geneigd kunnen zijn om shortcuts te nemen. In plaats van elke hap zorgvuldig te proeven, kunnen ze er gewoon vanuit gaan dat de robotkok zijn werk goed heeft gedaan. Dit is alsovergelijkbaar met het vertrouwen op een toverstaf om je huiswerk te fixen zonder het antwoord te lezen. De auteurs vrezen dat dit kan leiden tot over-reliance (overmatige afhankelijkheid), waarbij mensen stoppen met kritisch nadenken en de AI simpelweg het werk laten doen, wat potentieel kan leiden tot slordige, kapotte software.
Het Plan: Een Detective-Toolkit
Om dit mysterie op te lossen, gokken de onderzoekers niet zomaar wat. Ze bouwen een theorie op basis van echte verhalen van echte mensen. Dit is hun spelplan:
- De Eerste Aanwijzing (De Enquête): Ze hebben al 163 softwareprofessionals in Finland gevraagd naar hun mening. Ze stelden vragen als: "Controleer je AI-code anders dan menselijke code?" en "Is je vertrouwen in deze tools veranderd?" Ze kregen 51 antwoorden over validatie, 79 over het behouden van productiviteit en 103 over hoe hun vertrouwen is verschoven.
- De Diepe Duik (De Interviews): Nu willen ze praten met 20 tot 50 van deze professionals. Ze vragen niet alleen "Vond je de taart lekker?". Ze gebruiken een speciale techniek genaamd "laddering".
- Stel je een ladder voor: Ze beginnen bij een specifieke actie (de onderste sport), zoals "Ik draai een test op de code." Vervolgens vragen ze: "Waarom is dat belangrijk?" (de volgende sport omhoog). Misschien is het antwoord "Omdat ik me veilig wil voelen." Dan vragen ze: "Waarom is veilig voelen belangrijk?" (de bovenste sport). Misschien is het antwoord "Omdat ik mijn baan niet wil verliezen" of "Omdat ik om mijn reputatie geef."
- Dit helpt hen om van eenvoudige gewoonten helemaal omhoog te klimmen naar de diepe waarden en angsten die die gewoonten aansturen.
Met Wie Praten Ze?
Ze zoeken mensen die deze tools daadwerkelijk gebruiken. Uit hun eerste enquête bleek een mix van 163 mensen. Ongeveer 48,5% had minder dan 10 jaar ervaring, terwijl 12,9% meer dan 30 jaar ervaring had. De groep bestond uit Full-Stack Developers, Architecten, Data Scientists en zelfs CEO's. Ze willen de stem horen van iedereen, van de pas afgestudeerden tot de veteranen.
Wat Ze NIET Doen
Het is belangrijk om te weten waar deze studie niet over gaat:
- Ze proberen niet te bewijzen dat AI slecht of goed is.
- Ze meten niet exact hoeveel bugs AI maakt (dat is een andere studie).
- Ze zeggen niet dat ze het definitieve antwoord al hebben. Sterker nog, ze geven toe dat ze niet precies weten wat ze zullen vinden totdat ze met de interviews beginnen. Ze houden hun geest open om de antwoorden hen te laten verrassen.
Het "Waarom" Achter de Studie
De onderzoekers zijn een beetje sceptisch. Een van de hoofdauteurs is een PhD-student die nog nooit in een echt softwarebedrijf heeft gewerkt. Hij is nieuwsgierig maar voorzichtig, en maakt zich zorgen dat mensen hun eigen vaardigheden laten vervangen door AI zonder het door te hebben. Een andere auteur heeft jarenlang bestudeerd hoe we codekwaliteit meten en is bezorgd dat we oude regels toepassen op nieuwe, magische tools.
Zij geloven dat kennis niet zomaar wordt "gevonden" zoals een verloren muntstuk; het wordt gebouwd door met mensen te praten en hun verhalen te begrijpen. Ze willen een theorie bouwen die uitlegt hoe softwareprofessionals hun eigen realiteit van vertrouwen en veiligheid construeren wanneer ze met AI werken.
De Kernboodschap
Dit artikel is een uitnodiging om een wetenschappelijk experiment ontvouwend te zien. De onderzoekers verzamelen een groep van 20–50 experts om de "ladder" van hun gedachten te beklimmen, in de hoop te ontdekken waarom ze de code vertrouwen (of niet vertrouwen) die de robotten schrijven. Ze beloven geen wondermiddel voor slechte code, maar ze beloven een diepe, eerlijke blik op hoe mensen proberen bij te blijven met de machines.
Zoals ze zeggen, willen ze de subjectieve ervaringen begrijpen van de mensen in de keuken. Want totdat we weten hoe zij over de taart denken, kunnen we niet zeker weten of de robotkok een genie is of gewoon een geluksvogel.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.