💻 computer science

Beyond Functional Correctness: Code Quality and Human–AI Interaction in a Quasi-Experimental Comparison of AI-Assisted Non-Programmers and Programmers without AI

Deze quasi-experimentele studie toont aan dat door AI ondersteunde niet-programmeurs code produceerden met hogere scores voor onderhoudbaarheid en structurele kwaliteit dan programmeurs die zonder AI werkten, waarbij de kwaliteit van de mens-AI-interactie een sterke voorspeller bleek te zijn voor deze resultaten.

Oorspronkelijke auteurs: Leonardo Martín Esnaola, Hugo Dionisio Ramón, Laura Cristina Lanzarini

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leonardo Martín Esnaola, Hugo Dionisio Ramón, Laura Cristina Lanzarini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Kook" Experiment

Stel je een kookwedstrijd voor met twee teams die een specifiek gerecht moeten maken op basis van een receptenkaart.

Team A (De Beginners met AI): Deze mensen hebben nog nooit gekookt. Echter, ze hebben een super slimme, robotische sous-chef (een AI) waar ze mee kunnen praten. Ze vertellen de robot wat ze willen, en de robot suggereert ingrediënten en stappen.
Team B (De Chefs zonder AI): Dit zijn mensen die weten hoe ze moeten koken (sommigen zijn beginners, anderen zijn experts). Zij moeten het gerecht volledig zelf maken, zonder hulp van een robot.

De Oude Manier van Beoordelen:
In het verleden keken juryleden alleen naar het eindbord en vroegen: "Smaakt het wel goed? Heeft het de smaaktest doorstaan?" Als het eten eetbaar was, kreeg het team een "voldoende". Als het niet zo was, kregen ze een "onvoldoende".

Deze Nieuwe Manier van Beoordelen in deze Studie:
De onderzoekers in dit artikel wilden dieper kijken. Ze vroegen: "Oké, het eten smaakt misschien prima, maar is de keuken wel schoon? Is het recept duidelijk opgeschreven? Is de presentatie professioneel? Is het gerecht zo opgebouwd dat het goed blijft als we het later opnieuw willen opwarmen?"

Ze gebruikten een gedetailleerde "Code Audit" (een checklist voor kwaliteit) om de gerechten niet alleen op smaak te beoordelen, maar ook op hoe goed ze waren geconstrueerd.

Het Belangrijkste Verrassende Resultaat

De onderzoekers kwamen tot iets contra-intuïtiefs:

De Beginners met de AI-robot produceerden eigenlijk "nettere" en "beter gestructureerde" gerechten dan de Chefs die alleen werkten.

Het Resultaat: De AI-ondersteunde beginners scoorden hoger op de kwaliteitschecklist dan de ervaren koks die zonder hulp werkten.
De Analogie: Denk aan het bouwen van een huis. De ervaren bouwers (Team B) hebben misschien een huis gebouwd dat blijft staan en een dak heeft (het slaagt voor de test), maar ze hebben misschien de bedrading slordig achtergelaten, de verf ongelijkmatig aangebracht en de instructies niet bijgevoegd omdat ze onder tijdsdruk stonden.
De beginners met de AI (Team A) gebruikten de robot om een huis te bouwen waarbij de draden netjes zijn weggestopt, de verf perfect glad is en de instructies duidelijk zijn opgeschreven. De robot dwong een bepaald niveau van "netheid" en structuur af dat de mensen, werkend onder tijdsdruk, oversloegen.

Belangrijke Opmerking: Het artikel zegt niet dat de beginners betere koks zijn dan de chefs. Het zegt dat het AI-instrument fungeerde als een "vloer-verhoger". Het tilde de minimale standaard van hoe de code eruitzag en hoe het georganiseerd was omhoog, waardoor werd gewaarborgd dat het de regels van goede structuur volgde, zelfs als de mens de diepere engineering erachter niet volledig begreep.

Het Geheime Ingrediënt: Hoe je met de Robot Praat

Voor de beginners die de AI gebruikten, keken de onderzoekers naar hun chatlogs. Ze wilden zien of de manier waarop de mensen om hulp vroegen ertoe deed.

Ze maakten een "Gespreks-scorekaart" om te beoordelen hoe goed de mensen om hulp vroegen.

Lage Score: "Maak mij een programma." (Vaag, rommelig).
Hoge Score: "Ik heb een programma nodig dat een lijst met uitgaven neemt, het totaal berekent en vertelt wie wat aan wie verschuldigd is. Hier is een voorbeeld van de input en de verwachte output." (Helder, gestructureerd, specifiek).

De Bevinding:
Er was een sterke link tussen hoe duidelijk een persoon om hulp aan de robot vroeg en hoe hoog de kwaliteit van de uiteindelijke code was.

Analogie: Als je een GPS om de weg vraagt door te zeggen "Ga ergens leuk heen", kun je verdwalen. Als je zegt "Breng me naar de bibliotheek, vermijd de snelwegen", krijg je een perfecte route. De studie vond dat de mensen die de "GPS" duidelijke, gestructureerde instructies gaven, betere resultaten behaalden.

Echter, het praten met de robot (een langere conversatie voeren) betekende niet noodzakelijkerwijs betere resultaten. Soms betekende een lange conversatie simpelweg dat de persoon moeite had met bedenken wat hij moest vragen.

De "Smaaktest" versus de "Keukeninspectie"

Hier komt de meest interessante wending in het verhaal:

Slagen voor de Test (Smaak): De AI-ondersteunde beginners waren net zo goed in staat om de basis "smaaktest" (functionele correctheid) te halen als de menselijke chefs.
De Inspectie (Kwaliteit): Maar toen de inspecteurs naar de interne kwaliteit keken (de codestructuur), wonnen de AI-ondersteunde beginners.

Waarom?
De AI is erg goed in het volgen van regels. De AI schrijft van nature code die er professioneel uitziet, goede namen voor variabelen gebruikt en taken netjes van elkaar scheidt. De menselijke chefs, werkend alleen en onder tijdsdruk, slaan vaak stappen over om gewoon het werk af te krijgen. Zij focusten op "het werkend krijgen" in plaats van "het er goed uit laten zien".

De AI maakte de code niet noodzakelijkerwijs slimmer of creatiever; het maakte het simpelweg netter en beter georganiseerd als standaard.

Samenvatting van de Belangrijkste Punten

AI is een "Structuur-Booster": Voor mensen die niet weten hoe ze moeten programmeren, werkt AI als een steiger. Het helpt hen iets te bouwen dat er professioneel uitziet en de regels van goed ontwerp volgt, zelfs als ze de blauwdruk niet volledig begrijpen.
Helderheid is Koning: De kwaliteit van de code hangt sterk af van hoe goed de mens het probleem aan de AI kan uitleggen. Als je de regels en het doel duidelijk kunt beschrijven, bouwt de AI een beter product.
Verwar "Veel Praten" niet met "Goed Werken": Alleen omdat iemand lang met de AI heeft gechat, betekent niet dat diegene goed werk heeft geleverd. Het betekent vaak juist dat diegene problemen ondervond.
De "Pass/Fail" Valstrik: Het beoordelen van code alleen op basis van of het werkt (de test doorstaat), mist het grotere plaatje. Code kan werken maar toch rommelig en moeilijk te repareren zijn. Deze studie laat zien dat AI kan helpen die rommeligheid op te lossen, zelfs voor beginners.

Wat de studie NIET zegt:

Het zegt niet dat AI perfect is. De code heeft nog steeds menselijke controle nodig.
Het zegt niet dat beginners nu betere programmeurs zijn dan experts. Ze produceerden in dit specifieke, kortdurende experiment slechts een "netter" product.
Het beweert niet dat dit voor elk type complex softwareproject zal werken, alleen voor de specifieke uitdagingen die in deze studie zijn getest.

Kortom: AI helpt beginners om nettere, beter georganiseerde code te bouwen, maar de mens moet nog steeds weten hoe hij de juiste vragen moet stellen.

Technisch overzicht: Voorbij functionele correctheid in AI-ondersteunde programmering

Probleemstelling

De evaluatie van Large Language Models (LLM's) in software engineering heeft historisch gezien vertrouwd op metrieken voor functionele correctheid, zoals het percentage oplossingen dat een vooraf gedefinieerde testsuite passeert (bijv. pass@k). Hoewel deze aanpak reproduceerbare modelvergelijkingen vergemakkelijkt, is het onvoldoende voor software engineering-contexten waar interne kwaliteitsattributen — onderhoudbaarheid, robuustheid, veiligheid en architectonisch ontwerp — cruciaal zijn. Bovendien heeft de opkomst van natuurlijke taalinterfaces de grens tussen professionele programmeurs en niet-programmeurs doen vervagen, wat vragen oproept over de kwaliteit van artefacten geproduceerd door niet-experts die worden bijgestaan door AI, vergeleken met die geproduceerd door programmeurs die zonder AI werken.

Vorig werk door de auteurs stelde vast dat AI-ondersteunde niet-programmeurs (NP-AI) functionele succespercentages en oplostijden konden bereiken die vergelijkbaar zijn met, of zelfs beter dan, programmeurs zonder AI (P-noAI). Echter, die studie analyseerde de interne kwaliteit van de code niet verder dan de pass/fail uitkomsten, noch onderzocht het de kwaliteit van het mens-AI-interactieproces. Dit artikel adresseert deze hiaten door een secundaire, exploratieve analyse uit te voeren op dezelfde quasi-experimentele dataset om te bepalen:

Of NP-AI code produceert met een hogere interne kwaliteit dan P-noAI wanneer er verder wordt gekeken dan functionele correctheid.
Hoe de kwaliteit van de mens-AI-interactie (prompt engineering) correleert met de codekwaliteit en het succes binnen de NP-AI-groep.
Hoe statische codemetrieken zich verhouden tot groepsverschillen en audit-gebaseerde kwaliteit.

Methodologie

De studie is een secundaire analyse van een quasi-experiment met niet-equivalente groepen waarbij 52 deelnemers betrokken waren: 26 niet-programmeurs bijgestaan door een LLM (NP-AI) en 26 programmeurs (novicen en experts) werkend zonder AI (P-noAI). Deelnemers losten een van de drie Python-uitdagingen op (CB, CI, CA) die lage, gemiddelde en hoge complexiteit vertegenwoordigen.

Nieuwe meetinstrumenten

De auteurs introduceerden twee primaire instrumenten die achteraf werden toegepast op de gearchiveerde artefacten (broncode en ChatGPT-transcripten):

Broncode-auditrubriek (0–12 punten): Een hybride evaluatieprotocol dat de interne codekwaliteit beoordeelt.
- Door experts gescoorde criteria (AQ1–AQ5): Drie geblindeerde experts scoorden vijf criteria (0–2 elk) op basis van semantiek/benaming, architectuur/modulariteit, adequaatheid van datastructuren, robuustheid/foutafhandeling en scheiding van verantwoordelijkheden. De scores werden geconsolideerd met behulp van de mediaan.
- Geautomatiseerd criterium (AQ6): Een statisch analyse-criterium (0–2) berekend via Flake8, waarbij de incidentendichtheid (schendingen per 100 regels code) wordt gemeten.
- Betrouwbaarheid: De inter-rater betrouwbaarheid voor de expert-criteria was hoog (ICC(A,3) = 0,938).
Mens-AI-interactierubriek (0–16 punten): Exclusief toegepast op de NP-AI-transcripten om de interactiekwaliteit te kwantificeren als een vorm van hoogwaardige vereistenspecificatie.
- Criteria (IQ1–IQ7): Zeven criteria beoordeelden doelhelderheid, communicatiestructuur, gebruik van testgevallen en de expliciete verklaring van inputs, outputs, bedrijfsregels en operaties.
- Betrouwbaarheid: De inter-rater betrouwbaarheid was hoog (ICC(A,3) = 0,9438).
Statische codemetrieken: Geautomatiseerde extractie van Lines of Code (LOC), commentaarregels, functies en klassen.

Statistische Analyse

De analyse maakte gebruik van non-parametrische toetsen (Mann–Whitney U) voor groepsvergelijkingen, schattingen van effectgrootte (Cliff's $\delta$ , Hedges $g$ ) en regressiemodellen (OLS, logistisch) aangepast voor de complexiteit van de uitdaging. Gevoeligheidsanalyses werden uitgevoerd, waaronder het beperken van de steekproef tot volledig correct ingediende oplossingen (3/3 tests geslaagd) en het uitsluiten van het geautomatiseerde criterium (AQ6) om het oordeel van experts te isoleren.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

C1: Herbruikbaar instrument voor broncode-audit: Een hybride protocol dat expert-scoring combineert met geautomatiseerde statische analyse om onderhoudbaarheid, robuustheid en architectonisch ontwerp te beoordelen buiten de functionele correctheid om.
C2: Herbruikbaar instrument voor interactiekwaliteit: Een 16-punts rubriek die mens-AI-interactie operationaliseert als een specificatievaardigheid, waarbij aspecten van prompt engineering zoals doelhelderheid en het gebruik van testgevallen worden gevangen.
�* C3: Exploratieve bewijsvoering: Kwantitatief bewijs dat de link legt tussen interactiekwaliteit en artefactkwaliteit, en de prestaties van NP-AI en P-noAI vergelijkt over verschillende taakcomplexiteiten met behulp van deze nieuwe metrieken.

Resultaten

RQ1: Is de audit-gebaseerde programmacultuur hoger in NP-AI dan in P-noAI?

Algemeen: NP-AI behaalde significant hogere broncode-auditscores dan P-noAI (Gemiddelde: 9,12 vs. 6,62; $p = 0,0005$ , Cliff's $\delta = 0,56$ ).
Complexiteit: Het onderscheid was het sterkst in de uitdaging met hoge complexiteit (CA), waar NP-AI significant hoger scoorde ( $p = 0,0050$ , $\delta = 0,77$ ).
Controle op functionele correctheid: Zelfs bij het beperken van de analyse tot enkel volledig correcte inzendingen (3/3 tests geslaagd), behield NP-AI een hogere auditscore ( $p = 0,0431$ ).
Robuustheid: Het resultaat hield stand zelfs wanneer het geautomatiseerde lint-gebaseerde criterium (AQ6) werd uitgesloten, waarbij uitsluitend vertrouw werd op expert-scoring (AQ1–AQ5), hoewel de significantie in de volledig correcte subset iets afnam.

RQ2: Hoe is de interactiekwaliteit binnen NP-AI geassocieerd met uitkomsten?

Interactie vs. Codekwaliteit: Er is een sterke positieve associatie tussen interactiekwaliteitsscores en broncode-auditscores (Pearson $r = 0,859$ , $p < 0,001$ ). Deze relatie bleef significant na correctie voor de complexiteit van de uitdaging.
Interactie vs. Succes: Interactiekwaliteit vertoonde een zwakke, niet-significante associatie met binair succes (slagen voor alle tests).
Volume vs. Uitkomsten: Interactievolume (aantal beurten) correleerde sterk met de tijd tot de oplossing, maar vertoonde een negatieve (niet-significante) trend met succes, wat suggereert dat langere sessies vaak duiden op iteratieve strijd in plaats van effectieve specificatie.

RQ3: Hoe verhouden statische codemetrieken zich tot de groep en kwaliteit?

Structuur vs. Grootte: Hoewel de totale LOC vergelijkbaar was tussen de groepen, bevatten NP-AI-oplossingen aanzienlijk meer commentaar (Mediaan: 5 vs. 0; $p = 0,00095$ ).
Correlatie met Kwaliteit: Statische metrieken gerelateerd aan structurele decompositie (functietotaal, klassetotaal) vertoonden sterke positieve correlaties met de auditscore, terwijl ruwe LOC een gematigde correlatie vertoonde. Dit suggereert dat de auditrubriek gevoelig is voor modulariteit en organisatie in plaats van alleen codevolume.

Betekenis en Claims

De auteurs interpreteren hun bevindingen met voorzichtigheid en vermijden claims van causale superioriteit. Het artikel stelt dat onder gecontroleerde omstandigheden AI-assistentie de bodem van de structurele kwaliteit kan "verhogen" voor niet-programmeurs. De hogere auditscores voor NP-AI worden toegeschreven aan de ondersteuning (scaffolding) die LLM's bieden, die standaard conventionele onderhoudbaarheidsheuristieken hanteren (bijv. benoemde hulpfuncties, scheiding van zorgen, PEP8-achtige opmaak) die menselijke programmeurs zonder AI onder tijdsdruk mogelijk minder prioriteit geven ten gunste van minimale functionele implementaties.

De sterke link tussen interactiekwaliteit en codekwaliteit suggereert dat prompt engineering fungeert als een vorm van vereistenspecificatie. Wanneer niet-programmeurs doelen, beperkingen en testgevallen expliciet articuleren, vertoont de resulterende code een betere interne structuur. De zwakke link tussen interactiekwaliteit en functioneel succes benadrukt echter een "last-mile"-kloof: goed gestructureerde specificaties garanderen niet dat subtiele gedragsbeperkingen of randgevallen correct worden geïmplementeerd zonder rigoureuze verificatie.

De studie concludeert dat de evaluatie van AI-ondersteunde programmering vereist dat men verder kijkt dan pass/fail-metrieken door ook interne kwaliteit en interactieprocessen mee te nemen. De verstrekte rubrieken en het replicatiepakket worden aangeboden als herbruikbare instrumenten voor toekomstige gecontroleerde studies om deze dynamieken verder te onderzoeken.