Naive Defect-Recidivism Mining Is Inflated by Agent Workflow Artefacts: A Construct-Validity Study at Corpus Scale
Deze studie toont aan dat het minen van versiebeheergeschiedenis om de duurzaamheid van AI-agent en menselijke fixes te vergelijken ernstig wordt opgeblazen door workflow-artefacten, waarbij door middel van handmatige validatie en programmatische correctie wordt onthuld dat het aanvankelijk waargenomen hogere recidivecijfer voor AI-agenten een illusie is die verdwijnt wanneer deze artefacten worden meegerekend.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van softwareontwikkeling is code nooit echt af; het is een levend ding dat constante reparatie vereist. Wanneer een programmeur een bug oplost, is het doel om de fout voor altijd te laten verdwijnen. Echter, soms faalt een fix, en keert hetzelfde probleem terug, waardoor het team opnieuw moet beginnen. In de softwareindustrie staat de terugkeer van een probleem bekend als "recidive". Jarenlang hebben onderzoekers bestudeerd hoe vaak menselijke ontwikkelaars deze terugkeer veroorzaken, waarbij ze geautomatiseerde tools gebruikten om miljoenen regels code te scannen en te tellen hoe vaak een fix wordt teruggedraaid of een probleem wordt heropend. Nu is kunstmatige intelligentie de werkplaats binnengekomen. AI-codeeragenten, aangedreven door grote taalmodellen, schrijven hun eigen fixes en dienen deze in voor goedkeuring. Een natuurlijke vraag ontstond: zijn deze AI-fixes duurzamer dan die van mensen, of falen ze vaker? Om dit te beantwoorden, begonnen wetenschappers enorme archieven van codegeschiedenis te minen, op zoek naar dezelfde signalen van falen die ze voor mensen hadden gebruikt. Ze verwachtten een duidelijk antwoord te vinden, maar de data die ze vonden, verborg een trucje.
Een team van onderzoekers zette zich af om een specifieke methode voor het meten van deze fouten te testen. Ze definieerden een metriek genaamd "Defect Resolution Debt", die simpelweg telt hoe vaak een poging tot een fix wordt gevolgd door een andere poging op hetzelfde probleem. Als een fix perfect is, is de telling nul. Als het probleem terugkomt, of als de fix wordt teruggedraaid, stijgt de telling. Ze pasten deze methode toe op een enorme collectie van meer dan drieduizend softwaredefecten, waarbij ze de fixes van een populaire AI-agent, GitHub Copilot, vergeleken met die van menselijke ontwikkelaars. Op het eerste gezicht waren de resultaten verbijsterend en leken ze een worst-case scenario te bevestigen. Het geautomatiseerde systeem markeerde de AI-fixes als veel vaker falend dan de menselijke fixes. Specifiek werd de AI gemarkeerd voor recidive in 13,5 procent van de gevallen, vergeleken met slechts 8,2 procent voor mensen. De statistische tools suggereerden dat dit verschil echt en significant was, wat impliceerde dat de AI minder betrouwbaar was in het permanent oplossen van problemen.
De onderzoekers vermoedden echter dat het geautomatiseerde signaal werd misleid door de manier waarop de AI werkt, in plaats van door de kwaliteit van de code zelf. Ze besloten nauwer te kijken, waarbij ze verder gingen dan de geautomatiseerde tellingen door handmatig de werkelijke geschiedenis van tweehonderd van deze gemarkeerde problemen te inspecteren. Ze huurden twee onafhankelijke beoordelaars in om het digitale spoor van elk geval te onderzoeken, met de eenvoudige vraag: keerde het probleem werkelijk terug, of was het signaal slechts een misverstand van de workflow? De menselijke beoordelaars ontdekten dat het geautomatiseerde systeem werd gefopt door een specifiek patroon dat uniek is aan de manier waarop de AI opereert. Wanneer de AI een poging doet om een bug te fixen, opent hij vaak eerst een "conceptversie" van een fix, sluit deze vervolgens en opent een "finale" versie om deze te vervangen. Voor de geautomatiseerde teller ziet dit eruit als twee aparte pogingen, wat suggereert dat de eerste mislukt is. In werkelijkheid was het slechts één doorlopende inspanning. Dit "concept-naar-finale"-patroon kwam veel vaker voor bij de AI dan bij mensen, wat een vals beeld van falen creëerde.
Zodra de onderzoekers corrigeerden voor zo'n workflow-artefact, veranderde het verhaal volledig. Wanneer zij de gevallen verwijderden waarin de AI simpelweg haar eigen concept verfijnde, verdween het verschil in foutpercentages. De gecorrigeerde data lieten zien dat de AI niet vaker faalde dan mensen; sterker nog, de kloof tussen de twee groepen verdween, waarbij de gecorrigeerde percentages statistisch ononderscheidbaar werden. De initiële alarmbel was een fata morgana, gecreëerd door de manier waarop de AI haar code schrijft, en niet door de duurzaamheid van de code zelf. De studie onthulde ook een tweede probleem: veel van de "fixes" die werden geteld, waren helemaal geen bugfixes. Het waren taken zoals het bijwerken van documentatie of het toevoegen van nieuwe functies, die per abuis als bugreparaties werden gelabeld in het proces van dataverzameling. Dit verhoogde de foutmarge voor beide groepen, maar het verklaarde niet waarom de AI slechter leek dan de mens.
De onderzoekers gingen een stap verder om hun bevindingen solide te maken. Ze creëerden een nieuwe, geautomatiseerde methode om deze concept-naar-finale-paren te detecteren en te verwijderen over de gehele dataset van duizenden defecten, zonder dat daarvoor menselijke ogen nodig waren om elk geval te lezen. Deze programmatische correctie bevestigde hun handmatige bevindingen: het schijnbare overschot aan fouten van de AI daalde van 13,5 procent naar 6,5 procent, terwijl het menselijke percentage licht daalde naar 7,4 procent. De statistische significantie van het verschil verdween volledig. In een laatste, strengere controle matchten ze individuele AI-fixes met menselijke fixes uit hetzelfde project en dezelfde periode om ervoor te zorgen dat ze appels met appels vergeleken. In deze strikt gecontroleerde vergelijking suggereerden de gegevens een omkering in de richting van de initiële bevinding, maar de onderzoekers merkten expliciet op dat dit specifieke resultaat "hypothese-genererend" is in plaats van "bevestigend". Ze benadrukten dat deze bevinding nog niet is vastgesteld en verdere validatie vereist voordat het als een definitief oordeel over duurzaamheid kan worden beschouwd.
De ultieme les van dit werk gaat niet over de vraag of AI beter of slechter is dan mensen bij het coderen, maar over hoe we het meten. De studie demonstreert dat een krantenkop-cijfer afgeleid van een niet-gevalideerd geautomatiseerd signaal volledig fout kan zijn, in staat om de waarheid volledig om te keren. De initiële bevinding dat AI-fixes 1,64 keer vaker zouden falen, was niet alleen een overdrijving; het was een inversie van de realiteit veroorzaakt door een blinde vlek in het meetinstrument. De onderzoekers concludeerden dat de fixes van de AI niet minder duurzaam zijn dan menselijke fixes, en ze kunnen zelfs meer zijn, maar het bewijzen hiervan vereist een meetprotocol dat rekening houdt met de unieke manieren waarop AI-agenten opereren. De studie biedt een gecorrigeerde methode voor toekomstig onderzoek, waardoor we bij het vergelijken van de duurzaamheid van AI- en menselijke code de echte fouten tellen, en niet slechts de artefacten van een nieuw soort workflow.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.