In de moderne wereld van softwareontwikkeling worden enorme bibliotheken aan code onderhouden door teams van engineers die vertrouwen op geautomatiseerde tools om bugs te vinden en te repareren. Onlangs is er een nieuwe generatie kunstmatige intelligentie opgekomen, in staat om te fungeren als autonome assistenten die deze codebases kunnen lezen, problemen kunnen begrijpen en zelfstandig de noodzakelijke reparaties kunnen proberen te schrijven. Deze systemen, vaak aangedreven door grote taalmodellen, hebben laten zien dat ze complexe programmeertaken kunnen oplossen in gecontroleerde tests. Echter, een cruciale vraag blijft onbeantwoord: kunnen deze digitale werkers erop vertrouwd worden om hetzelfde werk elke keer betrouwbaar uit te voeren? In de echte wereld, waar software-updates automatisch worden uitgerold, creëert een assistent die de ene keer slaagt maar de volgende keer faalt bij exact dezelfde opdracht chaos. Het introduceert onvoorspelbaarheid, waardoor menselijke ontwikkelaars voortdurend het werk moeten controleren, wat het doel van automatisering tenietdoet. De kernuitdaging is niet alleen of een AI een probleem kan oplossen, maar of het dit consistent kan doen zonder in de war te raken, willekeurige fouten te maken of van aanpak te veranderen op manieren die het systeem breken.

Een onderzoeker aan de University of Engineering and Technology in Lahore, Pakistan, heeft een nieuwe manier voorgesteld om deze betrouwbaarheid te meten, waarbij wordt verder gekeken dan de huidige standaard van simpelweg tellen hoe vaak een AI in één enkele poging slaagt. De huidige methode, bekend als de 'single-trial pass rate', behandelt een AI als een student die een eenmalig examen maakt: als het antwoord correct is, slaagt de student, ongeacht of hij het nog eens opnieuw zou kunnen oplossen. Dit nieuwe onderzoek stelt dat deze benadering voor software engineering onvoldoende is. In plaats daarvan ontwierp de onderzoeker een rigoureus protocol om deze agenten meerdere keren op hetzelfde probleem te testen, waarbij gezocht wordt naar consistentie. Het doel was om te zien of de AI een code-repository kon navigeren, een bug kon vinden en deze telkens op exact dezelfde manier kon repareren wanneer daarom werd gevraagd, of dat de prestaties zouden instorten onder herhaalde controle.

Om dit te testen, zette de onderzoeker een grootschalig experiment op met een specifieke set van real-world programmeertaken afkomstig uit populaire open-source projecten. De studie was van plan deze taken uit te voeren over een raster van verschillende AI-modellen en verschillende softwareframeworks, waarbij elke taak vijf keer werd herhaald om een volledig beeld van de prestaties te krijgen. Voordat de volledige experiment werd uitgevoerd, voerde de onderzoeker een kleinere "haalbaarheidspilot" uit om te controleren of de testmachine correct functioneerde. Deze pilot omvatte het plannen van 360 pogingen over 30 verschillende programmeertaken met twee specifieke AI-modellen en twee verschillende software scaffolding-systemen. Echter, slechts 312 van deze pogingen werden succesvol voltooid en geanalyseerd, terwijl 48 werden onderbroken door externe factoren. De onderzoekers volgden elke stap die de AI zette nauwgezet, waarbij ze niet alleen registreerden of het slaagde of faalde, maar ook hoe vaak de AI van gedachten moest veranderen, hoe vaak er fouten werden gemaakt bij het gebruik van computertools, en hoe vaak de testinfrastructuur zelf uitviel.

De pilotstudie onthulde dat de testomgeving zelf fragiel is. Van de 3anger 360 geplande pogingen werden er 48 onderbroken door externe factoren, zoals een time-out van de cloudserviceprovider of het onverwacht resetten van de computercontainer. Dit resulteerde in een annuleringpercentage van 13,3 procent, een bevinding die de moeilijkheid benadrukt van het betrouwbaar draaien van deze complexe tests. Belangrijker nog, de pilot toonde aan dat het huidige testbudget te kort was om succesvolle reparaties te produceren. Omdat de AI beperkt was tot slechts vijf beurten van conversatie of actie per poging, resulteerde geen van de 312 voltooide episodes in een succesvolle reparatie. De agenten besteedden hun volledige beperkte tijd simpelweg aan het navigeren door de code en het begrijpen van het probleem, zonder ooit het stadium te bereiken waarin ze een oplossing konden toepassen.

Ondanks het gebrek aan succesvolle reparaties in deze korte pilot, toonde de studie succesvol aan dat het mogelijk is om gedetailleerde gegevens te verzamelen over hoe deze agenten zich gedragen. De onderzoekers identificeerden specifieke soorten fouten die optreden wanneer de AI probeert te interageren met het computersysteem, zoals het genereren van commando's die de computer niet kan begrijpen of het proberen te openen van bestanden die niet bestaan. Ze ontwikkelden ook nieuwe manieren om "code churn" te meten, wat bijhoudt hoeveel de AI zijn eigen werk verandert voordat hij tot een definitief antwoord komt. Een hoge mate van churn suggereert dat de agent besluiteloos of instabiel is, en voortdurend zijn eigen code herschrijft zonder een duidelijk plan. De studie introduceerde ook een metriek voor "tool failure", waarbij onderscheid wordt gemaakt tussen fouten veroorzaakt door de slechte redenering van de AI en fouten veroorzaakt door het crashen van het computersysteem.

Het artikel concludeert dat hoewel deze AI-agenten veelbelovend zijn, de huidige methode om hen te evalueren incompleet is. Door zich alleen te richten op enkelvoudige pogingen, mist de industrie de "flakiness" (onbetrouwbaarheid) die deze tools ongeschikt maakt voor echt gebruik. De onderzoeker voert aan dat een werkelijk betrouwbare agent in staat moet zijn om een probleem consistent op te lossen over meerdere trials, en niet slechts een gelukstreffer te scoren. De pilotstudie bewees dat de noodzakelijke instrumenten om deze consistentie te meten bestaan en dat de infrastructuur de gegevensverzameling kan aan, zelfs als de huidige AI-modellen nog niet klaar zijn om de volledige test te doorstaan. De bevindingen suggereren dat toekomstige evaluaties verder moeten gaan dan eenvoudige pass/fail-scores en uitgebreide logs moeten bevatten van de reis van de AI, waarbij wordt gemeten hoe vaak hij struikelt, hoe vaak hij aarzelt en hoe vaak hij een taak niet kan voltooien door externe onderbrekingen.

Het uiteindelijke doel van dit werk is om een nieuwe standaard te vestigen voor vertrouwen in geautomatiseerde software engineering. Net zoals een menselijke werknemer ontslagen zou worden voor inconsistent en onbetrouwbaar gedrag, moet een AI-assistent bewijzen dat hij zijn taken met dezelfde stabiliteit kan uitvoeren. Deze studie beweert niet dat de huidige AI-modellen het probleem van automatische reparatie hebben opgelost; sterker nog, de pilotdata toonden nul succesvolle reparaties onder strikte omstandigheden. In plaats daarvan biedt het het blauwdruk voor hoe deze systemen in de toekomst correct getest kunnen worden. Door nieuwe metrieken voor consistentie te definiëren en de specifieke pathologieën te volgen die leiden tot falen, heeft de onderzoeker de basis gelegd voor een eerlijkere en meer rigoureuze beoordeling van kunstmatige intelligentie in softwareontwikkeling. De weg vooruit houdt in dat het volledige experiment wordt uitgevoerd met langere tijdslimieten en krachtigere modellen om te zien of de consistentie verbetert, of dat de agenten simpelweg geraffineerder worden in hun fouten. Tot die tijd moet de industrie erkennen dat een enkele succesvolle fix niet genoeg is om veiligheid of betrouwbaarheid te garanderen in de complexe wereld van softwareonderhoud.