Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Stel je een wereld voor waar software lijkt op een enorme, bruisende stad die door miljoenen mensen is gebouwd. Soms heeft een gebouw een verborgen barst, heeft een brug een losse bout, of blijft een verkeerslicht op groen staan terwijl het rood zou moeten zijn. In de echte wereld wachten we meestal tot iemand roept: "Hé, de brug is kapot!" voordat we een reparatieteam sturen. In de digitale wereld wordt deze "roep" een issue report genoemd. Het is een gedetailleerde notitie van een mens die precies beschrijft waar de bug zit, welke foutmelding er verscheen en hoe de software zich zou moeten gedragen.

Al een lange tijd trainen computerwetenschappers superintelligente AI-assistenten, bekend als coding agents, om als reparatieteams te fungeren. Deze agents gebruiken krachtige, breinachtige modellen (Large Language Models) om code te lezen en problemen op te lossen. Maar hier is de crux: de meeste training en tests die deze agents tot nu toe hebben ondergaan, gaan ervan uit dat er altijd een perfecte, gedetailleerde "roep" (issue report) klaarstaat. Het is alsof je een monteur traint met alleen maar auto's die al naar de garage zijn gesleept met een briefje waarop staat: "De motor maakt een klappend geluid."

Maar in de echte wereld verloopt dat niet altijd zo soepel. Soms zijn bugs zo sluipend dat ze de definitieve versie binnenkomen zonder dat iemand het merkt, wat enorme chaos veroorzaakt. Andere keren zijn de aantekeningen die mensen achterlaten vaag, verwarrend of missen ze cruciale details. Dit roept een grote, boeiende vraag op: kunnen deze AI-reparatieteams de kapotte onderdelen van de stad vinden en repareren voordat iemand zelfs maar weet dat ze kapot zijn? Kunnen ze handelen als proactieve detectives, die de code op eigen houtje scannen, de barsten opsporen en ze repareren zonder een enkel instructieboekje?

Dit is precies wat het artikel "Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports" wil verkennen. De auteurs, een team van onderzoekers van universiteiten en onafhankelijke laboratoria, introduceren een nieuwe uitdaging genaamd Active-SWE. Zie dit als een enorm, spannend level in een videogame dat ontworpen is om te testen of AI-agents echte detectives kunnen zijn in plaats van slechts gehoorzame monteurs.

In plaats van de AI een lijst met "kapotte dingen" te geven om te repareren, gaven de onderzoekers hen een enorme bibliotheek met code — 1.663 verschillende taken verdeeld over zes soorten bugs en acht verschillende programmeertalen — en zeiden ze: "Ga de problemen vinden en los ze op. Veel succes, geen hints toegestaan."

De onderzoekers bouwden deze uitdaging op twee manieren. Eerst creëerden ze een "Simple Setting" waarbij de AI één verborgen bug in een codebase moest vinden en oplossen, vergelijkbaar met het zoeken naar een specifieke typefout in een roman. Vervolgens schroefden ze de moeilijkheidsgraad op met een "Hard Setting", waarbij de AI tegelijkertijd meerdere bugs moest opsporen, zoals een detective die probeert een hele reeks misdaden in één nacht op te lossen. Ze testten de AI ook op "Potential Bugs" — scenario's waarin de AI een probleem zou kunnen vinden dat niet eens op de oorspronkelijke lijst met bekende problemen stond, wat in feite de vraag is: "Heb je iets nieuws gevonden dat daadwerkelijk kapot is?"

Om er zeker van te zijn dat de AI niet gewoon aan het gokken was, gebruikten de onderzoekers een slim "dual-track" scoresysteem. Eén track controleerde of de AI de bugs vond die zij wisten dat er waren (Recorded Bugs). De andere track was lastiger: als de AI beweerde een nieuwe bug te hebben gevonden, dwong het systeem de AI om een test te schrijven om het te bewijzen. Als de AI niet kon bewijzen dat de bug bestond met een test, telde de ontdekking niet mee. Het is alsof een detective beweert een verborgen kluis te hebben gevonden; hij moet je de sleutel laten zien en hem openen om te bewijzen dat hij echt bestaat.

De resultaten? Het blijkt dat zelfs de slimste, meest geavanceerde AI-agents van vandaag nog steeds worstelen met dit proactieve detectivewerk. Toen de onderzoekers topmodellen testten (zoals Claude Opus 4.8, GPT-5.5 en anderen), ontdekten ze dat de meeste van hen slechts ongeveer 20% van de bekende bugs konden oplossen wanneer ze zonder gids werden achtergelaten. Dat is een flinke daling vergeleken met wanneer ze een gedetailleerd issue report krijgen.

De studie suggereert dat hoewel deze AI-agents beter worden in het opvolgen van instructies, ze nog steeds behoorlijk slecht zijn in het zelfstandig rondkijken in een rommelige kamer om te ontdekken wat er kapot is. Ze raken vaak verdwaald in de code, kunnen niet precies aanwijzen waar het probleem zit (een vaardigheid die "localization" wordt genoemd) en hebben moeite met het oplossen van meerdere problemen tegelijk. Interessant genoeg waren de AI's iets beter in het vinden van bepaalde soorten bugs, zoals die gerelateerd aan logica of datastromen, maar ze waren bijna hulpeloos bij bugs die de "state" van het systeem betreffen (zoals een verkeerslicht dat blijft hangen).

Misschien wel het belangrijkste: het artikel laat zien dat het vinden van de bug slechts de helft van de strijd is. De data suggereren dat als de AI het kapotte deel van de code niet nauwkeurig kan lokaliseren, hij het bijna nooit correct oplost. Het is alsof je een lekkende pijp probeert te repareren zonder te weten welke pijp lekt; je eindigt er misschien mee dat je de verkeerde pijp vastdraait.

Kortom, dit artikel beweert niet dat AI de reparatie van software heeft opgelost. In plaats daarvan luidt het een alarm af dat de huidige generatie coding agents nog te veel afhankelijk is van mensen om de problemen aan te wijzen. De "proactieve" droom — waarbij AI code scant en problemen oplost voordat ze een crash veroorzaken — is nog steeds een werk in uitvoering. De onderzoekers concluderen dat hoewel deze agents krachtig zijn, ze veel beter onafhankelijke detectives moeten worden voordat we ze kunnen vertrouwen om onze digitale steden veilig te houden zonder vangnet.