Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair
Kozuchi Agent is een taalonafhankelijk, open-weight software reparatiesysteem dat gebruikmaakt van een persistente, door CI beheerde pipeline om state-of-the-art prestaties te behalen op de SWE-bench Verified en Multi-SWE-bench benchmarks zonder fine-tuning, waarmee wordt aangetoond dat de resterende beperkingen voornamelijk voortvloeien uit semantische correctheid en selectiefouten in plaats van vormering of toegang tot propriëtaire modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, complexe wereld van software engineering is code het fundament waarop het moderne leven is gebouwd, maar het is ook vatbaar voor defecten. Wanneer een programma niet goed functioneert, genereert het een rapport dat de fout beschrijft, waarna een menselijke ontwikkelaar het probleem moet diagnosticeren, de fout moet lokaliseren binnen duizenden regels tekst, en een correctie moet schrijven die het probleem oplost zonder iets anders te breken. Dit proces is traag, moeilijk en kostbaar. Onlangs is er een nieuwe generatie kunstmatige intelligentie opgekomen die deze rapporten kan lezen en probeert de oplossingen zelf te schrijven. Deze systemen, vaak agents genoemd, fungeren als digitale leerlingen die het bestandssysteem van een computer kunnen navigeren, tests kunnen draaien en code kunnen bewerken. Het aanleren van deze agents om over langere perioden betrouwbaar te werken, is echter een grote hindernis geweest. Ze raken vaak verdwaald in de details, vergeten wat ze in eerdere stappen hebben geleerd, of maken fouten bij het gebruik van de tools die nodig zijn om de code te repareren. De uitdaging voor onderzoekers is geweest om een systeem te bouen dat deze digitale werkers gefocust, georganiseerd en verantwoordelijk houdt, zodat ze complexe problemen kunnen oplossen zonder constante menselijke supervisie.
Een team van onderzoekers van Fujitsu Research heeft deze uitdaging aangepakt door een systeem genaamd de Kozuchi Agent te creëren. Hun werk richt zich op een specif kind van kunstmatige intelligentie dat geen speciale training op nieuwe data vereist, maar in plaats daarvan vertrouwt op een zorgvuldig ontworpen framework om het gedrag te sturen. De onderzoekers bouwden een digitale omgeving waarin de agent werkt in afzonderlijke, duidelijk gedefinieerde fasen. In plaats van de agent vrij door een probleem te laten dwalen, dwingt het systeem hem om door een reeks stappen te bewegen: eerst de fout reproduceren om te bevestigen dat deze bestaat, dan de exacte bron van de problemen lokaliseren, en tot slot de oplossing schrijven en testen. Bij elke fase moet de agent een specifiek resultaat produceren voordat hij naar de volgende stap gaat, en het systeem houdt een permanent verslag bij van alles wat de agent doet. Deze structuur voorkomt dat de agent in de war raakt of dezelfde fouten herhaalt, waardoor een chaotische zoektocht wordt omgezet in een gedisciplineerd, controleerbaar proces.
Het team testte dit systeem op een grote collectie echte softwareproblemen, specifiek gericht op een set van vijfhonderd problemen uit de programmeertaal Python. Ze gebruikten een krachtig, open-source kunstmatige intelligentiemodel dat niet werd gewijzigd of opnieuw getraind voor deze specifieke taak. Om de resultaten robuust te maken, draaiden ze de agent acht aparte keren op elk probleem, waarbij acht verschillende potentiële oplossingen werden gegenereerd. Het systeem vergeleek deze oplossingen vervolgens met elkaar met behulp van een slimme selectiemethode. In plaats van te vertrouwen op een verborgen antwoordformulier om de beste fix te kiezen, gebruikte het systeem de tests die door elke van de acht runs waren gegenereerd om de anderen te evalueren. Als een fix slaagde voor de tests die door een andere poging waren gemaakt, werd het beschouwd als een sterke kandidaat. Deze aanpak stelde het systeem in staat om de meest betrouwbare oplossing te identificeren zonder vooraf het juiste antwoord te hoeven weten.
De resultaten waren significant. De Kozuchi Agent loste succesvol driehonderdvijfenzeventig van de vijfhonderd Python-problemen op, een succespercentage van bijna vijfenzeventig procent. Deze prestatie plaatste het systeem onder de topperformers in het veld, waarbij het twelftende werd gerangschikt in vergelijking met alle inzendingen, maar eerste onder de systemen die gebruikmaken van open, publiekelijk beschikbare modellen. De onderzoekers testten hetzelfde systeem ook op een andere set problemen geschreven in de programmeertaal Java. Ondanks de verschillen tussen de twee talen, presteerde het systeem met een vergelijkbare consistentie en loste het vier-enveertig van de honderdvertienentwintig Java-problemen op. Dit bewees dat het framework niet gebonden was aan één enkele taal, maar breed kon worden toegepast op verschillende soorten software.
Een belangrijke bevinding van de studie was dat de fouten die optraden niet te wijten waren aan het schrijven van slordige of kapotte code door de agent. In feite werden bijna alle door de agent geproduceerde patches netjes op de software toegepast. De problemen lagen in de logica van de fix zelf; de agent schreef vaak een correctie die er correct uitzag, maar de onderliggende kwestie niet daadwerkelijk oploste. Dit onderscheid is cruciaal omdat het suggereert dat de belangrijkste barrière voor verbetering niet de vorm van de code of het vermogen om tools te gebruiken is, maar eerder het diepe begrip van de betekenis van het probleem. De onderzoekers ontdekten ook dat het systeem zeer efficiënt was in zijn operaties. Door de workflow te automatiseren en verschillende onderdelen van het proces herbruikbaar te maken, verminderden ze de menselijke inspanning die nodig is om deze tests uit te voeren van vijf afzonderlijke handmatige stappen naar één enkele geautomatiseerde actie.
De studie sloot expliciet de mogelijkheid uit dat het succes van het systeem simpelweg voortkwam uit gokken of uit het gebruik van een massief, propriëtair model dat slechts enkele bedrijven kunnen bereiken. De agent gebruikte een model met eenentwintig miljard parameters, wat groot is maar veel kleiner dan de krachtigste modellen die vandaag de dag beschikbaar zijn, en het behaalde zijn resultaten zonder enige speciale fine-tuning. De onderzoekers toonden ook aan dat het systeem niet afhankelijk was van geluk; de prestaties waren consistent over verschillende runs en verschillende soorten softwarerepositories. Hoewel het systeem niet perfect is en nog steeds worstelt met de moeilijkste semantische problemen, vertegenwoordigt het een grote stap voorwaarts in het maken van kunstmatige intelligentie tot een betrouwbare partner in software engineering. Door een gestructureerde workflow te combineren met een slim selectieproces, heeft de Kozuchi Agent aangetoond dat open, toegankelijke technologie kan concurreren met de meest geavanceerde systemen bij het oplossen van echte programmeeruitdagingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.