EvoClaw: Evaluating AI Agents on Continuous Software Evolution
Dit paper introduceert EvoClaw, een nieuw benchmarkkader dat de prestaties van AI-agenten evalueert in continue software-evolutie en aantoont dat hun vermogen om systemen op lange termijn te onderhouden aanzienlijk achterblijft bij hun prestaties in geïsoleerde coderingstaken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🚗 De Auto die Altijd Rijdend Wordt Gebouwd
Stel je voor dat je een auto koopt. De meeste tests voor AI-programmeurs (zoals SWE-bench) kijken alleen naar of de AI een enkele onderdelen kan vervangen.
- Vraag: "Kun je de koplamp vervangen?"
- AI: "Ja, hier is de nieuwe koplamp."
- Test: Goed gedaan!
Maar in het echte leven bouwen we geen auto's met losse onderdelen. We bouwen ze continu. Je begint met een chassis, voegt een motor toe, dan wielen, dan een interieur. En als je later de radio wilt vervangen, moet je zorgen dat je niet per ongeluk de bedrading van de motor hebt doorgesneden die je gisteren hebt gelegd.
EvoClaw is de eerste test die kijkt of een AI-agent dit lange, doorlopende proces aankan zonder de auto in elkaar te laten vallen.
🧩 Het Probleem: De "Vergeetachtige" Bouwvakker
De onderzoekers ontdekten iets verrassends:
- Als je een AI vraagt om één taak los te maken (bijv. "maak een knop"), slaagt hij in 80% van de gevallen.
- Maar als je de AI vraagt om een heel project te bouwen en te onderhouden, waarbij elke nieuwe taak afhangt van de vorige, daalt dat succespercentage naar maximaal 38%.
Waarom?
Stel je voor dat je een huis bouwt. De eerste AI legt de fundering, maar maakt een klein foutje (een scheurtje in het beton). De volgende AI bouwt de muren erop, maar ziet het scheurtje niet. De derde AI plaatst het dak. Uiteindelijk zakt het hele huis in elkaar omdat de fouten zich opstapelen als sneeuwballen. De AI's zijn goed in het maken van nieuwe dingen, maar slecht in het bewaken van de kwaliteit van wat ze al hebben gemaakt.
🛠️ De Oplossing: DeepCommit (De Slimme Archivarus)
Om deze test eerlijk te maken, moesten de onderzoekers eerst een manier vinden om echte softwaregeschiedenis te vertalen naar een test. Software-repositories (zoals op GitHub) zijn vaak een rommelige berg van honderden kleine wijzigingen ("commits"). Sommige zijn belangrijk, andere zijn alleen "typo's gecorrigeerd".
Ze bedachten DeepCommit, een slim systeem dat als een archivaris werkt:
- Het sorteert de rommel: Het negeert onbelangrijke wijzigingen.
- Het groepeert logisch: In plaats van te kijken naar elke kleine wijziging, groepeert het ze in "Meestepalen" (Milestones).
- Vergelijking: In plaats van te kijken naar elke losse steen die een metselaar legt, kijkt het naar "De fundering", "De eerste verdieping" en "Het dak".
- Het bouwt een kaart: Het maakt een DAG (een soort stamboom van taken). Je kunt pas aan "Het dak" werken als "De muren" klaar zijn.
Dit zorgt ervoor dat de AI-agenten een realistische, afhankelijke reis moeten maken, net zoals echte programmeurs dat doen.
📉 Wat Leerden We? (De Resultaten)
Toen ze de beste AI's (zoals Claude, GPT en Gemini) op deze test lieten werken, zagen ze drie belangrijke dingen:
De "Sneeuwbaleffect" (Error Accumulation):
Zodra een AI een fout maakt in een vroeg stadium, wordt het steeds moeilijker om het goed te maken. De fouten verspreiden zich naar latere taken. Het is alsof je een toren van kaarten bouwt; als de onderste kaart scheef staat, valt de hele toren om als je de bovenste kaart probeert te plaatsen.Nieuw vs. Oud:
AI's zijn goed in nieuwe features toevoegen (ze kunnen een nieuwe kamer bouwen), maar ze zijn slecht in regressies voorkomen (ze vergeten dat ze de oude kamer niet mogen afbreken). Ze bouwen snel, maar maken de basis onstabiel.De "Blinde" vs. de "Voorzichtige":
- Sommige AI's proberen alles te raden en te wijzigen zonder te controleren (Blind Gooien). Dit werkt slecht.
- De succesvolste AI's zijn degenen die voorzichtig zijn: ze lezen de code, testen hun werk vaak, en bouwen stap voor stap. Ze zijn niet bang om tijd te besteden aan het controleren van hun eigen werk.
🏁 Conclusie: De Toekomst van AI
EvoClaw laat zien dat we AI-agenten nog niet kunnen vertrouwen om complexe softwaresystemen volledig zelfstandig te onderhouden. Ze zijn als briljante, maar ongeduldige stagiairs: ze kunnen veel nieuwe dingen doen, maar ze vergeten snel wat ze gisteren hebben gedaan en maken daardoor fouten die het hele project in gevaar brengen.
Om AI echt in de echte wereld te laten werken (waar software continu evolueert), moeten we ze leren om geduldig, voorzichtig en consistent te zijn, en niet alleen om snel nieuwe dingen te creëren.
Kort samengevat:
- Huidige AI: Goed in losse puzzels, slecht in een heel puzzelboek.
- EvoClaw: De test die laat zien dat AI's nog moeten leren hoe ze een puzzelboek stap voor stap moeten invullen zonder de vorige pagina's te verprutsen.
- DeepCommit: De slimme tool die de puzzelstukjes netjes heeft gesorteerd zodat de test eerlijk kan plaatsvinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.