RepoZero: Can LLMs Generate a Code Repository from Scratch?
Dit artikel introduceert RepoZero, de eerste benchmark voor volledig geautomatiseerde, op uitvoering gebaseerde verificatie van LLM's die volledige software-repositories vanaf nul genereren op basis van API-specificaties, samen met het Agentic Code-Test Evolution (ACE)-framework, en onthult dat zelfs de meest geavanceerde agents moeite hebben om hoge slagingspercentages te bereiken bij deze complexe taak.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Kan AI een Huis Bouwen van een Blauwdruk?
Stel je een zeer slimme robotassistent (een AI) voor die uitstekend is in het repareren van een lekkende kraan of het schilderen van één muur. Maar nu stel je hem een veel moeilijkere vraag: "Kun je een heel huis van de grond af bouwen, uitsluitend met een lijst instructies, zonder te kijken naar de originele blauwdrukken of het afgewerkte huis?"
Dit paper, RepoZero, stelt precies die vraag, maar in plaats van huizen gaat het over software-code repositories (een verzameling bestanden die samen een softwareprogramma vormen).
Het Probleem: De "Fake It Till You Make It" Valstrik
Vroeger probeerden onderzoekers deze AI-robots te testen door hen kleine bugs te laten repareren of enkele bestanden te laten schrijven. Maar als het gaat om het bouwen van een heel programma van de grond af, is het moeilijk te zeggen of de AI echt begreep hoe het moest worden gebouwd, of dat het het antwoord gewoon uit zijn trainingsdata had geleerd (zoals een student die de antwoorden uit het leerboek heeft uit het hoofd geleerd in plaats van de wiskunde te leren).
De meeste bestaande tests vertrouwen erop dat mensen of andere AIs de code lezen en zeggen: "Lijkt goed!" Dit is als een leraar die een wiskundetoets corrigeert door alleen naar het eindresultaat te kijken zonder het werk te controleren. Het is makkelijk om te valsspelen en het is niet erg betrouwbaar.
De Oplossing: De "RepoZero"-Uitdaging
De auteurs hebben een nieuwe, superzware test bedacht die RepoZero heet. Hier is hoe het werkt, met behulp van een Kook-Analogie:
- Het Originele Gericht (De Bron): Stel je voor dat een beroemde chef-kok een geheim recept heeft voor een complexe taart. We weten precies hoe het smaakt en hoe het zich gedraagt.
- De Uitdaging: We geven de AI-robot een lijst met ingrediënten en een beschrijving van wat de taart moet doen (bijvoorbeeld: "Het moet rijzen bij verhitting", "Het moet zoet smaken").
- De Twist (Taaloverstijgend): De robot mag het originele recept niet gebruiken. Erger nog, hij moet de taart koken in een hele andere keuken met andere tools.
- Als de originele taart was gemaakt in een Python-keuken, moet de robot hem bouwen in een JavaScript-keuken.
- Als het origineel C++ was, moet de robot hem bouwen in Rust.
- Waarom? Dit voorkomt dat de robot het recept gewoon kopieert. Het dwingt de robot om de logica echt te begrijpen en het van de grond af opnieuw te bouwen.
- De Smaaktent (De Verificatie): De robot bouwt zijn eigen taart. Vervolgens proeven we beide taarten naast elkaar. Als de taart van de robot zich exact hetzelfde gedraagt als de originele (zelfde rijzing, zelfde smaak, zelfde textuur), slaagt hij. Als hij iets anders is, faalt hij.
Het "ACE"-Kader: De Zelfcorrectie-lus van de Robot
Het paper introduceert ook een nieuwe manier voor de robot om te leren terwijl hij werkt, genaamd ACE (Agentic Code-Test Evolution).
Denk hierbij aan een oefensessie voor een grote wedstrijd:
- In plaats van maar één keer te proberen het huis te bouwen en te hopen op het beste, bouwt de robot een klein deel, en test het vervolgens direct.
- Als de test faalt (bijvoorbeeld: "De deur gaat niet open"), ziet de robot de fout, repareert hij de deur en test hij opnieuw.
- Hij herhaalt deze cyclus: Bouwen -> Testen -> Repareren -> Bouwen.
- Het paper ontdekte dat robots die deze "oefenlus" gebruikten, veel beter waren in het bouwen van het eindproduct dan diegenen die het in één keer probeerden te bouwen.
Wat Vonden Ze?
De resultaten waren verrassend en een beetje nuchter:
- Zelfs de "Slimste" Robots Struggelen: De meest geavanceerde AI-modellen die vandaag beschikbaar zijn (zoals Claude, DeepSeek en Kimi) slaagden er slechts ongeveer 30% tot 55% van de tijd in om het volledige software-"huis" succesvol te bouwen.
- Het Gat is Enorm: Hoewel deze AIs geweldig zijn in het schrijven van enkele regels code, zijn ze nog lang niet in staat om zelfstandig complexe, werkende softwaresystemen van de grond af te bouwen.
- Zelfcontroleren is Cruciaal: De robots die de "ACE"-lus gebruikten (hun eigen werk testen en repareren) presteerden aanzienlijk beter. Dit suggereert dat AI, om een echte software-engineer te worden, beter moet worden in zijn eigen werk controleren in plaats van alleen maar te gokken.
Samenvatting
RepoZero is een nieuwe, strenge sportschool voor AI-robots. Het dwingt hen om complexe software in een andere taal opnieuw te bouwen om te bewijzen dat ze niet gewoon valsspelen door antwoorden uit het hoofd te leren. De test toont aan dat AI, hoewel het goed wordt in kleine taken, nog een lange weg te gaan heeft voordat het zelfstandig volledige softwareprojecten kan bouwen. Het paper suggereert dat de sleutel om daar te komen, het leren is van AI om zijn eigen fouten te testen en te repareren terwijl het bouwt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.