Recursive Synthesis for Long-Horizon Terminal Tasks
Dit artikel introduceert Recursive Synthetic Terminal Tasks (RST), een schaalbaar framework dat recursief langdurige terminale agent-taken genereert en verifieert om 37.484 hoogwaardige voorbeelden tegen lage kosten te producer van, wat de prestaties van gefinetunede en agentische modellen op uitdagende benchmarks aanzienlijk verbetert zonder tekenen van afnemende meeropbrengst te vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert om een meestermonteur te worden. Je wilt niet alleen dat de robot weet hoe een moersleutel eruitziet; je wilt dat hij daadwerkelijk een automotor repareert die nog nooit kapot is geweest. Dit is de wereld van "AI-agenten"—slimme computerprogramma's die niet alleen met je chatten, maar ook daadwerkelijk dingen doen, zoals commando's typen, bestanden verplaatsen en softwarebugs repareren. Het grote probleem is dat deze robots verschrikkelijk zijn in lange, ingewikkelde taken. Als je ze vraagt om een huis te bouwen, leggen ze misschien één baksteen en raken ze dan in de war. Om ze beter te leren, hebben we duizenden oefenopgaven nodig waarbij de robot probeert het huis te bouwen, faalt, wordt gecorrigeerd en het opnieuw probeert. Maar het maken van deze oefenopgaven is een nachtmerrie. Als je er zelf één met de hand schrijft, kost dat een fortuin. Als je een computer vraagt er een te schrijven, verzint de computer vaak regels die niet overeenkomen met de tools, of creëert het een puzzel die onmogelijk op te lossen is. Het is also[f] een chef vragen om een recept voor een cake te schrijven, maar het recept vraagt om ingrediënten die niet in de keuken aanwezig zijn, of de oven is kapot.
Maak kennis met een nieuwe methode genaamd Recursive Synthetic Terminal Tasks (RST). Zie dit als een "digitale evoliemachine" voor het creëren van puzzels voor robottraining. In plaats van dat mensen elke puzzel handmatig schrijven, begonnen de onderzoekers met een kleine stapel van 639 geverifieerde, werkende puzzels (de "zaden"). Vervolgens gebruikten ze een krachtige AI om te fungeren als een ondeugende maar briljante game designer. Deze AI keek naar een werkende puzzel, voegde een nieuwe, moeilijkere stap toe aan de oplossing (zoals het toevoegen van een nieuw tandwiel aan de motor) en paste vervolgens direct de instructies en de "antwoordsleutel" aan om overeen te komen met de nieuwe, moeilijkere versie. Cruciaal was dat voordat de nieuwe puzzel werd opgeslagen, deze in een digitale zandbak werd gegooid—een veilige, geïsoleerde computerkamer—om te zien of het daadwerkelijk werkte. Als de oplossing faalde, werd de puzzel weggegooid. Als het werkte, werd de puzzel bewaard en gebruikt als zaadje voor de volgende ronde van nóg moeilijkere puzzels. De onderzoekers draaiden deze lus 15 keer. Tegen de tijd dat ze klaar waren, hadden ze bijna 38.000 nieuwe, geverifieerde puzzels gecreëerd. Het beste eraan? De puzzels werden met elke ronde echt moeilijker. De middelste puzzel ging van 67 regels code om op te lossen naar 374 regels. Het aantal commando's dat een robot moest typen, sprong van 40 naar 244.
De resultaten waren spectaculair. Toen ze een topniveau AI-solver testten op deze puzzels, daalde het succespercentage van 90% op de gemakkelijke, eerste ronde naar slechts 2,5% in de 15e ronde. Dit bewees dat het systeem niet alleen langere instructies maakte; het creëerde daadwerkelijk taken die veel dieper nadenken en meer stappen vereisten. Maar de echte magie gebeurde toen ze deze puzzels gebruikten om een ander AI-model (Qwen3.5) te trainen. Na het trainen op de trajecten (de stap-voor-stap pogingen) gegenereerd door deze puzzels, werd het model aanzienlijk beter in het oplossen van echte terminal-taken. Op standaardtests sprong de prestatie met wel 10 punten omhoog, en met verdere reinforcement learning verbeterde het nog eens met 20% tot 41%, afhankelijk van de test. De meest opwindende bevinding was dat het systeem geen teken van stoppen vertoonde. Zelfs na 15 rondes van het moeilijker maken, bleef het systeem geldige, diverse puzzels produceren zonder in onzin te vervallen of steeds dezelfde trucjes te herhalen. Het suggereert dat we een eindeloze voorraad hoogwaardige trainingsdata voor AI-agenten kunnen generen, waardoor het dure, trage proces van menselijke instructie verandert in een snelle, geautomatiseerde en schaalbare evolutie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.