🤖 AI

SETA: Scaling Environments for Terminal Agents

Het artikel introduceert SETA, een schaalbaar framework voor het genereren van verifieerbare terminale omgevingen dat de grootste open-source dataset van zijn soort produceert (SETA-Env), waardoor door RL getrainde modellen zoals Qwen3-8B state-of-the-art prestaties behalen op terminal agent benchmarks.

Oorspronkelijke auteurs: Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Pi

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een commandoregel van een computer moet gebruiken (dat tekstgebaseerde scherm waar je commando's zoals ls of cd typt). Het is een beetje alsof je een tovenaar leert om spreuken te werpen door hem alleen te laten fluisteren tegen een zeer letterlijke, zeer strikte geest. De geest (de computer) doet precies wat je zegt, maar als je een minuscuul detail mist, mislukt de spreuk en wordt de kamer donker.

Lama een tijdlang was het lesgeven aan deze "terminal agents" een nachtmerrie. Waarom? Omdat je niet zomaar een mens kunt vragen om elke mogbare opdracht op te schrijven die hij ooit heeft getypt. En als je een robot vraagt om zelf oefenopdrachten te bedenken, creëert hij vaak puzzels die onmogelijk op te lossen zijn of die eigenlijk niets nuttigs leren. Het is alsof je probeert te leren fietsen door een boek te lezen dat is geschreven door iemand die nog nooit een fiets heeft aangeraakt.

Ontmoet SETA (Scaling Environments for Terminal Agents). Denk aan SETA als een magische, zelf-updatende "trainingsgym" voor deze robot-tovenaars. In plaats van ze alleen een statische lijst met oefeningen te geven, bouwt SETA een hele wereld waar ze kunnen oefenen, falen en in realtime leren.

De Twee-Stappen Magische Truc

De onderzoekers hebben SETA gebouwd met twee slimme pipelines die samenwerken als een meesterkok en een sous-chef:

De "Chef" (SETA-Synth): Dit deel gaat de wereld in om echte recepten van het internet te plukken. Het kijkt naar plekken waar echte mensen problemen oplossen, zoals Stack Overflow (waar mensen vragen: "Hoe los ik deze kapotte code op?") of Kaggle (waar datawetenschappers hun werkboeken delen). Het neemt deze echte, levensechte puzzels en verandert ze in een gestandaardiseerde "trainingsomgeving". Het is alsof je een rommelige, echtelijke keukenramp neemt en die verandert in een schone, veilige oefenkeuken met een duidelijk doel: "Repareer het fornuis zodat de soep niet aanbrandt."
- Cruciale Controle: Het systeem vertrouwt de robot-chef niet blindelings. Het voert een "no-op" test uit (doet niets en controleert of de keuken nog steeds veilig is) en een "oracle" test (werkt de perfecte oplossing?). Als de oplossing van de robot faalt, stapt er een speciale "Trajectory Judge" in. Deze rechter is als een strikte scheidsrechter die kijkt naar waarom de robot faalde. Als de robot faalde omdat de puzzel kapot was (een ontwerpfout), wordt de puzzel weggegooid. Als de robot faalde omdat hij gewoon meer oefening nodig heeft, blijft de puzzel behouden.
De "Sous-Chef" (SETA-Evol): Dit is het adaptieve deel. Stel je voor dat je een robot traint. Als de puzzels te makkelijk zijn, wordt de robot verveeld en leert hij niets. Als ze te moeilijk zijn, geeft de robot op. SETA-Evol houdt in de gaten hoe de robot presteert.
- Als de robot een taak de baas is (hem 100% van de tijd oplost), maakt het systeem het moeilijker door meer stappen of lastige randgevallen toe te voegen.
- Als de robot vastloopt en faalt, maakt het systeem het makkelijker door een stap te verwijderen of een hint te geven.
- Als de robot het redelijk doet maar variatie nodig heeft, verandert het systeem de context. Misschien was hij een Linux-server aan het repareren; nu is het een Windows-server, maar de logica is hetzelfde. Dit houdt de robot scherp en aanpasbaar.

De Resultaten: Een Robot Die Écht Leert

Het team heeft dit systeem op de proef gesteld. Ze namen een model genaamd Qwen3-8B (een robotbrein met 8 miljard "neuronen") en trainden dit met deze nieuwe gym.

De Score: Voordat de training begon, kon de robot slechts ongeveer 3,6% van de pittige terminal-uitdagingen op een standaardtest genaamd Terminal-Bench 2.0 oplossen. Na de training met SETA sprong dit naar 12%. Dat is een verbetering van 3,3 keer!
De Vergelijking: Dit resultaat is het beste wat iemand tot nu toe heeft gerapporteerd voor een robot van deze grootte (8 miljard parameters) met behulp van Reinforcement Learning (leren door vallen en opstaan). Het kwam zelfs dicht in de buurt van veel grotere, propriëtaire modellen.
De Transfer: Ze probeerden dit ook op een andere, sterkere robot genaamd DeepSeek-V4-Flash. Hoewel deze robot al behoorlijk goed was, gaf de SETA-training hem nog steeds een boost, waarbij het succespercentage steeg van 40% naar 43%. Dit suggereert dat de training niet slechts een trucje is voor één specifieke robot, maar een echte manier om terminal-vaardigheden aan te leren.

Wat SETA Niet Is

Het is belangrijk om te weten wat dit paper niet beweert. De auteurs zijn zeer voorzichtig om niet te zeggen dat ze terminal agents hebben "opgelost".

Ze zeiden niet dat dit voor elke robot werkt. Ze hebben het getest op een paar specifieke modellen (Qwen en DeepSeek).
Ze zeiden niet dat dit voor alle computerinterfaces werkt. Dit is specifiek gericht op de tekstgebaseerde commandoregel, niet op het klikken op iconen op een scherm (GUI) of het gebruik van een muis.
Ze beweerden niet dat de data perfect is. Ze vermelden expliciet dat ze "kapotte" puzzels moesten filteren en dat het systeem afhankelijk is van het vermogen van de robot om zijn eigen werk te verifiëren.

De Kernboodschap

Het paper suggereert dat als je een robot wilt leren een computerwizard te zijn, je hem niet alleen een tekstboek kunt geven. Je moet een gym voor hem bous waar de oefeningen moeilijker worden naarmate hij sterker wordt, en waar elke oefening wordt gecontroleerd om te zien of deze daadwerkelijk oplosbaar is.

Door menselijke problemen uit de echte wereld te combineren met een systeem dat de moeilijkheidsgraad constant aanpast, creëerde SETA een dataset van meer dan 4.500 geverifieerde trainingsomgevingen. Het is geen toverstaf die robots van de ene op de andere dag perfect maakt, maar het is een krachtig nieuw hulpmiddel dat suggereert dat we robot-leren kunnen opschalen op een manier die daadwerkelijk werkt. De robot heeft niet alleen antwoorden uit het hoofd geleerd; hij heeft geleerd hoe hij moet nadenken in de rommelige, onvoorspelbare realiteit van een computerterminal.

Technische Samenvatting: SETA: Schalen van Omgevingen voor Terminal Agents

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als agents die interageren met diverse interfaces, waaronder web- en grafische gebruikersinterfaces (GUI's). Hierbinnen biedt de terminal command line een tekstgebaseerde, algemene interface die systeemoperaties, data science en machine learning-taken dekt. Het schalen van training voor terminal agents blijft echter een aanzienlijke flessenhals. In tegen tegenstelling tot software engineering agents, die vertrouwen op natuurlijke supervisiesignalen zoals GitHub pull requests, ontbreekt het bij terminal-taken aan gegronde supervisie. Bovendien hebben bestaande benaderingen moeite met het gelijktijdig synthetiseren van diverse taakinstructies, uitvoerbare omgevingen en betrouwbare verificatielogica. Cruciaal is dat huidige methoden vaak een gebrek hebben aan adaptieve moeilijkheidsgraadcontrole, wat resulteert in datadistributies die scheefgetrokken zijn naar de synthesebron in plaats van naar de "productieve RL-zone", waar taken uitdagend maar leerbaar zijn voor het specifieke model.

Methodologie

De auteurs stellen SETA (Scaling Environments for Terminal Agents) voor, een schaalbaar framework ontworpen voor het genereren van verifieerbare terminal-omgevingen voor Reinforcement Learning (RL). Het framework werkt via twee opeenvolgende pipelines die een uniforme verificatiemechanisme delen:

1. SETA-Synth: Bron-adaptieve Synthese

Deze pipeline zet diverse, door mensen gevalideerde bronnen om in gestandaardiseerde, verifieerbare terminal-omgevingen.

Bronnen: Het aggregeert data van community Q&A-platforms (Stack Overflow, Unix & Linux StackExchange), data science notebooks (Kaggle) en gecureerde command-datasets (NL2Bash).
Architectuur: Het maakt gebruik van een bron-adaptieve architectuur met een Idea Agent om ruwe bronvoorbeelden om te zetten in een uniforme intermediaire conceptuele specificatie. Deze agent gebruikt bron-specifieke adapters om variaties in formaten af te handelen terwijl een gemeenschappelijk taakontwerp-framework behouden blijft.
Instantiatie: Een Datapoint Agent instantieert vervolgens deze concepten in volledige omgevingen, waarbij Dockerfiles, ground-truth oplossingsscripts (solve.sh), testsuites (test_state.py, test.sh) en taakinstructies worden gegenereerd.
Verificatie: De pipeline dwingt een SWE-bench-stijl verificatieprotocol af:
- No-op Test: Garandeert dat de omgeving faalt zonder agent-interventie.
- Oracle Test: Bevestigt dat de ground-truth oplossing alle tests doorstaat.
- Post-Rollout Verificatie: Een aparte Trajectory Judge Agent auditeert taken met een 100% rollout-faalpercentage om onderscheid te maken tussen echte moeilijkheid en systematische ontwerpfouten (bijv. niet-vermelde conventies in tests), en verwijdert de laatste om dataset-vervuiling te voorkomen.

2. SETA-Evol: Adaptieve Evolutie

Deze pipeline breidt de dataset uit door de moeilijkheidsgraad en de categorieverdeling adaptief vorm te geven op basis van de prestaties van het trainingsmodel.

Strategiekeuze: Op basis van het pass-percentage ( $r$ $r$ ) van het model op een specifieke taak, selecteert SETA-Evol een evolutie-operator:
- Moeilijkheidsgraad Verhogen ( $d_1$ ): Voor gemakkelijke taken ( $r > 0.5$ ), voegt het beperkingen, randgevallen of multi-step afhankelijkheden toe om taken richting de productieve frontier te duwen.
- Context Verschuiving ( $b_1$ ): Voor gemiddeld moeilijke taken ( $r \in (0, 0.5]$ ), verandert het het domein of de toolset (bijv. het vervangen van sklearn door caret, of systemd door init.d) terwijl de moeilijkheidsgraad behouden blijft om diversiteit te vergroten.
- Moeilijkheidsgraad Verlagen ( $d_1$ ): Voor moeilijke taken ( $r \approx 0$ ), vereenvoudigt het de taak door stappen of randgevallen te verwijderen om het leerbaar te maken.
Iteratief Proces: Geëvolueerde taken ondergaan dezelfde strikte validatiepipeline als gesynthetiseerde taken, wat zorgt voor een continue opschaling van hoogwaardige data.

Belangrijkste Bijdragen

SETA-Synth Pipeline: Een nieuwe synthesemethode die de generatie van terminal-omgevingen fundeert in diverse, door mensen gevalideerde bronnen met behulp van per-bron adapters en een post-rollout trajectory judge om fouten te vangen die gemist worden door oracle verificatie.
SETA-Evol Framework: Een moeilijkheidsgraad-adaptief evolutiesysteem dat de moeilijkheidsgraad van taken kalibreert aan de capaciteitsgrens van het trainingsmodel, waardoor distributies verschuiven naar de productieve RL-zone en de contextuele diversiteit wordt uitgebreid.
SETA-Env Dataset: De release van SETA-Env, de grootste open-source verifieerbare terminal RL-dataset tot nu toe, met 4.567 omgevingen verspreid over 14 categorieën (bijv. systeemadministratie, machine learning, dataprocessing).
State-of-the-Art Resultaten: Demonstratie van significante prestatiewinsten op terminal benchmarks met behulp van RL-getrainde modellen.

Experimentele Resultaten

De auteurs evalueerden het framework door Qwen3-8B en DeepSeek-V4-Flash te trainen met Group Relative Policy Optimization (GRPO) op SETA-Env.

Terminal-Bench 2.0 Prestaties:
- Qwen3-8B: Het met RL getrainde model bereikte een 12% pass@1 op Terminal-Bench 2.0, een 3,3x verbetering ten opzien van het basismodel (3,6%). Dit vertegenwoordigt het beste gerapporteerde resultaat voor een 8B-schaal RL-getraind model, dat de prestaties van de 120B-schaal GPT-OSS-120B benadert.
- DeepSeek-V4-Flash: Training op SETA-Env verbeterde de pass@1 van 40% naar 43% en de pass@5 van 54% naar 58%, wat aantoont dat het trainingssignaal overdraagbaar is tussen verschillende modelfamilies.
Generalisatie: Het model vertoonde winst op aangrenzende coding benchmarks, inclusief CompileBench (6,7% $\to$ 40%) en CRUST-Bench (15% $\to$ 24%), wat aangeeft dat terminal-capaciteiten generaliseren naar iteratieve compilatie- en code-translatie-taken.
Gedragsverandering: Analyse toonde aan dat RL-getrainde modellen gestructureerd redeneren en plannen vertonen voordat ze commando's uitvoeren, en zich aanpassen aan concrete executiefouten (bijv. ontbrekende sudo in Docker) in plaats van blindelings te reageren.

Betekenis en Claims

Het artikel claimt dat SETA een praktische en schaalbare pipeline biedt voor het genereren van trainingsomgevingen en leersignalen voor terminal agents. Door de integratie van uitvoerbare verificatie, adaptieve moeilijkheidsgraadcontrole en diverse bron-gronding, adresseert SETA-Env het kritieke gebrek aan hoogwaardige trainingsdata voor terminal agents.

De auteurs benadrukken dat hun resultaten aantonen dat schaalbare omgeving-synthese, gecombineerd met sterke verificatie, effectief kan dienen voor RL-training voor agentische systemen in interactieve settings. Ze positioneren SETA-Env als een waardevolle bron voor het bevorderen van onderzoek naar terminal-gebaseerd agent-leren, waarbij zij opmerken dat de dataset nog niet verzadigd is door sterke propriëtaire modellen, wat de bruikbaarheid voor toekomstig onderzoek waarborgt.

Beperkingen: De auteurs erkennen dat hun validatie momenteel beperkt is tot twee modelfamilies (Qwen en DeepSeek) en specifieke schalen. Ze merken ook op dat de omgevingen beperkt zijn tot terminal-gebaseerde interacties, wat GUI en multimodale extensies als richtingen voor toekomstig werk achterlaat. Daarnaast wijzen ze op het potentieel voor misbruik (onbevoegde toegang tot systemen) en stellen zij dat zij dit mitigeren door taken af te leiden uit publieke, niet-gevoelige bronnen en door te hameren op gesandboxed, verifieerbare omgevingen.