Endless Terminals: Scaling RL Environments for Terminal Agents

Probleemstelling

De huidige beperking voor zelfverbeterende agenten (AI-systemen die taken uitvoeren) is de schaarste aan schaalbare omgevingen. Bestaande benchmarks voor terminal-taken (zoals het uitvoeren van shell-commando's) zijn ontworpen voor evaluatie, niet voor training. Reinforcement Learning (RL) vereist echter een enorme hoeveelheid diverse, automatisch verifieerbare taken om effectief te leren.

• Huidige situatie: Handmatig samengestelde datasets zijn duur en leveren slechts honderden taken op, wat te weinig is voor robuuste RL-training.
• Bestaande oplossingen: Andere benaderingen vertrouwen op het distilleren van gedrag van krachtige, gesloten modellen (SFT) of het hergebruiken van vaste benchmarks, wat leidt tot overfitting of een "kwaliteitsplafond" dat wordt bepaald door het leraarmodel.
• De kernvraag: Er ontbreekt een volledig autonoom proces dat een eindeloze stroom van terminal-taken kan genereren, inclusief de omgeving, specificaties en verificatietests, zonder menselijke tussenkomst.

Methodologie: Endless Terminals

De auteurs introduceren Endless Terminals, een procedurale generatiepijplijn die volledig autonoom terminal-taken synthetiseert. De pijplijn bestaat uit vier fasen:

1. Generatie van Taakbeschrijvingen:

   • Een taalmodel genereert diverse taakbeschrijvingen door te stochastisch te bemonsteren uit drie dimensies: categorieën (bijv. bestandsbeheer, loganalyse, database-operaties), complexiteit (van 1 tot 10+ commando's) en scenario's (bijv. DevOps-engineer, data-analist).
   • Het outputt een instructie voor de agent en een apart, "privilege" gedeelte met de grondwahrheid (ground truth) voor verificatie (bijv. exacte bestandsinhoud, verwachte uitvoer), dat nooit aan de agent wordt getoond.

2. Opzetten en Valideren van Containers:

   • Op basis van de taak wordt een containerized omgeving (Docker of Apptainer) gegenereerd.
   • Er wordt een iteratieve validatielus gebruikt: het model schrijft een setup-script en een test voor de initiële staat. Als de container niet bouwt of de tests falen, wordt de foutmelding teruggevoerd naar het model voor correctie (maximaal 3 rondes).

3. Generatie van Afrondingstests:

   • Een tweede testbestand wordt gegenereerd om de staat van het systeem na succesvolle taakuitvoering te verifiëren. Deze tests controleren of de verwachte eindtoestand (bestanden, configuraties, output) is bereikt.
   • Er wordt gecontroleerd of deze tests niet al in de initiële staat slagen, om te voorkomen dat de taak triviaal is.

4. Filteren op Oplosbaarheid:

   • Om te garanderen dat taken oplosbaar zijn, worden $n=16$ oplossingen gegenereerd met een krachtig model (o3 van OpenAI) binnen het agent-framework.
   • Alleen taken waarbij ten minste één oplossing slaagt (pass@16 > 0) worden behouden. Dit filtert ondergespecificeerde of onmogelijke taken uit.

Agent Architectuur en Training:

• Minimalistische Scaffolding: De agent heeft geen toegang tot geavanceerde tools, retrieval-systemen of multi-agent coördinatie. De interactie is een simpele lus: redeneren, commando uitvoeren, uitvoer observeren.
• Training: De auteurs gebruiken Vanilla PPO (Proximal Policy Optimization) met een binaire beloningssignaal (1 voor succes, 0 voor falen) op episode-niveau. Er zijn geen tussentijdse beloningen of KL-straffen.
• Omgeving: De agent werkt in een persistente shell-sessie (Apptainer/Docker) met een contextvenster van 16k tokens.

Kernresultaten

De pijplijn produceerde 3.255 geverifieerde taken. Training op deze dataset leverde aanzienlijke verbeteringen op voor verschillende modellen:

• Prestaties op de ontwikkelset (Dev Set):

  • Llama-3.2-3B: Verbetering van 4,0% naar 18,2%.
  • Qwen2.5-7B: Verbetering van 10,7% naar 53,3%.
  • Qwen3-8B-openthinker-sft: Verbetering van 42,6% naar 59,0%.

• Generalisatie naar Menselijke Benchmarks (TerminalBench 2.0):
  De verbeteringen transfereren naar een menselijk samengestelde benchmark die niet tijdens het training is gebruikt:

  • Llama-3.2-3B: Van 0,0% naar 2,2%.
  • Qwen2.5-7B: Van 2,2% naar 3,4%.
  • Qwen3-8B-openthinker-sft: Van 1,1% naar 6,7%.
  • Opmerking: Deze resultaten overtreffen alternatieve methoden, inclusief modellen met complexere "agentic scaffolds" (zoals Terminus-2).

• Foutanalyse:
  De belangrijkste faalmodi zijn "loop-fouten" (39%, waarbij de agent dezelfde commando's herhaalt) en het bereiken van het limiet aan beurten (26%). Succesvolle runs tonen een veel hogere diversiteit aan commando's na een fout (0,49 vs 0,18), wat suggereert dat het verkennen van alternatieve benaderingen cruciaal is.

Bijdragen en Betekenis

1. Autonome Schaalbaarheid: Het paper bewijst dat een volledig autonoom proces kan worden opgezet om duizenden verifieerbare terminal-taken te genereren zonder menselijke annotatie of distillatie van gesloten modellen.
2. Eenvoud wint op Complexiteit: De resultaten tonen aan dat "simpele" RL-opstellingen (PPO zonder complexe tools of scaffolding) succesvol kunnen zijn zolang de omgeving schaalt. De winst komt niet van geavanceerde algoritmen, maar van de schaal en diversiteit van de trainingsdata.
3. Complementariteit van SFT en RL: De beste resultaten werden behaald met een model dat eerst was gefinetuned (SFT) op gedistilleerde data en daarna met RL werd getraind. Dit bevestigt dat SFT een goede "warm start" biedt waar RL effectief op kan bouwen.
4. Toekomstperspectief: Het werk benadrukt dat de community meer moet investeren in geautomatiseerde taakgeneratiepijplijnen naast algoritmische vooruitgang. Het identificeert ook beperkingen, zoals het feit dat gegenereerde taken vaak meer lijken op competitieve programmeerproblemen dan op de vaag, menselijke vragen uit de echte wereld, en dat de "oplosbaarheidsfilter" een plafond oplegt aan de moeilijkheidsgraad (beperkt door de capaciteit van het validator-model).

Conclusie: "Endless Terminals" demonstreert dat schaalbare omgevingen de sleutel zijn tot het trainen van krachtige terminal-agenten, en dat zelfs simpele RL-methoden aanzienlijke prestatieverbeteringen kunnen boeken wanneer ze worden gevoed met voldoende schaalbare, procedueel gegenereerde data.