Technische Samenvatting: TMAX – Een Eenvoudig Recept voor Terminal Agents

Probleemstelling

Terminal-gebaseerde agentische codering is een dominante downstream-toepassing geworden voor Large Language Models (LLM's), waarbij industriële modellen steeds vaker worden verwacht complexe, langdurige taken uit te voeren via command-line interfaces. Academisch onderzoek op dit gebied wordt echter geconfronteerd met drie primaire knelpunten:

1. Datatekort: Hoogwaardige, open datasets voor terminal agents zijn beperkt. Bestaande datasets richten zich vaak nauw op bugfixing (bijv. SWE-Bench subsets) of eenvoudige bestandsmanipulaties, en slagen er niet in de breedte van real-world terminal taken te dekken.
2. Trainingscomplexiteit: Reinforcement Learning (RL) voor terminal agents is berucht moeilijk te stabiliseren, vooral voor langdurige taken, waarbij veel voorgaande werken vertrouwen op Supervised Fine-Tuning (SFT) alleen of er niet in slagen significante RL-winsten aan te tonen.
3. Gebrek aan Baselines: Er is een tekort aan eenvoudige, reproduceerbare "recepten" voor het trainen van open-weight modellen om te concurreren met closed-source aanbiedingen op complexe terminal benchmarks zoals Terminal-Bench.

Methodologie

De auteurs stellen TMAX voor, een framework bestaande uit een nieuwe datageneratie-pipeline en een gestroomlijnd RL-trainingsrecept.

1. Datageneratie: TMAX-15K

De auteurs introduceren TMAX-15K, een dataset van 14.600 unieke RL-omgeving-instanties. In tegenstelling tot voorgaande werken die vertrouwen op het minen van bestaande repositories of eenvoudige seed-taken, gebruikt TMAX een compositioneel generatieframework:

• Hiërarchische Sampling: Taken worden geconstrueerd door te samplen uit negen gestructureerde assen, waaronder Domein (bijv. security, data science), Skills, Taakcomplexiteit (van shell-commando's tot complexe workflows), Commando-complexiteit (van bash tot systeemservices), Persona en Verifier-typen.
• Moeilijkheidsgraad-controle: De pipeline kalibreert de moeilijkheid expliciet om bimodale distributies (triviaal versus onoplosbaar) te vermijden. Het maakt gebruik van gegradueerde verifiers (metrische drempels, adversariële corpora, fuzz-equivalentie) in plaats van eenvoudige binaire correctheidscontroles.
• Schaalbaarheid & Diversiteit: De pipeline slaat dure teacher-gebaseerde validatiestappen over en vertrouwt in plaats daarvan op de "soft filtering" van de RL-infrastructuur (het weggooien van samples waar de policy pass rate nul is). Het genereert diverse inputs, inclusief multi-modale fixtures (afbeeldingen, audio, binaries) die agents moeten inspecteren via standaard terminal tools (OCR, ffmpeg), in plaats van een multi-modaal model te vereisen.
• Schaal: De dataset is meer dan 2,5x groter dan de eerstvolgende grootste terminal dataset die volledige omgeving-data vrijgeeft en vertoont een superieure domeinbalans vergeleken met voorgaande werken.

2. Trainingsrecept

De auteurs gebruiken een eenvoudig, outcome-only RL-recept met behulp van Divergence Proximal Policy Optimization (DPPO), een variant van GRPO die tokens maskeert wanneer inferentie en training logprobs afwijken.

• Infrastructuur: Training is volledig asynchroon met behulp van open-instruct en vLLM voor rollouts, met sandboxes beheerd via Podman of Apptainer.
• Stabiliteitsmechanismen:
  • FP32 LM Head: Om de mismatch tussen training en inferentie te minimaliseren, wordt de taalmodel head in FP32-precisie gehouden, wat de auteurs cruciaal vonden voor modellen zoals Qwen 3.5.
  • Grote Groepsgrootte: Het gebruik van een groepsgrootte van 32 (tegenover de standaard 8) verbetert de stabiliteit in langdurige scenario's.
  • Geen Initiële SFT: Voor Qwen 3.5 modellen ontdekten de auteurs dat bestaande SFT-datasets de prestaties vaak verslechterden; daarom trainden zij direct met RL.
• Evaluatie: Modellen worden geëvalueerd op Terminal-Bench 2.0 en Terminal-Bench Lite, evenals algemene benchmarks zoals SWE-Bench Verified en AIME.

Belangrijkste Bijdragen

1. TMAX-15K Dataset: De release van een dataset van 14.600 instanties met expliciete controle over moeilijkheidsgraad en diversiteit, die aanzienlijk groter en evenwichtiger is dan voorheen beschikbare terminal agent datasets.
2. State-of-the-Art Open Model: De training van TMAX-9B, een model met 9 miljard parameters dat 27% behaalt op Terminal-Bench 2.0. Dit presteert beter dan voorheen beschikbare open modellen van vergelijkbare grootte en zelfs grotere open modellen (bijv. 32B varianten), en nadert de prestaties van closed-source modellen zoals Claude Haiku 4.5.
3. Reproduceerbaar RL-recept: Een eenvoudig, open-source recept (data, code, checkpoints) dat voorgaande open RL-baselines (bijv. Endless Terminals, OpenThinker-Agent) overtreft en aantoont dat RL significante winsten kan opleveren (>5 punten) ten opzien van SFT-only baselines.
4. Bewijs van Generalisatie: De auteurs demonstreren dat de RL-training generaliseert over:
   • Taken: Verbeterde prestaties op SWE-Bench Verified (+5 punten) en AIME.
   • Harnesses: Verbeterde prestaties over verschillende evaluatie-harnesses (OpenHands, mini-SWE-agent, Terminus-2), wat suggereert dat het model algemene terminal skills leert in plaats van "harness-fitting".
   • Modelfamilies: Succesvolle transfer naar Qwen 3 8B en Qwen 3.6 27B.

Resultaten

• Terminal-Bench 2.0: TMAX-9B behaalt 27%, waarmee het de Pareto-frontier domineert voor modellen onder de 32B parameters.
• Datasetvergelijking: Training op TMAX-15K levert aanzienlijk hogere prestaties op (57,2% op TB Lite, 28,8% op TB 2.1) vergeleken met training op andere datasets zoals Endless Terminals (52,6%/25,5%) of SWE-Smith (47,2%/21,0%).
• Trainingsdynamiek: Modellen getraind op TMAX-15K maken over de tijd meer stappen en langere token-sequenties gebruik, wat wijst op het leren van complexe redeneer- en tool-gebruikspatronen.
• Stabiliteit: Het gebruik van DPPO en FP32 heads heeft de trainingsinstabiliteit (training collapse) succesvol gemitigeerd, die werd waargenomen bij het gebruik van standaard GRPO of kleinere groepsgroottes.

Betekenis en Claims

Het artikel beweert dat TMAX een sterke baseline biedt voor toekomstig academisch onderzoek naar terminal agents. De auteurs stellen dat hun werk aantoont dat:

1. Eenvoudige recepten werken: Complexe, meerfasige generatiepipelines zijn niet strikt noodzakelijk; een eenvoudige compositionele aanpak met expliciete moeilijkheidsgraad-controle is voldoende om hoogwaardige data te genereren.
2. RL effectief is voor terminal agents: In tegen tegenstelling tot de visie dat RL instabiel of ineffectief is voor dit domein, laten de auteurs zien dat RL met de juiste data en stabiliteitsmechanismen (DPPO, FP32 heads) de prestaties aanzienlijk kan verbeteren op complexe, langdurige taken.
3. Generalisatie mogelijk is: De training beperkt zich niet tot het overfitten op een specifieke harness of taakdistributie, maar brengt overdraagbare vaardigheden aan voor het gebruik van terminal tools om diverse problemen op te lossen.

De auteurs erkennen beperkingen en merken op dat hun dataset volledig synthetisch is en afhankelijk is van een sterk generatiemodel. Ze benadrukken ook dat trainingsstabiliteit een uitdaging blijft, aangezien runs vaak instorten na 300 stappen, wat suggereert dat verdere verbeteringen in infrastructuur en trainingsalgoritmen nog betere resultaten kunnen opleveren. Ze positioneren hun werk als een fundament waarop de community kan voortbouwen, in plaats van als een definitieve oplossing voor terminal agent training.