🤖 AI

SETA: Scaling Environments for Terminal Agents

Das Paper stellt SETA vor, ein skalierbares Framework zur Generierung verifizierbarer Terminalumgebungen, das den größten Open-Source-Datensatz dieser Art (SETA-Env) erzeugt und es RL-trainierten Modellen wie Qwen3-8B ermöglicht, State-of-the-Art-Leistungen in Terminal-Agent-Benchmarks zu erzielen.

Ursprüngliche Autoren: Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Pi

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man eine Computer-Kommandozeile benutzt (dieser textbasierte Bildschirm, auf dem man Befehle wie ls oder cd eintippt). Es ist ein bisschen so, als würde man versuchen, einem Zauberer das Wirken von Zaubersprüchen beizubringen, indem man ihm nur erlaubt, zu einem sehr wörtlichen, sehr strengen Genie zu flüstern. Das Genie (der Computer) tut exakt das, was man ihm sagt, aber wenn man ein winziges Detail vergisst, verpufft der Zauberspruch und der Raum wird dunkel.

Lange Zeit war es ein Albtraum, diese „Terminal-Agenten“ zu lehren. Warum? Weil man einen Menschen nicht einfach bitten kann, jeden Befehl aufzuschreiben, den er jemals getippt hat. Und wenn man einen Roboter bittet, seine eigenen Übungsaufgaben zu erfinden, erstellt er oft Rätsel, die unmöglich zu lösen sind oder eigentlich nichts Nützliches lehren. Es ist, als würde man versuchen, das Fahrradfahren zu lernen, indem man ein Buch liest, das von jemandem geschrieben wurde, der noch nie ein Fahrrad berührt hat.

Hier kommt SETA (Scaling Environments for Terminal Agents) ins Spiel. Betrachten Sie SETA als ein magisches, selbstaktualisierendes „Trainingsgym“, für diese Roboter-Zauberer. Anstatt ihnen nur eine statische Liste von Übungen zu geben, baut SETA eine ganze Welt auf, in der sie in Echtzeit trainieren, scheitern und lernen können.

Der Zwei-Schritte-Zaubertrick

Die Forscher haben SETA mit zwei cleveren Pipelines aufgebaut, die zusammenarbeiten wie ein Chefkoch und sein Sous-Chef:

Der „Chef“ (SETA-Synth): Dieser Teil geht raus und holt sich echte Rezepturen aus dem Internet. Er sucht an Orten, an denen echte Menschen Probleme lösen, wie etwa Stack Overflow (wo Menschen fragen: „Wie behebe ich diesen kaputten Code?“) oder Kaggle (wo Datenwissenschaftler ihre Workbooks teilen). Er nimmt diese realen Rätsel und verwandelt sie in eine standardisierte „Trainingsumgebung“. Es ist, als würde man ein chaotisches Küchenunglück aus der realen Welt nehmen und es in eine saubere, sichere Übungsküche verwandeln, mit einem klaren Ziel: „Repariere den Herd, damit die Suppe nicht anbrennt.“
- Wichtige Prüfung: Das System vertraut dem Roboter-Chef nicht einfach blind. Es führt einen „No-Op“-Test durch (tut nichts und prüft, ob die Küche weiterhin sicher ist) und einen „Oracle“-Test (ob die perfekte Lösung funktioniert). Wenn die Lösung des Roboters fehlschlägt, tritt ein spezieller „Trajectory Judge“ (Trajektorien-Richter) ein. Dieser Richter ist wie ein strenger Schiedsrichter, der untersucht, warum der Roboter gescheitert ist. Wenn der Roboter gescheitert ist, weil das Rätsel fehlerhaft war (ein Designfehler), wird das Rätsel weggeworfen. Wenn der Roboter jedoch nur mehr Übung benötigt, bleibt das Rätsel erhalten.
Der „Sous-Chef“ (SETA-Evol): Dies ist der adaptive Teil. Stellen Sie sich vor, Sie trainieren einen Roboter. Wenn die Aufgaben zu leicht sind, wird der Roboter gelangweilt und lernt nichts. Wenn sie zu schwer sind, gibt er auf. SETA-Evol beobachtet, wie der Roboter zurechtkommt.
- Wenn der Roboter eine Aufgabe meistert (sie zu 100 % löst), macht das System es schwerer, indem es mehr Schritte oder knifflige Randfälle hinzufügt.
- Wenn der Roboter feststeckt und scheitert, macht das System es leichter, indem es einen Schritt entfernt oder einen Hinweis gibt.
- Wenn der Roboter zwar gut zurechtkommt, aber Abwechslung braucht, wechselt das System den Kontext. Vielleicht hat er gerade einen Linux-Server repariert; jetzt muss er einen Windows-Server reparieren, aber die Logik dahinter ist dieselbe. Dies hält den Roboter wachsam und anpassungsfähig.

Die Ergebnisse: Ein Roboter, der tatsächlich lernt

Das Team hat dieses System auf die Probe gestellt. Sie nahmen ein Modell namens Qwen3-8B (ein Robotergehirn mit 8 Milliarden „Neuronen“) und trainierten es mit diesem neuen Gym.

Die Punktzahl: Vor dem Training konnte der Roboter nur etwa 3,6 % der schwierigen Terminal-Herausforderungen eines Standardtests namens Terminal-Bench 2.0 lösen. Nach dem Training mit SETA sprang er auf 12 %. Das ist eine Verbesserung um das 3,3-fache!
Der Vergleich: Dieses Ergebnis ist das beste, das bisher jemand für einen Roboter dieser Größe (8 Milliarden Parameter) unter Verwendung von Reinforcement Learning (Lernen durch Versuch und Irrtum) gemeldet hat. Es kam sogar nah an deutlich größere, proprietäre Modelle heran.
Der Transfer: Sie testeten dies auch bei einem anderen, stärkeren Roboter namens DeepSeek-V4-Flash. Obwohl dieser Roboter bereits ziemlich gut war, gab das SETA-Training ihm immer noch einen Schub und verbesserte seine Erfolgsquote von 40 % auf 43 %. Dies deutet darauf hin, dass das Training nicht nur ein Trick für einen spezifischen Roboter ist, sondern eine echte Methode, um Terminal-Fähigkeiten zu lehren.

Was SETA nicht ist

Es ist wichtig zu wissen, was dieses Paper nicht behauptet. Die Autoren sind sehr vorsichtig damit zu sagen, dass sie die Terminal-Agenten damit „gelöst“ haben.

Sie sagten nicht, dass dies für jeden Roboter funktioniert. Sie haben es an einigen spezifischen Modellen getestet (Qwen und DeepSeek).
Sie sagten nicht, dass dies für alle Computer-Schnittstellen funktioniert. Dies bezieht sich speziflich auf die textbasierte Kommandozeile, nicht auf das Klicken von Icons auf einem Bildschirm (GUI) oder die Benutzung einer Maus.
Sie behaupteten nicht, dass die Daten perfekt sind. Sie erwähnen explizit, dass sie „fehlerhafte“ Rätsel herausfiltern mussten und dass das System darauf angewiesen ist, dass der Roboter in der Lage ist, seine eigene Arbeit zu verifizieren.

Das Fazk

Das Paper legt nahe, dass man, wenn man einen Roboter dazu bringen will, ein Computer-Zauberer zu werden, ihm nicht einfach ein Lehrbuch geben kann. Man muss ihm ein Gym bauen, in dem die Übungen schwieriger werden, je stärker er wird, und in dem jede Übung überprüft wird, um sicherzustellen, dass sie tatsächlich lösbar ist.

Durch die Kombination von realen menschlichen Problemen mit einem System, das den Schwierigkeitsgrad ständig anpasst, schuf SETA einen Datensatz von über 4.500 verifizierten Trainingsumgebungen. Es ist kein Zauberstab, der Roboter über Nacht perfekt macht, aber es ist ein leistungsstarkes neues Werkzeug, das zeigt, dass wir das Lernen von Robotern in einer Weise skalieren können, die tatsächlich funktioniert. Der Roboter hat nicht nur Antworten auswendig gelernt; er hat gelernt, wie er in der chaotischen, unvorhersehbaren Realität eines Computer-Terminals denken muss.

Technisches Resümee: SETA: Skalierung von Umgebungen für Terminal-Agenten

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als Agenten eingesetzt, die mit diversen Schnittstellen interagieren, einschließlich Web- und grafischen Benutzeroberflächen (GUIs). Unter diesen bietet das Terminal-Kommandozeilen-Interface eine textbasierte, universelle Schnittstelle, die Systemoperationen, Data Science und Aufgaben des maschinellen Lernens abdeckt. Die Skalierung des Trainings für Terminal-Agenten stellt jedoch einen erheblichen Engpass dar. Im Gegensatz zu Software-Engineering-Agenten, die auf natürliche Supervisionssignale wie GitHub-Pull-Requests zurückgreifen können, fehlt Terminal-Aufgaben eine fundierte Supervision. Zudem haben bestehende Ansätze Schwierigkeiten, gleichzeitig vielfältige Aufgabeninstruktionen, ausführbare Umgebungen und zuverlässige Verifizierungslogik zu synthetisieren. Entscheidend ist, dass aktuellen Methoden oft die adaptive Schwierigkeitskontrolle fehlt, was zu Datenverteilungen führt, die eher durch die Synthesequelle als durch die „produktive RL-Zone“ geprägt sind – jenen Bereich, in dem Aufgaben herausfordernd, aber für das spezifische Modell noch lernbar sind.

Methodik

Die Autoren schlagen SETA (Scaling Environments for Terminal Agents) vor, ein skalierbares Framework zur Generierung verifizierbarer Terminal-Umgebungen für Reinforcement Learning (RL). Das Framework operiert durch zwei aufeinanderfolgende Pipelines, die einen einheitlichen Verifizierungsmechanismus nutzen:

1. SETA-Synth: Quelladaptive Synthese

Diese Pipeline konvertiert diverse, menschlich validierte Quellen in standardisierte, verifizierbare Terminal-Umgebungen.

Quellen: Es aggregiert Daten von Community-Q&A-Plattformen (Stack Overflow, Unix & Linux StackExchange), Data-Science-Notebooks (Kaggle) und kuratierten Befehlssätzen (NL2Bash).
Architektur: Es verwendet eine quelladaptive Architektur mit einem Idea Agent, um Rohdaten aus den Quellen in einen einheitlichen, intermediären Entwurfs-Spezifikationsentwurf zu überführen. Dieser Agent nutzt quellspezifische Adapter, um Formatvariationen zu handhaben und gleichzeitig ein gemeinsames Aufgaben-Design-Framework beizubehalten.
Instanziierung: Ein Datapoint Agent instanziiert diese Entwürfe anschließend in vollständige Umgebungen, indem er Dockerfiles, Ground-Truth-Lösungsskripte (solve.sh), Test-Suites (test_state.py, test.sh) und Aufgabeninstruktionen generiert.
Verifizierung: Die Pipeline erzwingt ein SWE-bench-artiges Verifizierungsprotokoll:
- No-op Test: Stellt sicher, dass die Umgebung ohne Agenten-Intervention fehlschlägt.
- Oracle Test: Bestätigt, dass die Ground-Truth-Lösung alle Tests besteht.
- Post-Rollout-Verifizierung: Ein separater Trajectory Judge Agent auditiert Aufgaben mit einer Rollout-Fehlerrate von 100 %, um zwischen echter Schwierigkeit und systematischen Designfehlern (z. B. ungenannten Konventionen in den Tests) zu unterscheiden, wobei letztere verworfen werden, um die Datensatz-Kontamination zu verhindern.

2. SETA-Evol: Adaptive Evolution

Diese Pipeline erweitert den Datensatz, indem sie die Schwierigkeit und die Kategorienverteilung basierend auf der Performance des Trainingsmodells adaptiv umgestaltet.

Strategiewahl: Basierend auf der Erfolgsrate ( $r$ $r$ ) des Modells bei einer spezifischen Aufgabe wählt SETA-Evol einen Evolutionsoperator:
- Schwierigkeitssteigerung ( $d_1$ ): Für leichte Aufgaben ( $r > 0,5$ ) fügt es Constraints, Edge-Cases oder Multi-Step-Abhängigkeiten hinzu, um die Aufgaben in Richtung der produktiven Front zu drücken.
- Kontextverschiebung ( $b_1$ ): Für Aufgaben mittlerer Schwierigkeit ( $r \in (0, 0,5]$ ) ändert es die Domäne oder das Toolset (z. B. den Austausch von sklearn durch caret oder systemd durch init.d), während die Schwierigkeit erhalten bleibt, um die Diversität zu erhöhen.
- Schwierigkeitsverringerung ( $d_1$ ): Für schwierige Aufgaben ( $r \approx 0$ ) vereinfacht es die Aufgabe, indem es Schritte oder Edge-Cases entfernt, um sie lernbar zu machen.
Iterativer Prozess: Evolvierte Aufgaben durchlaufen dasselbe strenge Validierungspipeline wie synthetisierte Aufgaben, was die kontinuierliche Skalierung hochwertiger Daten gewährleistet.

Zentrale Beiträge

SETA-Synth Pipeline: Eine neuartige Synthesemethode, die die Generierung von Terminal-Umgebungen durch per-Quelle-Adapter in diverse, menschlich validierte Quellen einbettet und einen Post-Rollout-Trajectory-Judge nutzt, um Fehler abzufangen, die von der Oracle-Verifizierung übersehen wurden.
SETA-Evol Framework: Ein schwierigkeitsadaptives Evolutionssystem, das die Schwierigkeit der Aufgaben an die Kapazitätsgrenze des Trainingsmodells kalibriert, wodurch die Verteilungen in die produktive RL-Zone verschoben und die kontextuelle Diversität erweitert werden.
SETA-Env Datensatz: Die Veröffentlichung von SETA-Env, dem bisher größten Open-Source-Datensatz für verifizierbares Terminal-RL, der 4.567 Umgebungen in 14 Kategorien (z. B. Systemadministration, Maschinelles Lernen, Datenverarbeitung) enthält.
State-of-the-Art Ergebnisse: Demonstration signifikanter Leistungssteigerungen auf Terminal-Benchmarks durch RL-trainierte Modelle.

Experimentelle Ergebnisse

Die Autoren evaluierten das Framework, indem sie Qwen3-8B und DeepSeek-V4-Flash mittels Group Relative Policy Optimization (GRPO) auf SETA-Env trainierten.

Terminal-Bench 2.0 Performance:
- Qwen3-8B: Das RL-trainierte Modell erreichte eine 12% pass@1 auf Terminal-Bench 2.0, was eine 3,3-fache Verbesserung gegenüber dem Basismodell (3,6 %) darstellt. Dies ist das beste berichtete Ergebnis für ein RL-trainiertes Modell im 8B-Maßstab und nähert sich der Leistung des 120B-Skala GPT-OSS-120B an.
- DeepSeek-V4-Flash: Das Training auf SETA-Env verbesserte pass@1 von 40 % auf 43 % und pass@5 von 54 % auf 58 %, was zeigt, dass das Trainingssignal über verschiedene Modellfamilien hinweg transferierbar ist.
Generalisierung: Das Modell zeigte Gewinne auf benachbarten Coding-Benchmarks, einschließlich CompileBench (6,7 % $\to$ 40 %) und CRUST-Bench (15 % $\to$ 24 %), was darauf hindeutet, dass Terminal-Fähigkeiten auf iterative Kompilierungs- und Code-Translation-Aufgaben generalisieren.
Verhaltensänderung: Analysen ergaben, dass RL-trainierte Modelle vor der Ausführung von Befehlen strukturiertes Reasoning und Planning zeigen und auf konkrete Ausführungsfehler (z. B. fehlendes sudo in Docker) reagieren, statt blind zu agieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass SETA eine praktische und skalierbare Pipeline zur Generierung von Trainingsumgebungen und Lernsignalen für Terminal-Agenten bereitstellt. Durch die Integration von ausführbarer Verifizierung, adaptiver Schwierigkeitskontrolle und diverser Quellen-Grundierung adressiert SETA-Env den kritischen Mangel an hochwertigen Trainingsdaten für Terminal-Agenten.

Die Autoren betonen, dass ihre Ergebnisse zeigen, dass skalierbare Umgebungssynthese in Kombination mit starker Verifizierung effektiv das RL-Training für agentische Systeme in interaktiven Umgebungen unterstützen kann. Sie positionieren SETA-Env als wertvolle Ressource für die Forschung zur Verbesserung von Terminal-basierten Agenten-Lernen und merken an, dass der Datensatz noch nicht durch starke proprietäre Modelle gesättigt ist, was seinen Nutzen für die zukünftige Forschung bewahrt.

Limitierungen: Die Autoren räumen ein, dass ihre Validierung derzeit auf zwei Modellfamilien (Qwen und DeepSeek) und spezifische Skalen beschränkt ist. Sie weisen zudem darauf hin, dass die Umgebungen auf Terminal-Interaktionen beschränkt sind, was GUI- und multimodale Erweiterungen als zukünftige Forschungsrichtungen hinterlässt. Darüber hinaus betonen sie das Potenzial für Missbrauch (unbefugter Systemzugriff) und erklären, dass sie dies durch die Ableitung von Aufgaben aus öffentlichen, nicht-sensiblen Quellen sowie durch die Betonung von sandboxed, verifizierbaren Umgebungen mildern.