🤖 AI

SETA: Scaling Environments for Terminal Agents

本論文は、検証可能なターミナル環境を生成するためのスケーラブルなフレームワークであるSETAを紹介しており、これは同種のものとしては最大規模のオープンソースデータセット（SETA-Env）を生成し、Qwen3-8Bのような強化学習済みモデルがターミナルエージェントのベンチマークにおいて最先端の性能を達成することを可能にする。

原著者： Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Pi

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、スーパーインテリジェントなロボットにコンピュータのコマンドライン（lsやcdといったコマンドを打ち込む、テキストのみの画面）の使い方を教えようとしていると想像してください。それは、魔法使いに、非常にリテラルで、非常に厳格なジーニー（精霊）にだけささやきかけることを許して、呪文を唱える方法を教えるようなものです。ジーニー（コンピュータ）は言われた通りに正確に動きますが、もしあなたが細部を一つでも見落とせば、呪文は失敗し、部屋は暗闇に包まれます。

長い間、こうした「ターミナル・エージェント」を教えることは悪夢でした。なぜなら、人間に自分がこれまで入力したあらゆるコマンドを書き留めてもらうことはできないからです。また、ロボットに自分で練習問題を作らせようとしても、解決不可能なパズルや、役に立つ学習を全く提供しないものを作り出してしまうことがよくありました。それは、自転車に一度も触れたことがない人が書いた本を読んで、自転車の乗り方を学ぼうとするようなものです。

そこで登場したのが、SETA（Scaling Environments for Terminal Agents）です。SETAを、これらのターミナル魔法使いのための、魔法的で自己更新型の「トレーニングジム」だと考えてください。単なる静的なドリルの一覧を与えるのではなく、SETAはロボットが実践し、失敗し、リアルタイムで学ぶことができる世界を構築します。

2ステップの魔法のトリック

研究者たちは、マスターシェフとスーシェフのように連携して機能する、2つの巧妙なパイプラインを用いてSETAを構築しました。

「シェフ」（SETA-Synth）： この部分は、インターネットから本物のレシピを取りに行きます。Stack Overflow（人々が「どうすればこの壊れたコードを直せるか？」と質問する場所）やKaggle（データサイエンティストがワークブックを共有する場所）など、現実の人間の問題解決の場を探します。そして、これら現実世界のパズルを取り込み、標準化された「トレーニング環境」へと作り変えます。これは、現実世界の散らかったキッチンの災難を、クリーンで安全な練習用キッチンに変え、「スープが焦げないようにコンロを直せ」という明確なゴールを設定するようなものです。
- 重要なチェック： システムはロボット・シェフをただ鵜呑みにすることはありません。「no-op」テスト（何もしない状態でキッチンがまだ安全であることを確認する）と、「オラクル（神託）」テスト（完璧な解決策が機能するかどうかを確認する）を実行します。もしロボットの解決策が失敗した場合、特別な「軌跡判定官（Trajectory Judge）」が介入します。この判定官は、厳格なレフェリーのように、ロボットがなぜ失敗したのかを調べます。もしロボットが「パズル自体が壊れている（設計上の欠陥）」ために失敗したのであれば、そのパズルはゴミ箱に捨てられます。もしロボットが「単にもっと練習が必要なだけ」であれば、そのパズルは残されます。
「スーシェフ」（SETA-Evol）： これは適応型の部分です。あなたがロボットを訓練している場面を想像してください。もしパズルが簡単すぎると、ロボットは退屈して何も学びません。もし難しすぎると、ロボットは諦めてしまいます。SETA-Evolは、ロボットがどのように進歩しているかを監視します。
- ロボットがタスクを圧倒している場合（100%の確率で解決している場合）、システムはステップを追加したりトリッキーなエッジケースを加えたりして、難易度を高くします。
- ロボットが行き詰まって失敗している場合、ステップを減らしたりヒントを与えたりして、難易度を低くします。
- ロボットが順調だが多様性が必要な場合、システムはコンテキスト（文脈）を入れ替えます。例えば、Linuxサーバーの修正を行っていたのが、次はWindowsサーバーの修正になるかもしれません。論理は同じですが、これによりロボットの鋭さと適応力を維持します。

結果：実際に学習するロボット

チームはこのシステムをテストにかけました。彼らはQwen3-8B（80億の「ニューロン」を持つロボットの脳）というモデルを取り上げ、この新しいジムを使って訓練しました。

スコア： 訓練前、このロボットはTerminal-Bench 2.0と呼ばれる標準的なテストにおける困難なターミナル・チャレンジの約3.6%しか解決できませんでした。SETAによる訓練後、それは12%へと跳ね上がりました。これは3.3倍の向上です！
比較： この結果は、強化学習（試行錯誤による学習）を用いた、このサイズ（80億パラメータ）のロボットとして報告された中で最高値です。さらに、より大規模なプロプライエタリ（独占的）なモデルにも肉薄しました。
転移性： 彼らはさらに、より強力な別のロボットであるDeepSeek-V4-Flashでもテストを行いました。このロボットはすでにかなり優秀でしたが、SETAによる訓練は依然としてブーストを与え、成功率を**40%から43%**へと向上させました。これは、このトレーニングが特定のロボット専用のトリックではなく、ターミナル技術を教えるための真の手段であることを示唆しています。

SETAが「行わない」こと

この論文が何を主張していないかを知っておくことも重要です。著者たちは、ターミナル・エージェントを「解決した」とは言わないよう、非常に慎重になっています。

彼らは、これがすべてのロボットに機能するとは言っていません。彼らはQwenとDeepSeekという特定のモデルをテストしました。
彼らは、これがすべてのコンピュータ・インターフェースに機能するとは言っていません。これはテキストベースのコマンドラインに特化したものであり、画面上のアイコンをクリックしたりマウスを使用したりすること（GUI）ではありません。
彼らは、データが完璧であるとも主張していません。彼らは、パズルをフィルタリングする必要があったことや、システムがロボット自身の作業を検証する能力に依存していることを明示的に述べています。

まとめ

この論文は、もしロボットにコンピュータの魔法使いになってもらいたいのであれば、単に教科書を与えるだけでは不十分であることを示唆しています。ロボットが強くなるにつれて難易度が上がり、かつ、すべての演習が実際に解決可能であることを確認できるような「ジム」を作る必要があるのです。

現実世界の人間による問題と、難易度を常に調整するシステムを組み合わせることで、SETAは4,500を超える検証済みのトレーニング環境を作成しました。これは、ロボットを一晩で完璧にする魔法の杖ではありませんが、ロボットの学習を実際に機能する形でスケールアップできることを示す、強力な新しいツールです。ロボットは単に答えを暗記したのではなく、コンピュータ・ターミナルの混沌とした予測不可能な現実を、どのように考え抜くべきかを学んだのです。

技術要約: SETA: ターミナルエージェントのための環境スケーリング

問題提起

大規模言語モデル（LLM）は、ウェブやグラフィカルユーザーインターフェース（GUI）を含む多様なインターフェースと相互作用するエージェントとして、ますます導入が進んでいます。これらの中でも、ターミナルのコマンドラインは、システム操作、データサイエンス、機械学習タスクをカバーする、テキストベースの汎用的なインターフェースを提供します。しかし、ターミナルエージェントの学習をスケールさせることは、依然として大きなボトルネックとなっています。GitHubのプルリクエストのような自然な監督信号に依存するソフトウェアエンジニアリングエージェントとは異なり、ターミナルのタスクには接地された（grounded）監督が存在しません。さらに、既存のアプローチは、多様なタスク指示、実行可能な環境、および信頼性の高い検証ロジックを同時に合成することに苦慮しています。決定的なことに、現在の手法は適応的な難易度制御を欠いていることが多く、その結果、データ分布が合成ソース側に偏り、特定のモデルにとって「生産的なRLゾーン（学習可能なほど挑戦的である領域）」から外れてしまう傾向があります。

メソドロジー

著者らは、強化学習（RL）のために検証可能なターミナル環境を生成するためのスケーラブルなフレームワークであるSETA（Scaling Environments for Terminal Agents）を提案します。このフレームワークは、統一された検証メカニズムを共有する2つの連続したパイプラインを通じて動作します。

1. SETA-Synth: ソース適応型合成

このパイプラインは、多様で人間によって検証されたソースを、標準化された検証可能なターミナル環境へと変換します。

ソース: Stack Overflow、Unix & Linux StackExchange などのコミュニティQ&Aプラットフォーム、データサイエンスのノートブック（Kaggle）、および精選されたコマンドデータセット（NL2Bash）を集約します。
アーキテクチャ: ソース適応型アーキテクチャを採用し、Idea Agent を用いて、生のソース例を統一された中間ドラフト仕様へと変換します。このエージェントは、共通のタスク設計フレームワークを維持しながら、フォーマットの差異を処理するためにソース固有のアダプターを使用します。
インスタンス化: 次に、Dataplement Agent がこれらのドラフトを完全な環境へとインスタンス化し、Dockerfile、正解となる解決用スクリプト（solve.sh）、テストスイート（test_state.py, test.sh）、およびタスク指示を生成します。
検証: パイプラインは、SWE-benchスタイルの検証プロトコルを強制します：
- No-op テスト: エージェントの介入なしに環境が失敗することを確認します。
- Oracle テスト: 正解となる解決策がすべてのテストをパスすることを確認します。
- ロールアウト後の検証: 別の Trajectory Judge Agent が、ロールアウト失敗率が100%のタスクを監査し、真の難易度と、設計上の欠陥（例：テストにおける未記載の慣習）を区別し、後者を破棄することでデータセットの汚染を防ぎます。

2. SETA-Evol: 適応的進化

このパイプラインは、学習モデルのパフォーマンスに基づいて難易度とカテゴリの分布を適応的に再形成することにより、データセットを拡張します。

戦略選択: 特定のタスクに対するモデルの合格率（ $r$ $r$ ）に基づき、SETA-Evol は進化オペレータを選択します：
- 難易度の増加 ( $d_1$ ): 簡単なタスク（ $r > 0.5$ ）に対しては、制約、エッジケース、またはマルチステップの依存関係を追加し、タスクを生産的なフロンティアへと押し上げます。
- コンテキストシフト ( $b_1$ ): 中程度の難易度のタスク（ $r \in (0, 0.5]$ ）に対しては、難易度は維持したまま、ドメインやツールセットを変更します（例：sklearn を caret に、あるいは systemd を init.d に入れ替える）。これにより多様性を高めます。
- 難易度の低下 ( $d_1$ ): 困難なタスク（ $r \approx 0$ ）に対しては、ステップやエッジケースを削除してタスクを簡略化し、学習可能にします。
反復プロセス: 進化したタスクは、合成されたものと同じ厳格な検証パイプラインを経て、高品質なデータの継続的なスケーリングを保証します。

主な貢献

SETA-Synth パイプライン: 各ソース固有のアダプターと、オラクル検証で見逃される欠陥を捉えるロールアウト後の軌跡判定器（trajectory judge）を用いて、多様で人間が検証したソースにターミナル環境生成を接地させる、新しい合成手法。
SETA-Evol フレームワーク: 学習モデルの能力のフロンティアに合わせてタスクの難易度を較正し、分布を生産的なRLゾーンへとシフトさせ、コンテキストの多様性を拡大する、難易度適応型の進化システム。
SETA-Env データセット: 14のカテゴリ（システム管理、機械学習、データ処理など）にわたる 4,567個の環境 を含む、現在までに最大規模のオープンソースの検証可能なターミナルRLデータセットである SETA-Env のリリース。
最先端の結果: RLで訓練されたモデルによるターミナルベンチマークでの大幅な性能向上。

実験結果

著者らは、Group Relative Policy Optimization (GRPO) を用いて Qwen3-8B と DeepSeek-V4-Flash を SETA-Env で訓練することで、フレームワークを評価しました。

Terminal-Bench 2.0 の性能:
- Qwen3-8B: RL訓練済みモデルは Terminal-Bench 2.0 において 12% の pass@1 を達成しました。これはベースモデル（3.6%）と比較して 3.3倍の向上 です。これは、120Bスケールの GPT-OSS-120B の性能に迫る、8BスケールのRL訓練モデルとして報告されている最高の結果です。
- DeepSeek-V4-Flash: SETA-Env での訓練により、pass@1 は 40% から 43% へ、pass@5 は 54% から 58% へと向上しました。これは、訓練シグナルが異なるモデルファミリー間で転移することを示しています。
汎化性能: モデルは、CompileBench (6.7% $\to$ 40%) や CRUST-Bench (15% $\to$ 24%) を含む隣接するコーディングベンチマークでも向上を示しており、ターミナルの能力が反復的なコンパイルやコード翻訳タスクに汎化することを示しています。
行動の変化: 分析により、RL訓練済みモデルはコマンドを実行する前に構造化された推論とプランニングを行い、盲目的に反応するのではなく、具体的な実行エラー（例：Docker内での sudo の欠如）に適応することが明らかになりました。

意義と主張

本論文は、SETA が、実行可能な検証、適応的な難易度制御、および多様なソースへの接地を統合することで、訓練環境と学習シグナルを生成するための実用的かつスケーラブルなパイプラインを提供すると主張しています。SETA-Env は、実行可能な検証、適応的な難易度制御、および多様なソースへの接地を統合することで、ターミナルエージェントのための高品質な訓練データの決定的な不足に対処します。

著者らは、彼らの結果が、スケーラブルな環境合成が強力な検証と組み合わさることで、インタラクティブな設定におけるエージェント的システムのRL訓練を効果的にサポートできることを示していると強調しています。彼らは SETA-Env を、将来の研究のために有用性を保つよう、強力なプロプライエタリモデルによってまだ飽和していないデータセットとして位置づけ、研究の進展に資する貴重なリソースとして提示しています。

限界: 著者らは、現在の検証が2つのモデルファミリー（Qwen と DeepSeek）および特定のスケールに限定されていることを認めています。また、環境がターミナルベースの相互作用に限定されており、GUI やマルチモーダルへの拡張が今後の課題であることも述べています。さらに、悪用の可能性（不正なシステムアクセス）についても指摘していますが、公開された非機密性の高いソースからタスクを派生させ、サンドボックス化された検証可能な環境を強調することで、これを軽減しているとしています。