技術要約：長期間のターミナル・タスクのための再帰的合成

問題提起

ターミナル・エージェント向けの高品質かつ長期間（long-horizon）の訓練データを大規模に生成することは、極めて困難である。単一の検証済みタスクを作成するには、公開された指示、実行可能な環境、参照ソリューション、およびプライベートな検証器（verifier）の間の厳密な相互整合性を維持する必要があり、1つのタスクにつき数百から数千ドルのコストがかかる。人間による作成はスケールせず、LLMによる直接的な生成は、これらの依存関係を頻繁に破壊するため、解決不可能であったり、検証不可能であったり、あるいは検証器が指示に記載されていない要件をチェックしてしまうといった「情報のリーク」が発生したりする。既存のベンチマークや自動構築ツールは、時間の経過とともに複雑さが増していく、高品質で検証済みのターミナル・エージェント用データを生成するためのスケーラブルな手法をまだ提供できていない。

手法：再帰的合成ターミナル・タスク (RST)

著者らは、長期間のターミナル・エージェント・タスクを大規模に構築するために設計された、再帰的検証合成フレームワークであるRSTを提案する。このフレームワークは「ソリューション・ファースト」の原則に基づいて動作し、すべての受理されたタスクが、実行可能な解決の証明を伴うことを保証する。

コア・ワークフロー

1. シード初期化: プロセスは、検証済みのブートストラップ・タスクのプール（TerminalWorld からの639タスク）から始まる。
2. 再帰的拡張: 各ラウンドにおいて、前のラウンドから選択されたタスクがシードとして機能する。フレームワークは以下の4つのステージを実行する：
   • ターゲット選択: システムはシード・タスク（ファイル、ツール、依存関係）を調査し、5つのファミリー（構成、データ/スキーマ、ファイルシステム、ビルド/キャッシュ、ランタイム/診断）に分類された40のオペレータのタクソノミーから、書き換えオペレータを選択する。
   • タスク・コントラクト生成: 実行可能なワークフローを拡張するための計画を策定する。この計画は、新しい要件、参照ソリューションへの更新、およびより厳格な検証器のアサーションを定義し、同時に潜在的なショートカットを明示的に特定して拒絶する。
   • 書き換え（ソリューションを成長させ、その後に整合させる）:
     • 参照ソリューション（solve.sh）は、新しい操作（例：ファイルの検査、状態管理、アーティファクトの生成）を用いて拡張される。
     • 環境（Dockerfile）は、これらの操作をサポートするように修正される（依存関係のインストール、サービスの初期化など）。
     • プライベートな検証器は、新しい状態遷移とアーティファクトをチェックするように更新され、プレースホルダーやハードコードされた出力を拒絶する。
     • 公開指示は、プライベートな検証器の詳細やソリューションのパスをリークすることなく、新しい目的を述べるように改訂される。
   • 検証:
     • 静的フィルタ: 候補は、類似した重複、欠落したファイル、および指示と検証器の一貫性（隠れた要件がないことの確認）のチェックを受ける。
     • サンドボックス・オラクル: 候補は、新しいサンドボックス内で実行される。参照ソリューションはプライベートな検証器を通過しなければならない。失敗が発生した場合、限定的な修復ループが実行ログを使用してタスクの修正を試みる。実行可能であり（参照によって解決可能）、かつ契約に適合している（要件がエージェントに見えている）タスクのみが受理される。
3. 再シード化: 受理されたタスクは、次の合成ラウンドのプールとなる。特定の親系統、カテゴリ、または書き換えファミリーによる支配を防ぐために、多様性のキャップが適用される。

訓練への統合

本フレームワークは、2つの訓練パラダイムを同時にサポートする：

• 教師ありファインチューニング (SFT): 合成されたタスクから収集されたエージェントによる成功したロールアウト（軌跡）を使用して、ベースモデルをファインチューニングする。
• 強化学習 (RL): 検証済みのタスク・プールは、検証器ベースのRL（PPO）のための環境として機能する。ここで、エージェントはタスクに組み込まれた検証器に基づいて報酬を受ける。

主な貢献と結果

1. スケーラブルで低コストな合成

• 規模: 15回の再帰的ラウンドを経て、RSTは639個のシードから37,484個の検証済みターミナル・エージェント・タスクを生成した。
• コスト: 合成コストはタスクあたり約0.05ドルであり、人間が作成する場合のコストと比較して劇的に削減されている。
• 安定性: パイプラインは崩壊や飽和の兆候を示さなかった。1,000回の試行あたりの通過タスクの収率は、全15ラウンドを通じて安定しており（498–572）、候補の通過率も一貫していた（74.5%–81.5%）。

2. タスク難易度の実質的な向上

フレームワークは、単にプロンプトの長さを増大させるのではなく、実行可能な複雑性を高めることに成功した：

• ソリューションの長さ: コードの行数の中央値は、67 (R1) から 374 (R15) へと増加した（5.6倍の増加）。
• コマンド使用量: 実行されたコマンドの中央値は、40 から 244 へと増加した（6.1倍の増加）。
• 指示の長さ: 85語から122語へと緩やかに増加したのみであり（1.4倍）、これは難易度が冗長性ではなくワークフローの複雑さに起因していることを示している。
• ソルバーの性能: この成長の結果、DeepSeek-V4-Proのpass@4レートは 90% (R1) から 2.5% (R15) へと単調に低下し、平均部分点（mean partial credit）は0.970から0.170へと低下した。

3. 訓練の有用性と性能向上

合成されたデータは、エージェントの性能を向上させる上で顕著な有用性を示した：

• 教師ありファインチューニング: 合成されたタスクの軌跡を用いてQwen3.5-27BおよびQwen3.5-122B-A10Bをファインチューニングした結果、Terminal-Bench 2、Terminal-Bench Hard、および Long-Horizon Terminal Bench において最大10ポイントの性能向上が見られた。
• 強化学習: 合成されたプールを用いたエージェント的PPO訓練により、Qwen3.5-27BはTerminal-Bench 2で49.44%、Terminal-Bench Hardで32.00%、Long-Horizon Terminal Benchで22.07%を達成した。これらはベースモデルに対して、それぞれ20.0%、41.2%、**21.9%**の相対的な向上を示している。
• 転移性: 性能向上は、独立して構築されたベンチマーク（Terminal-Bench Hard）にも転移しており、これはモデルが特定のタスク分布に過学習したのではなく、一般的な長期間の挙動を学習したことを示唆している。

4. 多様性と妥当性

• ドメインの多様性: タスク・プールは、安定したエントロピー（0.821から0.817）を維持しつつ、広範なドメイン（19ドメイン）のカバー範囲を維持し、ドメインの崩壊は見られなかった。
• 指示と検証器の整合性: 後半のラウンドでは、整合性が改善されており、「隠れたチェックの保護」は38.2%から63.5%に向上し、「短い指示のリスク」は41.6%から7.5%へと減少した。
• 汚染の不在: オーディット（監査）により、合成されたタスクと評価ベンチマーク（Terminal-Bench 2, Hard, LHTB）の間に重複がないことが確認された。最大ペアワイズ5-gram Jaccard類似度は0.009未満であった。

意義

本論文は、RSTが人間による執筆なしに、ターミナル・エージェントのための高品質な訓練データをスケールさせるための実行可能な道筋を示すものであると主張している。完全なタスク・バンドル（ワークスペース、ソリューション、検証器、指示）を再帰的に進化させ、サンドボックス内で検証することにより、本フレームワークは難易度が体系的に上昇する自己改善型のデータセットを生成する。結果は以下のことを示している：

1. 再帰的合成は崩壊しない: プロセスは15ラウンドを超えても、収率と多様性を維持しながら継続できる。
2. 実行可能な複雑さが難易度を駆動する: フレームワークは、エージェントにとって真に困難なタスクを生成することに成功しており、これはソルバーのパスレートの急激な低下によって証明されている。
3. 合成データは効果的である: これらの検証済みで困難なタスクで訓練することは、標準的なベンチマークにおいて大幅な性能向上をもたらし、「ソリューション・ファースト」のアプローチの妥当性を裏付けている。

著者らは、このパイプラインは特定のシード・ドメインや生成モデルに依存しないことから、より有能な長期間のターミナル・エージェントの開発をサポートするために、データ量と質の双方においてスケールし続けることができると考えている。