Toward Scalable Terminal Task Synthesis via Skill Graphs

以下は、論文「Toward Scalable Terminal Task Synthesis via Skill Graphs」（SkillSynth）の詳細な技術的サマリーです。

1. 問題定義

コマンドラインインターフェースを介して対話するターミナルエージェント（LLM）は、自律的なシステム管理において有望ですが、トレーニング用の高品質で多様な実行軌跡の不足によって厳しく制約されています。

• 現在の限界: ターミナルタスクのスケーリングに関する既存の手法は、以下のものに依存しています。
  • LLM 生成の分類体系: 実際の使用状況から乖離することが多い。
  • GitHub リポジトリの逆引き: 実際のコードベースからタスクを導出するが、スコープをソフトウェアエンジニアリング（バグ修正など）に限定し、実行パス（シナリオとスキルのシーケンス）の多様性を制御できない。
• 核心的な洞察: ターミナルエージェントの軌跡は、それが通過するシナリオ（中間状態）と、それが行使するスキル（行動）という 2 つの次元によって定義されます。トレーニングには、$(\text{シナリオ}, \text{スキル})$ ペアの条件付き積空間を密にカバーするデータが必要です。現在の手法はこれらの次元において冗長性を示し、学習の最適化を阻害しています。

2. 手法：SkillSynth

著者らは、ワークフローをシナリオ仲介型スキルグラフ上のパスとしてモデル化することにより、多様なターミナルタスクを合成する自動化フレームワークSkillSynthを提案します。

A. スキルグラフの構築

このフレームワークは、有向多重グラフ $G = (\Omega, K)$ を構築します。ここで：

• ノード ($\Omega$): シナリオ（システム状態の意思決定に関連する抽象化）。
• エッジ ($K$): スキル（事前条件シナリオから事後条件シナリオへの有向遷移）。
• パイプライン:
  1. スキルフィルタリング: ClawHub および公開 GitHub リポジトリからスキルを集約し、実行可能性、構造化されたワークフロー、安全性（脱獄なし）を基準にフィルタリングします。
  2. シナリオ推論: LLM を用いて、各スキルの事前条件シナリオと事後条件シナリオを推論します。
  3. 意味的重複排除: 意味的には同一だが語彙的に異なるシナリオをクラスタリングし、統合します（階層的凝集クラスタリングを使用）。
  4. クロススキルアライメント: 埋め込み類似性と LLM による検証を通じて、あるスキルの事後条件を別のスキルの事前条件と一致させることでスキルを接続します。
  • 結果: 約 82,000 のシナリオ、約 57,000 のスキル、および約 185,000 の検証済みブリッジを持つグラフ。

B. グラフ誘導パスサンプリング

ランダムウォーク（高次数ノードを好む）の代わりに、SkillSynth は逆頻度パスサンプリング（アルゴリズム 1）を使用します。

• メカニズム: シナリオ ($\nu$) とスキル ($\mu$) の訪問回数を維持します。
• 確率: 次のステップを、$(count + 1)^{-1}$ に比例する確率でサンプリングします。
• 制約: 単一のパス内でノードを再訪問しないように単調な進行を強制し、多様性を確保します。
• 目的: 経験分布を $(\text{シナリオ}, \text{スキル})$ 空間の均一なカバレッジに向けて誘導すること。

C. マルチエージェント合成ハーネス

サンプリングされたパスは、マルチエージェントシステムを介して実行可能なタスクとしてインスタンス化されます。

1. プランナー: 抽象的なパスを、サブ目標の構造化された計画に変換します。
2. コンストラクター: 完全なタスクインスタンス（指示、初期ファイルシステム、Docker 環境、検証スクリプト、オラクル解）を生成します。
3. 二重検証:
   • オラクルチェック: コンテナ内で解を実行し、解可能性を確保します。
   • ルーブリックチェック: LLM-as-a-Judge を使用して指示とテストの整合性を検証し、解の漏洩がないことを確認します。
4. 反復修復: 失敗したインスタンスは、破棄される前にツール拡張エージェントを用いて最大 3 回の修復サイクルを経ます。

3. 主要な貢献

1. 理論的モデリング: ターミナルエージェントの軌跡をシナリオとスキルの系列として定式化し、効果的なトレーニングのために $(\sigma, \kappa)$ 空間における多様性を最大化する必要性を特定しました。
2. SkillSynth フレームワーク: シナリオ仲介型スキルグラフを構築し、人間の介入なしにタスクを合成するエンドツーエンドの自動化パイプライン。
3. スケーラブルな合成: 単一のランで 3,721 のサンプリングパスから3,560 の検証済みタスクインスタンスを達成し、タスクあたりの平均コスト27.3 ドルで95.7% のオラクルパス率を達成しました。
4. 実証的検証: グラフ誘導合成が、単一スキルまたはランダムなマルチスキルベースラインよりも困難で多様なタスクを生み出し、一貫した性能向上をもたらすことを実証しました。

4. 実験結果

• データセット: 3,560 の検証済みタスクを、教師あり微調整（SFT）を介して Qwen3 モデル（8B、14B、32B）のトレーニングに使用しました。
• ベンチマーク: Terminal-Bench 1.0 および 2.0 で評価されました。
• 性能向上:
  • Qwen3-32B + SkillSynth は、TB 1.0 で33.8%、TB 2.0 で**29.6%**を達成しました。
  • これは、はるかに大規模なQwen 3 Coder 480B（TB 2.0 で 23.9%）を上回り、ターゲットとしたデータ多様性が単なるモデル規模よりも効果的であることを証明しました。
  • アブレーション: SkillSynth タスクは、TB 2.0 において「単一スキル」ベースラインを約 8.4 ポイント、「ランダムマルチスキル」ベースラインを約 3.8 ポイント上回りました。
• タスクの難易度: 合成タスクの 38% は、3 回の試行後でもエージェントによって解くことができませんでした（0/3 成功）。これは高い複雑性を示しています。
• 多様性: SkillSynth の軌跡は、単一スキルベースラインと比較して31% 高いユニークなシナリオ - スキルカバレッジを示しました。

5. 意義と今後の課題

• パラダイムシフト: ターミナルタスク合成を「量ベース」（多くの類似タスクを生成）から「多様性制御」（状態 - 行動空間のカバレッジを確保）へと移行させます。
• コスト効率: 高品質なトレーニングデータを生成するスケーラブルで低コストな手法を提供し、小規模モデルがターミナルタスクにおいて大規模なプロプライエタリモデルと競争することを可能にします。
• 現実世界との整合性: 合成を現実世界のスキル（ClawHub/GitHub）とシナリオ遷移に根ざさせることで、生成されたタスクは実際のユーザーワークフローをよりよく反映します。
• 将来の方向性: 大規模なデータ領域へのスケーリング、低コストモデルへの適応、および複数のスキルを並列実行してタスクの複雑さをさらに高めるための部分グラフサンプリングの探求。

結論: SkillSynth は、高品質なターミナルデータの不足と多様なトレーニング軌跡の必要性との間のギャップを効果的に埋め、スケーラブルで自動化されたターミナルエージェントトレーニングの新たな基準を確立します。