技術概要：SynthTools

問題定義

エージェント型システムは、複雑で長期的なタスクを解決するために外部ツールを使用する能力を必要とする。しかし、現在のモデルは信頼性の高いツール利用に苦慮しており、この制限はしばしば訓練データの規模と多様性に起因すると考えられている。ツール利用環境の作成に関する既存のアプローチは、重大なボトルネックに直面している：

• リアル API： 本物である一方で、API キー、レート制限、使用量クォータ、頻繁なインターフェース変更により、スケーリングが困難である。
• キュレーション済みスイート： 手作業で構築されたコレクション（例：ACEBench、$\tau^2$-bench）は、ツールの数とドメインの多様性が限られており、しばしば数種類の広範なドメインのみをカバーしている。
• 合成生成： スケーラブルである一方で、既存の多くの合成パイプラインはプログラムによるシミュレーションに依存しており、ツールの複雑さを単純な CRUD 操作に制限している。一方、LLM によるシミュレーションは未探索であり、しばしば決定論的な実行を欠くか、進化し続けるリアル API のドキュメントに依存している。

さらに、大規模なツールセットを有していても、調整された多段階推論を必要とする現実的で非自明なタスクを生成することは、根本的なボトルネックのままである。単純なプロンプトは、長期的な計画や不確実性下での意思決定を要求しない浅いシナリオをもたらす傾向がある。

手法

著者は、ツール利用環境の作成の全ライフサイクル（生成、シミュレーション、検証、タスク構築）を網羅するように設計された、完全 LM ベースのパイプラインであるSynthToolsを導入する。このフレームワークは、3 つの中核モジュールに基づいている：

1. トップダウン型環境生成

平坦な API リストを生成する代わりに、SynthTools はドメインに根ざしたツールを構築するために、階層的なドメイン進化手順を採用する：

• 分野 $\to$ サブドメイン： LLM は、シード分野（例：金融、医療）を整合的なサブドメインに分割し、ステークホルダーとエンティティを浮き彫りにする。
• サブドメイン $\to$ タスク： モデルは、ドキュメントに適した自然言語記述を持つタスクのファミリーを提案する。
• タスク $\to$ ツール： 各タスクに対して具体的なツールがインスタンス化される。生成プロセスは、アップストリーム依存関係とダウンストリームアフォードアンスを指定することで、構成可能性を促進する。
• 出力： 各ツールは、名前、自然言語記述、パラメータスキーマ、および I/O 契約（事前条件、事後条件、エラーモード）によって定義される。このアプローチにより、プログラム環境で見られる単純な CRUD 操作の範囲を超えた、複雑なオブジェクト型やリストを含む、カスタマイズされた複雑性が可能になる。

2. 環境シミュレーションと検証

信頼性を確保するため、フレームワークはツールの動作をシミュレートし、LLM-as-a-Judge を用いて結果を検証する：

• シミュレーション： シミュレーターは、実行をパラメータ検証（構文のための AST パースと意味的制約のための LLM を使用）とレスポンス生成に分解する。一貫性を確保するためにメタデータを組み込み、レスポンスを条件付ける（例、フライトが満席の場合「座席なし」を返すなど）。
• 検証： LLM ジャッジは、ツールの仕様とシミュレートされたレスポンスを評価する。不安定なツールをフィルタリングし、リトライをサポートする。システムは低い偽陽性率を目標としており、誤った動作の特定において 97% の精度を達成している。
• 信頼性： このパイプラインは、ツールのレスポンスをシミュレートする際に 94% の精度を達成し、信頼性のあるエミュレーションができないツールをフィルタリングする。

3. ボトムアップ型タスクおよび軌道生成

トップダウン型のツール生成を補完し、このモジュールは検証済みのツールセットからタスクを構築する：

• ツールチェーンの提案： 各環境に対して、LLM は候補タスクの骨格となる逐次的なツール使用チェーンを提案する。
• ミニタスク生成： システムはミニタスクを反復的に構築する。各ステップにおいて、タスク記述と真のツール呼び出しを生成し、エージェントの実行を真値に対して検証し、環境状態を更新する。
• 軌道構築： これらの相互依存するミニタスクを連鎖させることで、システムは明示的な解決軌道を持つ複雑で検証可能なタスクを生成する。
• 調整可能性： 難易度は、ミニタスクの数を調整し、明示性と曖昧さのトレードオフを調整し、無関係だが妥当なツールを追加することで制御される。

主要な貢献

• スケーラブルなフレームワーク： SynthTools は、リアル API や手作業によるキュレーションに依存することなく、多様で制御可能かつ複雑なツール利用環境を生成する、完全自動化されたパイプラインである。
• データセットの公開： 著者は以下のデータセットを公開する：
  • 6,800 の環境にわたる73,883 の検証済みツール。
  • 100 の異なる分野（例：金融取引、輸送物流、e コマース）。
  • 真の軌道を持つ79,925 の検証可能なタスク。
  • これは、ドメイン数およびドメインあたりのツール数において、既存のコレクションと比較して 2 倍以上の規模の増加を表している。
• 品質管理： このフレームワークには、厳格なシミュレーションおよび検証ステップが含まれており、高い信頼性（シミュレーション精度 94%、検証精度 97%）と低い冗長性（ツールの 9% のみが類似度閾値 $\tau=0.85$ を超える）を確保している。
• ミドトレーニング事例研究： 著者は、生成された軌道を用いて Qwen3 モデル（0.6B、1.7B、4B）をミドトレーニングすることで、データセットの実用性を実証する。

結果

本論文は、複数のエージェント型ツール利用ベンチマークにおけるミドトレーニング済み Qwen3 モデルを評価する：

• ベンチマーク： ACEBench、バー클리関数呼び出しリーダーボード（BFCL）、API-Bank。
• 性能向上： すべてのモデルサイズおよびベンチマークにおいて、ミドトレーニング済みモデルは、ベースモデルと比較して一貫した性能向上を示した。
  • 例えば、4B モデルにおいて、ACEBench（Normal）の性能は 0.583 から 0.651 に、BFCL（Live）では 0.432 から 0.538 に向上した。
• 転移性： リアル API を含むベンチマーク（API-Bank、BFCL Live）における向上は、合成データで訓練されたツール利用能力が、リアルワールドの API 様式の相互作用へ転移可能であることを示唆している。

意義と主張

著者は、SynthTools を、現在のエージェント型トレーニングの風景におけるスケーラビリティと多様性のギャップに対処するために必要なインフラとして位置づけている。彼らは以下を主張する：

1. 合成データの実用性： 高品質な合成ツール利用軌道を用いた訓練は、汎用的な事前学習と下流のツール利用タスクとの間の分布ギャップを効果的に埋めることができる。
2. スケーラビリティの達成： このフレームワークは、リアル API やキュレーションされたアプローチでは達成不可能な規模とドメインカバレッジでツールエコシステムを生成可能にする。
3. 構造化生成の重要性： 本論文は、効果的なタスク生成には、浅いまたは根拠のないシナリオをもたらすことが多い単純なプロンプトではなく、構造化されたボトムアップ構築が必要であると論じている。

この研究は、合成相互作用コーパスがツール利用 AI システムの進展にとって重要な要素であり、大規模な訓練と評価のための実用的なリソースを提供することを示唆している。