技術的概要：GOAT：ツールを備えた目標指向エージェントのためのトレーニングフレームワーク

問題定義

大規模言語モデル（LLM）は、外部ツール（API）を呼び出すことができるインタラクティブなエージェントへと進化しました。しかし、目標指向クエリの処理において、依然として大きなギャップが存在します。単一ステップのクエリや明示的に指定された指示を含む単純なタスクとは異なり、目標指向タスクでは、エージェントが高レベルの目的を相互依存する API 呼び出しのシーケンスに分解する必要があります。これには、タスク分解のための複雑な推論、長期的な計画、および前回の呼び出しの出力に基づいて API 関数の適切な引数を推論する能力が求められます。

これらのタスクに対するエージェントのトレーニングにおける現在のアプローチは、高品質なトレーニングデータの欠如によって制限されています。API 間の依存関係を捉えるデータセットの構築には、通常、コストのかかる人間の注釈付けが必要であり、スケーラブルではありません。その結果、既存の大部分の手法は、タスク固有の監督なしに複雑な推論を行うことが期待されるゼロショット評価に依存しています。プロプライエタリモデル（例：GPT-4）はいくらかの能力を示していますが、より小規模なオープンソースモデルは、これらの複雑なツール使用シナリオを効果的に実行できないことがよくあります。

手法：GOAT フレームワーク

データ不足の問題に対処するため、著者はGOAT（ツールを備えた目標指向エージェント）を提案しました。これは、人間の注釈なしに既存の API ドキュメントから目標指向の API 実行データを合成する、完全自動のトレーニングフレームワークです。このフレームワークは、対象ドメインの API ドキュメントが通常利用可能であり、トレーニングデータの構築に活用できるという前提に基づいて動作します。

1. 自動データセット構築

GOAT の中核的な革新は、「呼び出し優先（call-first）」生成パラダイムです。これは、先行研究で使用されている「指示優先（instruction-first）」戦略（LLM がまずクエリを生成し、その後 API 呼び出しへのマッピングを試みる）とは対照的です。GOAT はこのフローを逆転させ、「容易な」インスタンスへの自己強化バイアスを回避します。

データ構築プロセスは、主に 3 つの段階で構成されます。

• API 依存グラフの構築：

  • 解析： API ドキュメントを解析して、入力/出力仕様を抽出します。
  • グラフ初期化： 辺が潜在的な依存関係（API $A$ の出力を API $B$ の入力として使用）を表す、完全連結な多重有向グラフを初期化します。
  • 段階的フィルタリング： 信頼性を確保するため、グラフは 3 つのフィルタリング段階を通じて洗練されます。
    1. 埋め込み類似性： SBERT 埋め込みを使用した粗いフィルタリングにより、意味的に互換性のない辺を破棄します。
    2. LLM 検証： LLM が記述のみに基づいて、意味的な妥当性を評価します。
    3. 実行検証： 最も厳格なステップであり、LLM が引数を生成し、ソース API を実行し、出力が宛先 API のパラメータを有効に埋められるかを確認します。これにより、実行可能なワークフローのみが保持されます。

• 目標指向データ合成：

  • サンプリング： 依存グラフから、有効な API シーケンスを表す連結部分グラフを抽出します。
  • 呼び出し優先インスタンス化： フレームワークは API シーケンスをインスタンス化して実行し、具体的な出力を生成します。
  • クエリとレスポンスの生成： 実行されたシーケンスと出力に基づき、LLM は高レベルの目標を包含する自然言語のユーザークエリと、結果を解釈する最終レスポンスを生成します。これにより、監視信号（API 呼び出しシーケンス）が現実に基づき、クエリがその現実の抽象化であるデータセットが作成されます。

2. エージェントトレーニング

このフレームワークは、合成されたデータセット上で 2 つのコンポーネントを微調整します。

• LLM エージェント： 正しい呼び出しシーケンスを計画し、引数を埋め込み（トレーニング中に特定の値への過学習を防ぐため引数値はマスクされます）、最終的な自然言語レスポンスを生成するように指示チューニングされます。
• リトリーバー： ユーザークエリを関連する API 仕様へマッピングするために、真のクエリ - API ドキュメントペアでトレーニングされた密な検索モデル（SBERT ベース）です。

主要な貢献

1. GOAT フレームワーク： 人間の注釈なしに API ドキュメントから目標指向の API 実行データセットを構築する、新規かつ完全自動のトレーニングフレームワーク。実行可能な API ワークフローに基づいてデータを接地させることで、複雑な推論の学習に対する信頼性の高い監視を提供する呼び出し優先生成戦略を導入しています。
2. 最先端のパフォーマンス： 広範な実験により、GOAT でトレーニングされたエージェントが、複数の既存の目標指向ベンチマークにおいてオープンソースモデルで最先端のパフォーマンスを達成し、場合によっては強力な推論能力を持つクローズドソースモデルを上回ることが示されました。
3. GOATBench： 目標指向タスクのための新しい大規模評価ベンチマークの導入。GOAT パイプラインを用いた軽量な人間による検証に基づいて構築され、多様なドメイン（エンターテインメント、金融、食品、旅行）を網羅し、一般化をテストするために「既知」と「未知」の API 構成の両方を含んでいます。

実験結果

著者は、RestBench、API-Bank、および新しいGOATBenchにおいて GOAT を評価しました。

• RestBench： GOAT で微調整されたオープンソースモデル（Llama-2-13B、Vicuna-13B）は、ゼロショットベースラインおよび先行するオープンソース手法（RestGPT）に対して大幅な改善を示しました。場合によっては、GPT-4 などのクローズドソースモデルを上回りました。
• API-Bank： GOAT でトレーニングされたモデルは、ゼロショットベースラインおよび他の合成データアプローチを大幅に上回り、高い成功率と正しいパスの割合を達成しました。
• GOATBench： GOAT でトレーニングされたエージェントは、微調整されていないモデルや指示優先データ（ToolLLM からのものなど）でトレーニングされたモデルに対して一貫した向上を示しました。このフレームワークは、単一ツールおよびツール間（マルチ API）のシナリオの両方で効果的であることが証明されました。
• アブレーション研究：
  • 呼び出し優先 vs 指示優先： 呼び出し優先データでトレーニングされたモデルは、指示優先データでトレーニングされたモデルよりも一貫して高い成功率を達成し、複雑な推論に対するより良い監視を提供する戦略の有効性を検証しました。
  • 一般化： GOATBench でトレーニングされたモデルは、未知の API に対するパフォーマンスの向上およびベンチマーク間での一般化（例：GOATBench でトレーニングし RestBench でテスト）を示しましたが、ドメイン内での改善がより顕著でした。

意義と主張

本論文は、GOAT が複雑な推論とツール使用を備えた堅牢なオープンソース LLM エージェントを構築するための実用的かつスケーラブルな道筋を提供すると主張しています。高コストな人間の注釈への依存を排除し、「呼び出し優先」パラダイムを活用することで、GOAT は LLM の効率的なドメイン固有適応を可能にします。結果は、適切にこの合成データで微調整されたオープンソースモデルは、目標指向のツール使用においてプロプライエタリモデルと競合するか、それを上回る性能を発揮し得ることを示唆しており、エージェント型 AI システムの展開における重要なボトルネックを解決しています。

著者は限界を認め、フレームワークがドメイン内のパフォーマンスを向上させる一方で、完全に未知のシナリオへの一般化は依然として限定的であり、生成されたデータの品質はソース API ドキュメントの品質に依存することを指摘しています。それでもなお、この研究は、人間の介入なしに相互依存するツール使用のエージェントをトレーニングするための新しい基準を確立しています。