技術サマリー：Switchcraft — エージェント型ツール呼び出し向け AI モデルルーター

問題定義

大規模言語モデル（LLM）を活用して外部ツールや API を呼び出し、複雑なタスクを遂行するエージェント型 AI システムは、重大な経済的課題に直面しています。開発者は正確性を確保するため、しばしば大規模で高価なモデルをデフォルトとして選択し、推論予算の大幅な過剰支出を招いています。コスト削減のために動的に小規模モデルを選択するモデルルーティングが提案されてきましたが、既存のルーターはチャット完了向けに設計されており、エージェント型ツール呼び出し向けには設計されていません。

根本的な課題は、エージェント型タスクがチャットとは決定的に異なる点にあります：

1. 厳密な精度要求: 言い換えが許容されるチャットとは異なり、ツール呼び出しには正確な関数名と精密なパラメータ値が求められます。単一の誤り（例えば、幻覚化された価格や「Buy」/「Sell」パラメータの入れ替え）は、取り返しのつかない金銭的または運用的な結果を招く可能性があります。
2. 逐次的依存関係: エージェント型ワークフローは、後続のステップが以前のツール呼び出しの出力に依存する多段階のチェーンを含むことがよくあります。
3. 評価の複雑さ: 標準的なテキスト一致メトリクス（BLEU など）や既存の AST チェッカー（Berkeley Function Calling Leaderboard からのものなど）は、配列の順序の違い、デフォルト値を持つオプションパラメータ、または意味的に等価な文字列形式（例：「IL」対「Illinois」）など、ツール呼び出しに固有の意味的変異を処理できず、失敗します。

その結果、既存のルーティング戦略はエージェント型ワークロードには不適切であり、ツール呼び出しを正常に実行できるモデルとできないモデルを区別できず、または冗長な推論を生成するモデルの真のコストを見誤ることがよくあります。

手法

著者は、エージェント型ツール呼び出し用に明示的に最適化された最初のモデルルーターであるSwitchcraftを提示します。このシステムはインラインで動作し、正確性の予測に基づいて最低コストのモデルを選択します。

1. データキュレーションと評価フレームワーク

ルーターの訓練と評価のために、著者は 5 つの公開関数呼び出しベンチマークを統合した統一フレームワークを構築しました：

• Berkeley Function Calling Leaderboard (BFCL v3)
• AWS ConFETTI
• Salesforce xLAM-60K
• Glaive Function Calling
• Hermes

評価における主な革新点：

• AST ベースのスコアリング: 著者は、ツール呼び出しを評価するための堅牢な抽象構文木（AST）チェッカーを開発しました。以前のチェッカーは、壊れやすい文字列一致とネスト構造のサポート不足により BFCL 以外のデータセットで失敗しましたが、Switchcraft チェッカーは以下の処理を行います：
  • 順序に依存しない配列の比較（マルチセット）。
  • デフォルトパラメータの認識（ドキュメント化されたデフォルト値と一致する場合、省略されたパラメータを受け入れる）。
  • 文字列の正規化（大文字小文字、空白、ISO-8601 の変種を処理）。
  • ネストされた JSON オブジェクトの再帰的検証。
• グランドトゥルスの修正: チームは ConFETTI データセットのグランドトゥス注釈を人手でレビューし修正し、会話文脈に対して関数呼び出しまたはパラメータが誤っていた 27% のエントリを修正しました。

2. ルーターアーキテクチャ

Switchcraft は、マルチラベル分類器として訓練された軽量なDistilBERT ベースの分類器（66M パラメータ）を採用しています。

• 入力表現: エージェント型クエリ（マルチターン会話、ツール定義、メタデータ）を 512 トークンのウィンドウに収めるため、著者はインテリジェントなトークンパッキング戦略を使用します。これは最新のユーザーターンを優先し、ツール署名を圧縮し、より以前のターンを貪欲に追加し、数値メタデータ（長さ、ツールの数、ターンの数）で補完します。
• 訓練: モデルは、8 つの候補 LLM のプールで全候補クエリを実行し、AST チェッカーに基づいて「正しい」または「誤り」とラベル付けされた選好データでファインチューニングされます。
• 推論ロジック（2 段階）:
  1. マルチラベル分類: ルーターは、各候補モデルの正確性の確率を予測します。
  2. コスト考慮選択: 正確と予測されたモデル（確率 > 0.5）の中で、ルーターはプロファイリングされたコストが最も低いものを選択します。このコスト指標は、リスト価格だけでなく実際のトークン消費（入力 + 出力 + 推論トークン）を考慮し、「チャット性」（低単価トークン率にもかかわらず、冗長な出力により総コストが高くなるモデル）を捉えます。正しいと予測されたモデルがない場合、ルーターは確率が最も高いモデルにフォールバックします。

主な貢献

1. エージェント型ルーティングの定式化: 本論文は、チャットベースのルーティングと区別される、ツール拡張型マルチターンタスクのルーティング固有の課題を特定し、対処します。
2. 統一評価フレームワーク: 著者は、マルチベンチマーク正規化、修正されたグランドトゥス注釈、多様なデータセットで既存のチェッカーを大幅に上回る堅牢な AST ベースの比較システムを備えた、エージェント型ルーティングのための正規化フレームワークを構築しました。
3. Switchcraft システム: ほぼオラクル精度を達成しながら推論コストを劇的に削減する DistilBERT ベースのルーター。このシステムは、チャットデータから学習したルーティング決定がエージェント型ツール呼び出しには転移せず、専門的な訓練が必要であることを示しています。

結果

14 のデータセット分割にわたる 12,282 件のテストセット（ホールドアウト）で評価されました：

• 精度とコストのトレードオフ: Switchcraft は82.94% の精度を達成し、プール内の最良の個別モデル（82.29% の GPT-5.3-chat）と同等かそれ以上の性能を示しつつ、推論コストを84% 削減しました。
• コスト削減: 精度を一致させた場合、最良の単一モデル（GPT-5.3-chat）を使用する場合と比較して、システムは 100 万件のクエリあたり3,600 ドル以上を節約します。
• オラクルギャップ: 常に最安の正しいモデルを選択するオラクル（89.39% の精度）に対して、Switchcraft は精度ギャップの37% を埋めました。
• レイテンシ: DistilBERT ルーターは、汎用的な NVIDIA T4 GPU 上で最小限のレイテンシ（P99 で 3–17 ms）を追加し、これは典型的な LLM 生成時間よりも 1 桁以上高速です。
• 主要な知見:
  • 高価であることが常に優れているわけではない: 新しくて高価なモデル（例：GPT-5.4）は、過剰な詳細化や構造化出力を破損させる冗長な推論により、安価なモデル（例：GPT-5.3-chat）よりも性能が劣ることがあります。
  • オープンウェイトモデルの限界: 本研究のオープンウェイトモデル（Kimi-K2.5、Qwen-3.5-9B）は、主にフォーマット違反と引数の幻覚化により、精度が低かったです。
  • チャット性が重要: トークン単価は、クエリあたりのコストの誤った代理指標です。高い「チャット性」（過度の推論や冗長な出力を生成する）を持つモデルは、リスト価格が示唆するよりもはるかに高価になる可能性があります。

意義と主張

本論文は、ツール拡張型マルチターンタスクに特化した LLM モデル選択に取り組む最初のシステムであると主張しています。その意義は、正確性を犠牲にすることなくコストを考慮したエージェント型 AI の展開を可能にする点にあります。

著者は以下を強調しています：

• エージェント型ルーティングには、チャット完了とは異なる専門的なデータと評価メトリクスが必要です。
• LLM の多様性と、そのコストと能力のトレードオフが増大するにつれて、インテリジェントなルーティングは不可欠です。
• 提案されたアプローチにより、企業は利用可能な最大モデルを使用するというデフォルトから脱却し、ツール呼び出しの信頼性を維持しながら大幅な予算節約を達成できます。

この研究は範囲において控えめであり、オラクルギャップ（ルーターと完全なセレクターの間の残りの 6.45 パーセントポイント）、モデルプールが変化した際の再訓練の必要性、および動的環境におけるエンドツーエンドのタスク成功ではなく、ターンごとの正確性に焦点を当てていることなどの限界を認めています。将来の作業として、確率的正確性モデリング、新モデルへの汎化、プロンプトキャッシング戦略との統合などの分野が提案されています。