技術的サマリー：エージェント型ツール選択の定量的認証

問題定義

大規模言語モデル（LLM）エージェントは、外部ツールを介して世界と対話するためにますます依存しており、通常は 2 段階のパイプラインを通じて行われます。まず、リトリーバーが大量のツールプールから上位 N 個のスレートをフィルタリングし、次にセレクター（LLM）が呼び出す特定のツールを選択します。既存の評価は、キュレーションされた benign なベンチマークにおけるパフォーマンスを測定しますが、モデルコンテキストプロトコル（Model Context Protocol）などのオープンレジストリに固有の展開リスクを捉えることができません。これらの環境では、ツールプールは、誤解を招くツール、ニアダuplicate、あるいは悪意のあるツールを公開する可能性がある第三者によって形成されます。

現在の評価手法は、定性的分析や固定データセットにおける精度の点推定に依存しています。これらのアプローチは、稀に失敗するシステムと頻繁に失敗するシステムを区別することができず、異なるモデル、リトリーバー、またはレジストリポリシー間での堅牢性を比較する基盤を提供することもできません。核心的な課題は、ツールが展開プールの現実的な分布からサンプリングされた際に、ツール選択パイプラインが宣言された安全仕様を満たす確率に対する高信頼度の上限を定義する定量的証明書を確立することです。

手法：LLMCert-T

著者は、現実的なツール分布の下でツール選択パイプラインが安全仕様を満たす確率に対する高信頼度の上限を返すように設計された統計的フレームワークであるLLMCert-Tを導入します。

1. 形式的フレームワーク

このフレームワークは、ツール選択パイプラインを R ラウンドにわたって動作するブラックボックスとしてモデル化します。

• パイプライン: ユーザーの意図 $u$ がリトリーバーによって処理され、スレート $S_u$（上位 N 個のツール）を生成し、セレクター $L$ がそれを評価してツール $\hat{t}$ を選択します。
• 仕様（$\phi$）: 満足すべき結果を定義する述語（例：「選択されたツールは、ユーザーの権限を超えずに意図を満たさなければならない」）。
• 分布（$\Delta$）: ラウンドごとにプールを進化させる「挿入されたツール」のシーケンスを生成する確率過程。特定のモデルを最適化する敵対的攻撃とは異なり、$\Delta$ は第三者の出版者がツールを導入する現実的な展開条件をモデル化します。

2. サンプリング過程（$\Delta$）

現実性と情報性を確保するため、$\Delta$ は条件付き確率過程として実装されます。

• ラウンドごとの生成: LLM 生成器は、セレクターの直前の選択 $\hat{t}^{(r-1)}$ に条件付けられ、各ラウンド $r$ で $k$ 個の挿入ツールを提案します。このフィードバックループは、サンプリング質量をセレクターの特定の脆弱性を露呈させるシーケンスに集中させます。
• 制約付き生成: 生成器の出力は、ツールが実際のレジストリエントリに似ていることを保証するために決定論的なポストプロセッシングを受けます。
  • パラメータ衝突: ユーザーの期待に合わせるため、以前に選択されたツールからパラメータスキーマをコピーします。
  • ホモグリフクローン: 完全一致の重複排除を回避しつつ人間が読めるように、文字を視覚的に類似した Unicode 変種（例：ラテン文字の 'a' に対してキリル文字の 'a'）に置換します。
  • 説得の手がかり: 名前や説明に [official]、v2、または [enterprise] などのマーカーを付加して、権威の手がかりをシミュレートします。
• ベルヌーイ還元: 各 R ラウンドの軌道は、仕様ですべてのラウンドが満たされる場合 1、そうでない場合 0 となる単一の二値結果 $Z_u$ に還元されます。これにより、$n$ 回の試行を統計的 bound に集約することが可能になります。

3. 認証メカニズム

LLMCert-T は、$n$ 個の独立したベルヌーイ試行（$Z_1, \dots, Z_n$）を集約し、満足確率に対する片側クロッパー・ピアソン上限（$p_u$）を計算します。

• $n$ 回の試行で $C$ 回の失敗が観測された場合、$p_u$ は信頼水準 $1-\alpha$ において観測データと整合する真の満足確率の最大値です。
• このアプローチは、基盤モデルのクリーンプール精度に関わらず、真の失敗率が bound より高くないことを保証する、厳密な非漸近的保証を提供します。

主要な貢献

1. 分散としての展開特性: 本論文は、エージェントが展開後に遭遇する可能性のあるツールの分布におけるツール選択を形式化し、「何（安全仕様）」と「条件（ツール分布）」を分離します。
2. 定量的認証: 現実的な挿入ツールシーケンスを生成する確率過程を具体化し、結果を統計的に厳密な上限に集約することで、点推定を超えたアプローチを実現します。
3. 失敗モードの特定: 4 つのオープンウェイトセレクター（4B–14B パラメータ）を用いて BFCL および OpenAPI ツールプールで評価を行うことで、5 つの特定の分散メカニズムを特定し、認証された正しさの bound がクリーンプールの下限よりも著しく低下することを示します。

実験結果

標準ベンチマーク（BFCL、OpenAPI）において、$n=1000$ 回の試行と $R=10$ ラウンドで評価しました。

• クリーン精度と認証された行動の対比: ベンチマーク精度と認証された堅牢性の間には明白な乖離があります。セレクターはクリーン精度の下限（$p^{clean}_{\ell}$）を0.69 から 0.75の範囲で達成しますが、現実的な分布下での認証された上限（$p_u$）は、最も厳しい仕様において約0.20まで低下します。
• 重大な失敗モード:
  • 分散選択: セレクターは、機能は欠いているがより権威があるように見える表面の信頼性の手がかり（例：[official]、v2）を持つツールによって確実に誤導されます。認証された上限は0.20です。
  • トップ N 飽和: コピーされたパラメータスキーマを持つニアダuplicate ツールは、10 ラウンド内の試行の89%で、グランドトゥルースのツールをトップ N スレートから駆逐します。認証された上限は0.20です。
  • 特権昇格: セレクターは、説明内の正当化（例：「コンプライアンスログの記録に必要」）を受け入れて昇格された権限を許可し、その bound は0.65となります。
  • 棄却トリガーと意図のシフト: これらは比較的軽度です（bound は約 0.73–0.75）。セレクターは、強力な説得の手がかりがない限り、意図を拒否したりシフトしたりするよりも、間違ったツールを選択する可能性が高いためです。
• 緩和策の影響: 5 つの代表的な緩和策（防御済みリトリーバー、異常監視、構造化プロンプティング、アライメントチューニング、パープレキシティフィルタ）が評価されました。いずれの策も、2 つの最も強力な仕様（分散選択とトップ N 飽和）におけるギャップを埋めることはできませんでした。最良の緩和策（分散選択に対する SecAlign）は、bound を 0.20 から 0.30 に引き上げるのみでした。
• 強制含入: リトリーバーがスレートに満足すべきツールを含めることを強制された場合でも、認証された bound は0.50未満のままであり、失敗は単なる検索ではなく、主に選択段階にあることを示しています。

意義と主張

本論文は、キュレーションされたプール上のベンチマーク精度は、展開されたパイプラインの行動の十分な要約ではないと主張します。クリーンプールのパフォーマンスと現実的なツール分布下での行動の間のギャップは、根本的な脆弱性です。

• 実行可能な指標: LLMCert-T は、モデル、リトリーバー、レジストリポリシー間で直感的で実行可能かつ比較可能な指標を提供します。
• 診断基準: 現在の緩和策が最も強力な仕様におけるギャップを埋めることに失敗しているため、このフレームワークは将来の緩和策を評価するための診断基準として機能します。
• 脆弱性の性質: 主な展開リスクは、貧弱な意味理解ではなく、リトリーバーとセレクターを操作するメタデータレベルの信頼性シグナル（権威の手がかり、ニアダuplicate）に対する感受性です。

著者は、LLMCert-T をこれらの脆弱性を修正する解決策としてではなく、統計的保証をもってそれらを定量化できる最初のフレームワークとして位置づけており、それによって展開行動を測定可能な特性へと変換します。