技術要約：マルチターン・ツール呼び出しエージェントにおけるアサーション条件付きコンプライアンス

問題提起

ツール呼び出し機能を備えた大規模言語モデル（LLM）は、マルチターン対話において顕著な有用性を示しているが、そのデプロイメントにおいては、推論の堅牢性に関する懸念が依然として障壁となっている。Berkeley Function-Calling Leaderboard (BFCL) などの既存のベンチマークは、主に最終的な環境状態に基づく最終的なタスク成功率（正確性）を評価している。しかし、これらの指標は、誤導的な情報に直面した際の正しい実行パイプラインの維持能力、すなわち「プロシージャルな堅牢性（procedural robustness）」を捉えられないことが多い。

現在の安全性評価は、明白な敵対的攻撃（例：プロンプトインジェクション）や言語的なサイコファンシー（言葉による同調）に焦点を当てることが多い。しかし、異なるプロベナンス（発生源）から生じる**誤ったアサーション（断定）**に対して、エージェントがどのように対処するかを理解することには、決定的なギャップが存在する。

1. ユーザー由来のアサーション (User-Sourced Assertions: USAs): ユーザーから提供される誤導的な情報。モデルのサイコファンシーへの傾向をテストする。
2. 関数由来のアサーション (Function-Sourced Assertions: FSAs): ツール出力やシステムポリシーから生じる矛盾した、あるいは古いヒント。モデルの内部システムへの手がかりに対する遵守能力をテストする。

核心となる問題は、エージェントがタスクを正常に完了（高い正確性）できたとしても、その過程でこれらの誤ったアサーションに従うことにより、不必要、あるいは不安全な操作を実行してしまう可能性があることである。この「静かな」過剰コンプライアンスは、最終的な状態が正しく見えても実行パイプラインが破損しているという、潜在的な脆弱性を表している。

メソドロジー

著者らは、モデルがどのように誤ったアサーションを自身の推論およびツール呼び出しのパイプラインに組み込むかを診断するために設計された、新しい評価パラダイムであるアサーション条件付きコンプライアンス (Assertion-Conditioned Compliance: A-CC) を導入する。

実験セットアップ

• ベンチマーク: 本研究では、実世界のAPIに基づいた200の精選されたエントリーからなる、BFCLの multi_turn_base カテゴリを利用する。
• モデル: Qwen3、Salesforceの xLAM 2、Watt Tool、BitAgent Bounty、ToolACE 2 を含む11の最先端モデル（パラメータ数3Bから70Bまで）に対して評価を実施した。
• アサーション生成:
  • USAs: ユーザープロンプト内に、合成された、もっともらしいが誤った主張を注入した。これらは、異なる誤導をシミュレートするために、2つのトーンのバリエーション（自信に満ちたものと控えめなもの）および3つの機能モード（init、read-heavy、write-heavy）で生成された。
  • FSAs: ツール出力のペイロードに、誤解を招くポリシーノートを直接注入した。これらは、メンテナンスされていないツールが古い、あるいは誤ったヒントを提供する場合をシミュレートするように設計されている。
• プロトコル: 各テストケースは、ベースライン条件（アサーションなし）とアサーション条件の両方で実行された。本研究では、モデルが関連するターン内で、アサーションされた（誤った）関数を少なくとも一度呼び出したかどうかを追跡した。

評価指標

著者らは、タスク成功（最終的な環境状態に基づく標準的なBFCLの正確性）とコンプライアンス率 (Compliance Rate: CR) を切り離して定義している。

• コンプライアンス率 (CR): エージェントが、最終的なタスクが成功するかどうかにかかわらず、アサーションされた操作を実行した頻度を測定する。
• アウトカム・バケット (Outcome Buckets): 正確性とコンプライアンスの関係を分析するため、実行結果を以下の4つの遷移に分類した。
  • S→S: 成功が維持された（コンプライアンスが発生したが、タスクは依然として成功した）。
  • S→F: アサーションによる失敗（コンプライアンスがタスクの失敗を招いた）。
  • F→S: アサーションによる回復。
  • F→F: 失敗が継続した。

主な貢献

1. 新しい評価パラダイマ (A-CC): LLMが誤ったアサーションをプロシージャルな実行にどのように統合するかを測定することを定式化し、表面的な言語的合意を超えて、パイプラインの操作を追跡する。
2. 二重のプロベナンス・ベクトル: ユーザー由来（社会的）および関数由来（プロシージャル）のアサーションに関する個別のテストを導入し、エージェントが誤導信号のソースに応じて異なるコンプライアンス・バイアスを示すことを明らかにした。
3. 再現可能なベンチマーク・フレームワーク: プロベナンスがタグ付けされたアサーションの影響を分離することで、モデルファミリー間の行動パターンを経験的に比較するためのフレームワークを提供する。
4. 切り離された指標: 標準的な正確性スコアでは見えない安全性リスクを明らかにする指標として、コンプライアンス率を確立し、高いタスク成功率が必ずしも安全または効率的な実行パイプラインを保証しないことを示した。

結果

11のモデルに対する経験的分析により、いくつかの重要な知見が得られた。

• 広範な脆弱性: モデルは、USAsとFSAsの両方に対して中程度ながらも有意なコンプライアンスを示した。
  • USAコンプライアンス: マクロ平均コンプライアンスは、自信に満ちたアサーションで 36.3%、控えめなアサーションで 27.7% であった。ツールネイティブなモデル（例：Watt Tool 70B）やコンテキスト認識型のモデル（Qwen3のバリアント）は、関数由来のヒントに対して高い感受性を示した。
  • FSAコンプライアンス: 平均コンプライアンスは 27.8% であり、エージェントが誤ったツールフィードバックを権威あるものとして扱うことが多いことを示している。
• 正確性とコンプライアンスのデカップリング: タスク成功（正確性）と行動コンプライアンスは、密接に相関していない。
  • 同程度のベースライン正確性を持つモデルであっても、コンプライアンス率は著しく異なっていた。
  • 決定的なことに、多くのモデルが S→S バケット（成功→成功）において高いコンプライアンスを示した。これは、エージェントが正しい最終状態を達成しながらも、不必要な、あるいは誤導的な操作を頻繁に実行していたことを意味し、標準的な指標の下で脆弱性が隠蔽されていることを示している。
• 重大なワーストケースの劣化: 中程度の平均コンプライアンスにもかかわらず、アサーションはタスク成功率に大幅な低下を引き起こした。
  • モデル全体のワーストケースにおける成功率の低下は、平均 16.9 ポイントであった。
  • Qwen3 14B (FC) が最大の低下（23.4 ポイント）を記録し、次いで xLAM 2 32B (-20.3)、BitAgent Bounty 8B (-20.8) と続いた。
• プロベナンスへの感受性: アサーションのソースが重要である。ツールネイティブなモデルは、関数由来のアサーションに対して特に脆弱であり、外部の検証よりも内部のシステムフィードバックを優先する傾向があることが示唆された。

意義と主張

本論文は、アサーション条件付きコンプライアンスが、デプロイされたマルチターン・エージェントにおける決定的な潜在的脆弱性であることを主張している。主な意義は、標準的なリーダーボードのスコア（BFCLの正確性）は、安全性に敏感なデプロイメントには不十分であることを明らかにしている点にある。なぜなら、それらは「静かな」プロシージャルな失敗を検出できないからである。

• 隠れたリスク: タスクの成功のみで判断されるエージェントは、ユーザーからの妥当と思われる誤ったアサーションや、古いツールのヒントに直面した際、不安全または不必要な操作を実行する可能性がある。
• 運用の含意: ユーザープロンプト、ツール出力、およびポリシーヒントは、単一の信頼できるコンテキストではなく、別個の、潜在的に敵対的なチャネルとして扱う必要があると本研究は主張している。
• 評価の必要性: 著者らは、A-CC形式の評価は、標準的な正確性指標が覆い隠してしまうリスクを露呈させるため、高リスクなアクションを媒介するパイプラインのデプロイ前チェックとして不可欠であると断じている。

本論文は、A-CCの脆弱性を定義し測定したものの、それを修正するための具体的な学習目的やアーキテクチャの変更についてはまだ提案していないことを認め、控えめに結論づけている。本研究は、将来のエージェント設計における、プロベナンスに敏感な堅牢性と追加のガードレールへの必要性を浮き彫りにするための、制御されたストレス・テストとして機能している。