技術概要：ツールを信頼するな：信頼できないツールフィードバック下での LLM エージェントの評価と防御

1. 問題定式化：認知的汚染

本論文は、ツールを利用する大規模言語モデル（LLM）エージェントにおいて、「認知的汚染（cognitive poisoning）」と呼ばれる固有の失敗モードを特定した。従来の間接的プロンプトインジェクションや単一応答汚染とは異なり、そこでは悪意が特定のテキスト部分やツール記述者に局在化しているのに対し、認知的汚染は探索的信頼形成プロセスを通じて機能する。

この脅威モデルにおいて、悪意あるツールは初期の探索ステップでは妥当に振る舞い、無害に見えるフィードバックを通じて信頼を蓄積する。ツールが有害となるのは、最終実行アクションと環境の潜在状態が隠されたトリガー条件を満たしたときのみである。攻撃が成功するのは、単一のメッセージが明白に悪意あるからではなく、相互作用の軌跡がエージェントの事前分布を形成し、危険な最終アクションを通常のものとみなさせるからである。決定的なリスクは、状態 - アクションの構成という性質にあり、信頼がどのように形成されたかの履歴と、最終的なツール呼び出しの特定のパラメータの組み合わせである。

既存のベンチマークや防御策は、一度ツールが選択されればそのフィードバックは信頼できると暗黙に仮定していることが多い。しかし本論文は、ブラックボックスのツール生態系において、エージェントは内部の信頼性を直接検証できず、相互作用を通じてこれを推論せざるを得ないため、「決定的な防御対象」が局所的なプロンプトテキストではなく、最終アクションの軌跡条件付きリスクであるという、固有の攻撃対象領域が生まれると主張する。

2. 手法

2.1 TRUST-BENCH：タスク条件付きベンチマーク

この領域を研究するため、著者らはTRUST-BENCH（Untrusted Stateful Tools 下の軌跡リスク）を構築した。

• 構築: OpenAgentSafety、RedTeamCUA、MCP-SafetyBench、MCPMark、Toolathlon の 5 つの上流スイートから派生し、1,970 のキュレーションされたエピソードを生成した。
• 構造: 各エピソードは、良性のコントロールと悪意あるバリアントという一致したペアで構成される。両者は同じ外部ツールインターフェースとタスク意図を共有する。
• 隠れたトリガー: 悪意あるバリアントは、構造化されたトリガー仕様によって定義される。
  • required_all_tokens: 同時に出現しなければならないフィールド（例：op=export、cross_check=off）。
  • required_any_tokens: 少なくとも 1 つが出現しなければならない文脈的アンカー。
  • forbidden_tokens: 存在するとトリガーを抑制する安全性を可能にするフィールド。
• 相互作用プロトコル: 「ブルーチーム」のエージェントが、最終アクションを提案する前に、標準化された 3 ラウンドの予算（ベースライン収集、一貫性チェック、深層プローブ）でツールをプローブする。トリガー規則とラベルは、推論中に防御者からは隠されている。

2.2 評価指標：GUARDEDJOINT

本論文は、偽陰性（悪意あるアクションの受容）と偽陽性（良性アクションの拒絶）の両方がコストがかかる実際の展開リスクを反映するように設計された非対称な安全性 - 有用性指標であるGUARDEDJOINTを導入する。

• 数式: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$
  • $AMR$: 受容された悪意ある率（Accepted Malicious Rate）。
  • $RNR$: 拒絶された通常率（Rejected Normal Rate）。
  • $\rho$: 悪意ある呼び出しを受容することの相対コスト（主要実験では 1.5 に設定）。
• 意義: この指標は「すべて拒絶」または「すべて実行」の方針にペナルティを課し、防御策が悪意ある受容と良性の拒絶を同時に最小化することを強制する。

2.3 防御フレームワーク：VISTA-GUARD

著者らは、最終アクションのリスクスコアリングのためのバックボーン非依存フレームワークであるVISTA-GUARD（Safe Tool Actions のための可変状態推論）を提案する。

• 中核的なアイデア: 多段階のツール相互作用を、信頼形成ダイナミクスを符号化する構造化された環境変数に抽象化する。
• 入力表現: モデルは直列化されたトリプレットを受け取る。
  1. 軌跡状態（$z_{traj}$）: 探索証拠（トリガーされたフェーズの回数、プローブ検出、不一致スコア、ID ドリフト、警告など）を要約し、異常密度と状態リスクの要約に変換する。
  2. 最終アクションパラメータ（$z_{param}$）: 提案された最終呼び出しの実行可能セマンティクス（ツール名、ペイロードキー、高影響/バイパス/安全性マーカーの回数）を符号化する。
  3. ターゲット（$y$）: 訓練のみに使用されるバイナリラベル（$high\_risk$ / $low\_risk$）。
• メカニズム: バックボーン LLM（例：Mistral、Qwen、Llama）は、軌跡証拠に条件付けられた最終アクションのリスクをスコアリングするように微調整される。これは、最終パラメータバンドルがツールの振る舞いの推定状態と互換性がない場合、アクションを拒絶することを学習する。

3. 主要な結果

3.1 ドメイン内性能

GUARDEDJOINT指標（$\rho=1.5$）の下で、VISTA-GUARD は既存のベースラインを大幅に上回る。

• VISTA-GUARD (Mistral-7B): ドメイン内スコアで84.2を達成。
• その他のバックボーン: 試験された 6 つの LLM バックボーン（Qwen3、Qwen2.5、OLMo-2、Llama-3.1、Meta CWM）はすべて正のスコア（39.0 から 67.6 の範囲）を達成し、アーキテクチャ全体で堅牢性を示した。
• ベースラインの崩壊: トレードオフの片側のみを最適化する、またはプロンプト中心のヒューリスティックに依存する手法は0.0に崩壊した。
  • プロンプト中心のジャッジ（GPT-5.4 ゼロショット）とヒューリスティックな安全策（ToolShield、GuardAgent）は、微妙な信頼ダイナミクスを区別できず、しばしばすべての悪意あるアクションを受容するか、すべての良性アクションを拒絶するデフォルトに陥った。
  • スカラ化された分類器（Gradient Boosting、SVM）と非 LLM テキストモデル（BERT）は、時間的コンテキストを捉えられず、スコアはゼロに近い結果となった。

3.2 分布外（OOD）転移

• VISTA-GUARD は、バランスの取れた OOD データ（ToolEmu と SafeToolBench の未見のツールファミリー）において有効性を維持し、56.9の GUARDEDJOINT を達成した。
• これは、構造化された軌跡表現が、大幅に低下するか崩壊したプロンプト中心またはスカラ化されたアプローチよりも優れた転移性を示していることを意味する。

3.3 アブレーション研究

• 表現対バックボーン: 分離研究により、利益は主にバックボーンの選択ではなく、構造化された軌跡表現から得られることが示された。非 LLM モデルに同じ構造化入力を提供すると性能は向上したが、LLM バックボーンとの間には依然としてギャップが残った。
• パラメータのみの失敗: 軌跡コンテキストなしに最終アクションパラメータのみで訓練されたモデルは崩壊し、良性コントロールと悪意ある最終アクションを区別するには軌跡履歴が不可欠であることを確認した。

4. 意義と主張

本論文は、この研究の決定的な貢献は表現論的であると主張する。ツール相互作用を生テキストや孤立したパラメータとして扱うのではなく、構造化された環境変数に変換することで、防御問題は扱いやすくなる。

• 焦点の転換: 著者らは、状態条件付きの認知的汚染に対して、関連する防御対象は、軌跡全体で信頼がどのように形成されたかに基づく最終アクションのリスクスコアリングであると論じる。
• 限界: 著者らは主張について控えめであり、TRUST-BENCH は標準化された 3 段階の探索とバイナリ実行/拒絶アクション空間を持つ構築されたベンチマークであると指摘する。現実世界の展開では、より長い相互作用、適応的な攻撃者、より複雑な潜在状態が含まれる可能性があることを認めている。
• 結論: 発見は、より広範な評価課題を動機づける。ツールフィードバック自体が信頼できない可能性がある場合、セキュリティ防御は局所的なプロンプト検査やツール記述者にのみ依存するのではなく、軌跡条件付きの信頼形成について推論しなければならない。

本論文は、スカラ要約は軌跡情報を捨て去りすぎ、生テキストモデルは一部のシグナルを回復するが、シーケンスバックボーンは、相互作用履歴が軌跡状態と最終アクション証拠として整理されている場合に最も恩恵を受け、安全なツールの汎化のための原理的なフレームワークを提供すると結論づける。