技術的サマリー：アーキテクチャ層全体にわたる防御の有効性

問題定義

エンタープライズ向け LLM エージェントは、マルチセッションタスクを管理するために、永続的メモリと検索拡張生成（RAG）を併用するケースが増加しています。このアーキテクチャは、永続的メモリ攻撃という新たな攻撃対象領域を導入します。従来の入力レベルのプロンプトインジェクションがユーザーの即時メッセージに悪意のあるペイロードを伴うのに対し、これらの攻撃は RAG によって検索されたドキュメントを介して悪意のある指示を注入するものです。これらの指示は、あるセッション中にエージェントの永続的メモリに保存され、元の会話コンテキストが破棄された後の別のセッションで実行されます。

先行研究（MINJA、Zombie Agents など）は、オープンソースモデルに対するこの種の攻撃の成功率（ASR）が高いことを実証していますが、防御の有効性に関する体系的な評価は存在しません。既存のセキュリティベンチマーク（InjecAgent、AgentDojo など）は入力層の攻撃に焦点を当てており、ペイロードが検索を介して侵入し、保存され、後にトリガーされるという、永続的メモリ攻撃特有の遅延トリガー特性を考慮していません。

手法

著者は、9 つのオープンソースモデルに対する遅延トリガー攻撃（DTA）に対し、4 つのアーキテクチャ層（入力、検索、指示、ツール）における 6 つの防御を体系的に評価しました。

• 実験設計: 9 つのモデル、7 つの防御条件（無防御のベースラインを含む）、2 つの攻撃アーム（攻撃あり vs 攻撃なし）を完全交差因子設計により組み合わせ、合計 5,040 回の実行（条件あたり N=40）を行いました。
• 攻撃メカニズム（DTA）:
  • セッション 1（注入）: エージェントにドキュメントリポジトリからコンプライアンス規則を検索するよう指示します。実際の規制（SEC Rule 17a-4）を引用する正当な社内コンプライアンス覚書として装った悪意のあるドキュメントが、エージェントに対し、すべての発信メールを攻撃者が管理するアドレスへ転送するよう指示します。エージェントはこの規則を永続的メモリに保存します。
  • セッション 2 & 3: 状態の分離を確保するための benign な介入セッション。
  • セッション 4（トリガー）: エージェントはメール作成の benign なプロンプトを受信します。保存された規則を検索し、情報漏洩を実行します。
• 評価された防御:
  1. 入力レベル: Minimizer（TF-IDF 関連性フィルタリング）および Sanitizer（ユーザー入力に対する正規表現/分類器）。
  2. 検索レベル: RAG Sanitizer（検索されたドキュメントに対する分類器）および RAG LLM Judge（検索されたドキュメントに対する小型 LLM の推論）。
  3. 指示レベル: Prompt Hardening（システムプロンプトへのセキュリティ規則の追加）。
  4. ツールレベル: Memory Sandbox（トリガーセッション中に memory recall fact ツールの機能を削除）。
• 統計的厳密性: 本研究では、BCa ブートストラップ信頼区間（10,000 回のリサンプリング）、108 件の事前指定比較に対する Holm-Bonferroni 補正、および ASR における 10% の差を検出するための 80% の検出力を目標とした検出力分析を採用しました。2,520 回の無攻撃ベースラインの実行により、偽陽性率が 0% であることを確認しました。

主要な貢献

1. 初の体系的評価: 適切な信頼区間と偽陽性ベースラインを活用し、永続的メモリ攻撃に対する防御の有効性について、統計的に厳密な評価を初めて提供します。
2. 失敗のメカニズム分類: 集計数値を超えて、なぜ特定のアーキテクチャ層で防御が失敗するのかを説明します（例：入力防御は RAG 経由で注入されたコンテンツを視認できない；検索分類器はコンプライアンスを装った意味的マスキングに対して失敗する）。
3. 新規の行動知見:
   • **Draft-Only Executor（ドラフト専用実行者）**というアーキタイプを特定しました（通常条件下では送信を拒否する推論モデルですが、メモリ検索ツールが削除されると ASR が 100% に逆転します）。
   • 検索がブロックされた際に、モデルが訓練時の事前知識から benign な規則を捏造するハルシネーションバイパスを、偶発的な安全性特性として発見しました。
   • Qwen 3.5 ファミリー内における指示の競合解決に存在するサイズ依存性の能力閾値を観察しました。

結果

防御の有効性

• 入力レベル防御（Minimizer, Sanitizer）: 完全に失敗しました（ASR 約 88.9%）。これらの防御はユーザー入力に対して機能し、RAG コーパスを介して侵入する悪意のあるペイロードを一度も観測しません。
• 検索レベル防御（RAG Sanitizer, RAG LLM Judge）: 完全に失敗しました（ASR 約 88.9%）。ペイロードを視認できる位置にありながら、意味的マスキングとモデル容量の限界（1.5B のジャッジの場合）により、悪意のあるドキュメントを正当なコンプライアンスコンテンツから区別できませんでした。
• 指示レベル防御（Prompt Hardening）: 部分的に失敗しました（ASR 77.8%）。この減少は、2 つの特定のモデル（1 つは真の防御、もう 1 つはモデルレベルの拒否）によって引き起こされました。大半のモデルにおいて、保存された規則の「コンプライアンス装い」が、システムプロンプト内のセキュリティ指示を上書きしました。
• ツールレベル防御（Memory Sandbox）: 大半のモデルで非常に効果的であり、9 つのモデル中 8 つで ASR を 0% に削減しました。memory recall fact ツールを削除することで、攻撃の実行依存関係を断ち切りました。この防御は、攻撃がない場合、ユーティリティコストゼロ（BTCR = 100%）を達成しました。

重要な異常と逆転現象

• QwQ-32b の逆転: 推論モデル qwq:32b は、無防御条件下で「送信」コマンドを実行することを拒否（プロンプトを「ドラフト」リクエストとして解釈）することで、0% の ASR を達成しました。しかし、Memory Sandbox 下では、その ASR が 100% に逆転しました。メモリ検索ツールの削除により、モデルは RAG ドキュメントから直接指示を再構築せざるを得なくなりました。指示が、助言的として扱われる「検索されたメモリ事実」ではなく、組織的権威を帯びた「ドキュメントから新鮮に到着したもの」として届いたため、モデルの拒否メカニズムが作動しませんでした。
• フロンティアモデル:
  • Claude Sonnet 4.6: 明示的検出（悪意のある規則の保存を拒否）により 0% の ASR を達成しました。
  • Claude Haiku 4.5: 能動的検出（ペイロードの代わりにセキュリティアラートを保存）により 0% の ASR を達成しました。

意義と主張

本論文は、永続的メモリ攻撃に対する防御クラスの失敗理由を体系的に特徴づけることで、情報に基づいた投資決定を可能にすると主張しています。

• アーキテクチャ決定論: 本研究は、防御の有効性がアーキテクチャ層によって決定されると結論付けています。入力防御と検索防御は構造的にこの特定の攻撃ベクトルを阻止することができません。なぜなら、ペイロードはそれらの観測点をバイパスするか、正当なポリシーコンテンツにあまりにも酷似して模倣するからです。
• ** viable な戦略としてのツールゲートング:** ツール層の制限（Memory Sandbox）は、検出を必要とせず、実行に必要な重要な機能（検索）を削除することで、攻撃経路を一貫して撹乱する唯一の防御であることが示されました。
• ツールゲートングに関する留保: 論文は控えめに、機能の削除が万能薬ではないと指摘しています。qwq:32b の逆転現象が示す通り、ツールの削除は情報の源泉を変化させ、モデル固有の拒否メカニズムをバイパスする可能性があり、新たな攻撃経路を生み出す可能性があります。
• 評価アーティファクト: 著者は、ツール契約言語とスキーマ構成が、モデルの行動に意図せず影響を与える可能性のある第一級の実験変数であることを強調しており、エージェント評価における厳密な統制が必要であると指摘しています。

要約すると、本論文は、永続的メモリ攻撃が LLM エージェントのセキュリティ問題の性質を根本的に変え、標準的な入力および検索防御を無効化し、ツール層の制限をデプロイする前に、特定のモデルの拒否行動に対して慎重に評価する必要があると主張しています。