技術サマリー：MAGE – シャドウメモリによる長期的脅威からの LLM エージェントの保護

1. 問題定義

大規模言語モデル（LLM）エージェントが複雑なマルチターンタスクに導入されるにつれ、それらは「長期的脅威」という新たなクラスの脅威に直面しています。単一ターンの攻撃（例：標準的なジャイルブレイク）とは異なり、これらの脅威は、個々のターンには悪意が潜伏しているが、軌道レベルで初めて破壊的に現れるような、拡張された相互作用を悪用します。

本論文は、この脆弱性の主な原因を 3 つ特定しています：

1. コンテキストの希薄化：有限のワーキングメモリと増大するコンテキストウィンドウとの間の緊張関係により、セキュリティ上重要な情報が時間とともに希薄化します。
2. 事後検査の欠如：エージェントは、徐々に蓄積する敵対的な意図を検出するために、完全な軌道を検査する能力を欠いていることが多く見られます。
3. 訓練分布のシフト：安全性のアライメントは通常、短いコンテキストで訓練され、拡張された相互作用への一般化に失敗します。

既存の防御策（例：キーワードフィルタ、ターンごとの分類器、安全性プロンプト）は、これらの長期的条件下で著しく劣化します。最近のいくつかの研究はマルチターンのアライメントを試みていますが、相互作用の長さが訓練範囲を超えると失敗するか、ジャイルブレイクに狭く焦点を当てているため、**逐次ツール攻撃チェーン（STAC）や持続的間接プロンプトインジェクション（PI2）**のような広範な脅威は未解決のままです。

2. 手法：MAGE フレームワーク

著者は、システムセキュリティにおける「シャドウスタック」の抽象化に触発された防御フレームワークであるMAGE（Memory As Guardrail Enforcement）を提案します。エージェントのワーキングメモリだけに依存するのではなく、MAGE は並行して実行される専用でセキュリティに特化したシャドウメモリを導入します。

コアアーキテクチャ

MAGE は、エージェントのワークフロー内のツール呼び出しとして実装され、強化学習（RL）を通じて訓練される 2 つの主要コンポーネントで構成されます：

1. メモリマネージャ（$M$）：シャドウメモリを要約し維持するモジュールです。エージェントの実行軌道（ユーザー指示、アクション、観察）を処理して、セキュリティ上重要なコンテキストを抽出・保持し、無関係な情報を破棄します。ユーザーの意図と既知の攻撃パターンを追跡します。
2. ジャッジ（$J$）：事後のリスク評価を行うモジュールです。アクションが実行される前に、ジャッジは現在のシャドウメモリの状態を参照して、保留中のアクションのリスクを評価します。承認/拒否の決定と人間が読める根拠を出力します。

ワークフロー

各ターン $t$ において：

1. エージェントはアクション $a_t$ を提案します。
2. メモリマネージャは、直前の状態 $m_{t-1}$ と現在の軌道セグメントに基づいて、シャドウメモリ $m_t$ を更新します。
3. ジャッジは、$m_t$ に条件付けられた $a_t$ のリスクを評価します。
4. ジャッジがアクションを拒否した場合、実行は停止され、根拠が報告されます。そうでない場合、アクションは進行します。

ターンごとの RL による最適化

このフレームワークは、$M$ と $J$ を共同で訓練するためにグループ相対方策最適化（GRPO）を採用します。訓練はターンごとの粒度という点でユニークです：

• 報酬設計：システムは軌道レベルではなく、ターンレベルで報酬を割り当てます。
  • ジャッジ報酬：特定のアクションの真のラベルに基づく二値の正誤。
  • メモリ報酬：将来のジャッジの結果を、それらに寄与したメモリ更新に遡って伝播させる時間的割引報酬です。これにより、近視眼的なメモリ更新を防ぎ、将来の検出に不可欠な情報をメモリが保持することを保証します。
  • ペナルティ：構造化された出力とコンパクトなメモリ表現を確保するために、形式と長さのペナルティが適用されます。
• フェーズ分離：損失関数は、メモリマネージャとジャッジの生成フェーズを分離し、報酬が各コンポーネントによって生成された特定のトークンに正しく帰属されることを保証します。

3. 主要な貢献

1. 核心的課題の特定：本論文は、長期的脅威に対する防御には、標準的なエージェント設計に欠けている、実行軌道全体にわたってセキュリティ上重要なコンテキストを維持する能力が必要であると主張しています。
2. 新規フレームワーク（MAGE）：MAGE は、エージェントのメモリをセキュリティプリミティブとして活用する最初のフレームワークです。軌道レベルのリスク評価を行うためのシャドウメモリ機構を導入し、コンテキストを要約します。
3. プラグアンドプレイ設計：このフレームワークは、コア推論パイプラインへの最小限の変更で既存の LLM エージェントと統合され、エージェントのネイティブなツール呼び出し機能を利用します。
4. 実証的検証：広範な評価により、検出精度、早期段階での検出、および有用性の維持において、MAGE が既存の防御策を上回ることを実証しました。

4. 実験結果

著者は、MAGE を 2 つの脅威モデル下で評価しました：ユーザーを敵対者とするモデル（STAC 攻撃）と環境を敵対者とするモデル（間接プロンプトインジェクション、PI2 を含む）。

評価 I：ユーザーを敵対者とするモデル（STAC）

• 設定：エージェントのバックボーンに GPT-5.1 を、MAGE コンポーネントに Qwen3-4B を使用しました。
• 性能：MAGE は、STAC 攻撃の攻撃成功率（ASR）を（防御なしの）**100.0%から8.3%に削減し、同時に94.4%**の benign utility（BU）を維持しました。
• 効率性：タスクあたりわずか7.0Kの追加トークンを導入し、ベースライン変数よりも著しく低く抑えました。
• 検出遅延：攻撃の大部分を実際の悪意あるアクション時、またはその直後に検出し（平均遅延 -0.06 ターン）、早期警告を提供しました。
• アブレーション：シャドウメモリがない変数や RL 訓練がない変数は、著しく性能が低下しました（例：未訓練の変数は 0% の ASR を達成しましたが、無差別な拒否により BU も 0% になりました）。

評価 II：環境を敵対者とするモデル（PI2）

• 設定：GPT-4o-mini、Llama-3.3、Qwen3 全体で、持続的間接プロンプトインジェクション（PI2）と静的インジェクション攻撃に対して評価を行いました。
• 性能：MAGE は PI2 攻撃において0.0% の ASRを達成し（Spotlighting や Repeated-Prompt などのベースラインは 70% 超の ASR で失敗）、高い benign utility（Llama-3.3 で 73.0%、Qwen3 で 86.5%）を維持しました。
• 比較：MAGE は、セキュリティ・有用性・オーバーヘッドのトレードオフにおいて、ベースライン（PI-Detector、Spotlighting、MELON、IPIGuard）を上回り、低いトークンオーバーヘッドで最低の ASR と高い BU を達成しました。
• 適応型攻撃：敵対者が MAGE のアーキテクチャを知り、メモリを汚染したりジャッジをオーバーライドしたりしようとする適応型攻撃下でも、MAGE は堅牢な性能を維持しました（ASR は低く維持され、例として PI2 適応型攻撃で 0.0%）。一方、未訓練の変数やシャドウメモリがない変数は失敗しました。

5. 意義と主張

本論文は、MAGE が長期的脅威に対する LLM エージェントの防御における新たなパラダイムを確立すると主張しています。その意義は以下の点にあります：

• 初の実践的アプローチ：軌道レベルの脅威検出のための防御プリミティブとして、エージェントのメモリを具体的に利用した最初の研究です。
• バランスの取れたトレードオフ：既存の防御策が同時に達成できないセキュリティ（低い ASR）、有用性（高い BU）、オーバーヘッド（低いトークンコスト）の 3 元を成功裏に解決します。
• 解釈可能性：シャドウメモリに基づいて検出決定を根拠づけることで、MAGE は人間が読める説明を提供し、防御をオペレーターに対して透明にします。
• 汎用性：このフレームワークはプラグアンドプレイとして設計されており、エージェントのコア推論パイプラインの変更を必要とせず、防御コンポーネントにはより小さくローカルなモデルでも効果的に機能します。

著者は、MAGE が重要な前進を表している一方で、将来の研究はより広範な攻撃クラス（例：メモリ汚染、目標の漂流）、動的メモリスキーマ、マルチエージェントシステムへの拡張を探るべきであると結論付けています。