💻 computer science

MIND: Lightweight and Effective Memory Injection Defense for LLM Agents via Intent-Aware Information Bottleneck

本論文では、意図を考慮した情報ボトルネックを利用してコンパクトな意図・行動表現を抽出することで、タスクの精度と推論効率を維持しながら、LLMエージェントにおける汚染されたメモリを効果的にフィルタリングする軽量な防御フレームワークであるMINDを提案する。

原著者： Dongyi Liu, Haixing He, Xiaobao Wu, Jia Li

公開日 2026-07-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dongyi Liu, Haixing He, Xiaobao Wu, Jia Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、あなたと話し、調べ物を行い、多くの会話を通じて複雑な問題を解決することができる、超スマートなロボットアシスタントがいます。このロボットが本当に優れたものになるためには、「メモリーバンク（記憶の貯蔵庫）」、つまり、5分前に何を話していたかを忘れないように、過去のチャットからのメモを保存しておく場所が必要です。これは、長期プロジェクトのために授業のノートを取っている学生のようなものです。しかし、恐ろしいグリッチ（不具合）があります。ずる賢いハッカーが、そのノートの中に偽の、毒入りのメモを忍び込ませる可能性があるのです。もしロボットが後でその偽のメモを読んでしまうと、混乱したり、本来の目的を忘れたりして、無料でお金を配ったり数学の問題を間違えたりといった、愚かな、あるいは危険な行動をとってしまうかもしれません。これは「メモリー・インジェクション攻撃」と呼ばれます。

科学者たちの大きな課題は、ロボットの動作を遅らせることなく、いかにしてこれらの偽のメモを防ぐかです。従来の検証方法は、ロボットが見つけたすべてのメモを一つずつ読み、それが偽物かどうかを確認するために、人間の教師を雇うようなものでした。これでは時間がかかりすぎ、膨大なエネルギーを消費します。他の手法は、メモを素早くスキャンしようとしますが、会話の中にある退屈で繰り返される詳細事項に惑わされ、本当の危険信号を見逃してしまいます。そこで問題となるのは、「ねえ、このメモは私たちを騙そうとしているよ」という特定の「バイブス（雰囲気）」を見つけ出す、スマートで高速なフィルターを構築できるか、ということです。

これこそが、論文「MIND」の研究者たちが解決しようとした問題です。彼らは、MIND（Memory Intent-Aware Neural Denoising：メモリー・インテント・アウェア・ニューラル・デノイジング）と呼ばれる新しい防御システムを作り上げました。MINDを、クラブの非常に効率的なドアマンだと考えてみてください。すべてのゲスト（すべてのメモリ）に自分の全生涯を語らせる（それは時間がかかる作業です）代わりに、MINDは「情報ボトルネック」と呼ばれる特別なトリックを使います。巨大で散らかった洗濯物の山（会話の履歴）を想像してください。そのほとんどは、今は重要ではない靴下やシャツです。MINDは魔法の乾燥機のように機能し、すべてを凝縮させ、ふわふわとした無用なものを捨て去り、その人が本当は何者であるかを示す、タイトで不可欠な核となる部分だけを残します。

研究者たちは、ロボットがハッカーに騙されているとき、その振る舞いがユーザーが最初に求めたものから逸脱し始めることを発見しました。それは、まるで友人がいつもとは違う変な振る舞いをし始めるようなものです。MINDはこの「逸脱」を監視します。MINDは、ロボットの長い会話を、ユーザーの最初の質問とロボットの現在の回答との間のつながりを強調した、小さくクリーンな要約へと圧縮します。もしロボットが毒を盛られているなら、このつながりは壊れるため、MINDはすぐにその「偽の」メモリを察知します。

この論文は、この手法がいかに驚異的に機能するかを示しています。テストにおいて、MINDは攻撃成功率を55%減少させ（ハッカーの成功率を高い数字から非常に低い数字へと引き下げ）、同時にロボットの賢さや速さを以前と同じレベルに維持しました。ロボットの思考時間を2倍にしてしまう従来のメソッドとは異なり、MINDはLLMオーディター（LLM監査器）よりも20.6%高速でした。それは、行列を作らせることなく、一瞬で泥棒を見つけ出すセキュリティガードのようなものです。著者たちは、「ノイズ」を無視して「意図（インテント）」にのみ焦点を当てることで、ロボットを安全かつ高速に、そして正しい軌道上に留めておけることを発見しました。巧妙なトリックを見抜くために巨大で遅い脳は必要なく、ただ適切な「集中力」が必要なのだということを証明したのです。

技術要約: MIND (Memory Intent-Aware Neural Denoising)

1. 問題提起

メモリ拡張型大規模言語モデル（LLM）エージェントは、長期的なタスクを処理するために、外部の検索ベースのメモリシステムに依存しています。しかし、これらのシステムは**メモリ注入攻撃（memory injection attacks）**に対して脆弱です。これは、攻撃者がメモリ格納領域（直接的な書き込みアクセス、または間接的なマルチターン相互作用を通じて）を操作し、汚染されたレコードを注入するものです。これらが検索されると、エージェントの挙動が初期のユーザーの意図から逸脱し、タスクの失敗や有害な出力につながります。

既存の防御メカニズムには、2つの決定的な限界があります：

高い計算コスト： 推論ベースの防御（例：LLMオーディター）は、検索されたメモリを監査したり相互作用ストリームを監視したりするためにLLMを繰り返し呼び出すため、長い軌跡にわたって大幅なレイテンシの蓄積を引き起こします。
情報の冗長性： フルマルチターン軌跡をエンコードする軽量な検出器は、タスクに無関係な情報や反復的な情報に悩まされることがよくあります。この冗長性は、攻撃信号を不明瞭にし、良性な挙チャと汚染された挙動を区別する能力を阻害します。

2. メソドロジー: MIND

著者らは、**情報ボトルネック（Information Bottleneck: IB）原理に基づき、メモリ防御をデノイジング（除去）問題として再定式化した軽量な防御フレームワークであるMIND (Memory Intent-Aware Neural Denoising)**を提案しています。

コアとなる観察

予備的な分析により、以下の2つの現象が明らかになりました：

分離可能性（Separability）： 表象空間において、良性の軌跡と汚染された軌跡は、初期のユーザーの意図とそれに続く挙動との関係性に関して、区別可能な傾向を示します。
意図の減衰と冗長性（Intent Decay & Redundancy）： 相互作用のターン数が増えるにつれて、エージェントの初期の意図に対する注意は減衰し、このプロセスは注入攻撃によって加速されます。さらに、マルチターン状態には、意図の信号を弱める重大な冗長性が含まれています。

フレームワークのアーキテクチャ

MINDは3つのステージで動作します：

軌跡表象抽出（Trajectory Representation Extraction）：
- 事前学習済みLLM（例：Llama-3.1-8B-Instruct）がターンレベルの特徴を抽出します。
- ターン $t$ の表象 $h_t$ は、<observation> コンポーネントの最終トークンの隠れ状態として定義されます。
- 初期のユーザークエリは $h_0$ として表されます。
- 学習データは、ペア $(x_i, x_{anchor})$ として構築されます。ここで $x_i = [h_0; h_t]$ であり、 $x_{anchor} = h_0$ です。ラベルは、そのターンで検索されたメモリが汚染されているか否かによります。
意図認識型情報ボトルネック（IB）エンコーダー：
- 生の入力を分類する代わりに、MINDはIBエンコーダー $E$ を使用して入力 $x_i$ を潜在空間 $z_i$ へ圧縮します。
- 目的： タスクに無関係な冗長性を破棄するために相互情報量 $I(Z; X)$ （コンパクト性）を最小化し、一方で意図に関連する信号を保持するために $I(Z; Y)$ （情報量）を最大化します。
- コンパクト性： 学習された事後分布 $q_E(z|x)$ と等方性ガウス事前分布との間のKLダイバージェンスを最小化することによって達成されます。
- 情報量： 教師ありアライメント損失を通じて達成されます。良性のターンは初期の意図アンカー（ $h_0$ ）に引き寄せられ、汚染されたターンはマージンを持って遠ざけられます。これにより、潜在空間が現在の挙動と元の意図との関係性を保持することを保証します。
軽量マルチハイパープレーン分類器（Lightweight Multi-Hyperplane Classifier）：
- デノイズされた潜在空間 $z_i$ 上に決定境界が構築されます。
- 単一の線形境界ではなく、MINDは** $K$ 個のハイパープレーン（超平面）**を採用して、区分的な決定領域（凸多面体マシン：Convex Polytope Machine）を形成します。
- この設計は、単一の線形境界では捉えきれない多様な攻撃パターンを捕捉します。あるターンが良性と分類されるのは、それがすべての $K$ 個のハイパープレーンの下にある場合のみです。

学習目的関数

モデルは以下の結合損失関数を最小化するように最適化されます：
$\mathcal{L} = \mathcal{L}_{benign} + \mathcal{L}_{poison} + \beta \mathcal{L}_{KL} + \lambda \mathcal{L}_{align}$
ここで、 $\mathcal{L}_{KL}$ はコンパクト性を強制し、 $\mathcal{L}_{align}$ は意図の分離を強制し、最初の2つの項はマルチハイパープレーン分類の制約を強制します。

3. 主な貢献

分析： 著者らは、メモリ注入攻撃が初期の意図とそれに続く挙動の関係性に区別可能な偏差を引き起こすこと、およびその信号がマルチターンの冗長性によって不明瞭になるという予備的な証拠を提示しています。
手法： 彼らは、繰り返しのLLM監査やフル軌跡のエンコーディングを行うことなく、意図認識型情報ボトルネックを利用して汚染されたメモリをフィルタリングする、軽量な防御フレームワークを設計しました。
評価： 広範な実験により、MINDがセキュリティとユーティリティのトレードオフを改善し、タスクの精度を維持しながら攻撃成功率を低下させ、防御されていないエージェントと同等の推論効率を実現することが示されました。

4. 実験結果

実験は、DeepSeek-V4、GPT-4o-mini、Llama-3.1-8B-Instruct、Qwen3-8B-Instructの4つのバックボーンモデルを用い、AgentPoisonやMINJAといった攻撃に対して、ReAct-StrategyQAおよびMMLUベンチマークで実施されました。

攻撃の削減： ReAct-StrategyQAにおいて、MINDは防御されていないエージェントと比較して、平均検索段階攻撃成功率（ASR-r）を55.4%、エージェント推論ASR（ASR-a）を**55.3%**減少させました。
タスク精度： MINDは平均タスク精度（例：StrategyQAで防御なしの67.56%に対し67.95%）を維持し、MMLUにおいては防御手法の中で最高の平均精度（79.57%）を達成しました。
効率性： MINDは計算効率が高いです。StrategyQAにおいて、MINDはLLMオーディターのベースラインよりも20.6%速く、A-MemGuardよりも70.4%速く、平均エピソード時間は防御されていないエージェントと同等でした。
アブレーション解析： IBエンコーダーまたはマルチハイパープレーン分類器のいずれかを取り除くと性能が低下し、偽陽性を減らしつつ検出能力を維持するという両者の相補的な役割が確認されました。

5. 重要性と主張

本論文は、MINDがメモリ拡張型エージェントにおけるセキュリティと効率性の根本的なトレードオフに対処することを主張しています。情報ボトルネックを活用して冗長な情報をフィルタリングし、意図と挙動の関係性に焦点を当てることで、MINDは繰り返しのLLM監査による計算オーバーヘッドや、フル軌跡のエンコーディングによる信号希釈を回避します。

著者らは、基礎となる意図と挙動のダイナミクスが適切にモデル化され、デノイズされているのであれば、高価な推論ベースの監査を必要とせずに、メモリ注入に対する効果的な防御が可能であることを示し、MINDを低レイテンシが極めて重要となる長期タスクのための実用的なソリューションとして位置付けています。