🤖 AI

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

本論文は、HMACベースのプロベナンス検証とランダム化されたメモリ・アブレーションおよび判定に基づく多数決投票を組み合わせることで、署名なしおよび認証済みメモリ注入攻撃の両方を効果的に無効化し、永続的なLLMエージェントシステムにおけるマルチセッション・メモリ・ポイズニング（MSMP）に対する証明付きの堅牢性を提供する初の防御メカニズムであるSMSRを紹介するものである。

原著者： Tarun Sharma

公開日 2026-06-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tarun Sharma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「毒された日記」

スマートなオフィスアシスタント（AIエージェント）を想像してください。このAIは、過去の会話、社内規定、事実などを記憶することで、従業員をサポートしています。AIは、誰かと会話をするたびに、その内容を**デジタル日記（メモリ）**に書き込み、更新していきます。この日記のおかげで、AIは将来の質問に対してより正確に答えることができます。

攻撃の手法：
悪意のある攻撃者（ハッカー）は、AIの脳を破壊したりコードを書き換えたりする必要はありません。代わりに、彼らは普通にAIと会話をしながら、その中に巧妙に言葉を操った嘘を紛れ込ませます。AIは、これを通常の更新だと勘違いして、その嘘を日記に書き込んでしまいます。

その後、別の従業員が質問をしたとき、AIはその日記を読み、見つけた嘘を「真実」であると信じ込みます。そして、新しい従業員に対して間違った回答をしてしまいます。これが**「メモリ・ポイズニング（記憶汚染）」**と呼ばれる現象です。

既存の防御策は、話の内容（コンテンツ）だけをチェックするセキュリティガードのようなものです。しかし、賢い嘘つきは、偽の情報を極めて自然な言い回しで提示するため、ガードマンを欺いてしまいます。この論文では、誰がその記述を書いたのかを検証する方法がない限り、日記が安全であることを100%保証することはできないと主張しています。

解決策： SMSR（署名付きメモリと平滑化された検索）

著者らは、SMSRと呼ばれる2部構成の防御システムを提案しています。これは、**「信頼できるスタンプ」と「ランダムな陪審員」**を組み合わせたものだと考えてください。

パート1：信頼できるスタンプ（HMACプロベナンス）

比喩： AIが日記にページを書き込む際は、保存される前に、信頼できるマネージャーによって特別な、偽造不可能なワックスシール（暗号署名）で封印されなければならないと考えてください。
仕組み：
- もしハッカーが、通常のチャットを経由せずにデータベースを直接ハッキングして偽のメモリを注入しようとしても、彼らはシールを偽造することができません。システムはシールの欠如を検知し、そのメモリを即座に破棄します。
- 結果： これにより、「署名のない」攻撃（許可なくデータを忍び込ませようとするハッカー）を100%阻止します。

パート2：ランダムな陪審員（平滑化された検索 / Smoothed Retrieval）

問題： もしハッカーが「正当な従業員」だったらどうなるでしょうか？彼らは有効なシールを持っているため、パート1では彼らの偽のメモリが通ってしまいます。
比喩： AIが質問に答える必要がある場面を想像してください。日記の「すべて」を読み込む（そこには嘘が詰まっているかもしれません）代わりに、AIは運試しを行います。
1. まず、関連する大量のページ（例えば20ページ）を取り出します。
2. その中から、ランダムに少数の束（例えば5ページ）を選びます。
3. このプロセスを5回繰り返し、5つの異なる「ミニストーリー」を作成します。
4. 次に、「裁判官（別のAI）」に各ストーリーをチェックさせます。「このストーリーは真実を語っているか、それとも嘘か？」と。
5. そして、多数決を取ります。もし5つのストーリーのうち3つが「これは嘘である」と判断すれば、システムはその嘘を無視します。
なぜ機能するか： ハッカーが嘘を植え付けたとしても、その嘘が「すべての」ランダムなページの束に含まれることを保証することはできません。もし嘘が5つのサンプルのうち1つか2つにしか現れなければ、正直な多数派が勝利します。
「証明された」部分： 著者らは、システムが失敗する確率を正確に算出するための数学的計算を行いました。彼らは、「AIが誤った回答をする確率は10.4%未満である」と断言できます。これが「セキュリティ証明書」です。

シンプルに解説する重要概念

1. 「一貫した少数派」の罠

罠：あるグループの人々に質問をしたとき、3人がそれぞれ少しずつ異なる「わかりません」という答えを出している一方で、2人が「全く同じ」偽の答えを出したとします。単純な投票を行うと、単にその「言葉の並び」が最も一般的であったという理由だけで、偽の答えが選ばれてしまう可能性があります。
解決策： SMSRは「言葉」に対して投票するのではなく、「判定（バーディクト）」に対して投票します。裁判官AIは意味を読み取ります。たとえ偽の答えが言葉として異なっていても、裁判官はそれらがすべて「悪意的（Malicious）」であることを見抜きます。正直な「わかりません」という答えは、すべて「安全（Safe）」とみなされます。投票は特定の言葉ではなく「安全性の判定」を集計するため、偽の答えは敗北します。

2. コスト

この高いレベルのセキュリティを得るためには、システムはより多くの労力を必要とします。AIに1つの質問をして1つの答えを得る代わりに、5回質問し、さらに裁判官に答えをチェックさせるために5回依頼する必要があります。
トレードオフ： 約10倍の計算能力（およびわずかな追加コスト）が必要になりますが、これによりAIが嘘に騙されることを防げます。論文では、これは重要なビジネス上の意思決定において価値があることだと述べています。

論文の実際の結果

著者らは、15種類の異なるビジネスシナリオ（経費規定やセキュリティルールなどの確認）でテストを行いました。

ハッカーの阻止： 有効なシールなしで偽のデータを注入しようとしたハッカーに対し、システムは**100%**阻止しました。
巧妙な従業員の阻止： 正当なユーザー（有効なシールを持つ）が嘘を注入しようとした場合、SMSRは、大規模で現実的なテストにおいて、攻撃の成功率をほぼ100%から約8%へと減少させました。
数学的整合性： 実際の失敗率は、数学的な「ワーストケース」の予測値（10.4%）よりも低い（8%）数値となり、セキュリティ証明が機能していることが証明されました。
実世界テスト： ハッカーがトリッキーな質問によって、AI自身に「毒（嘘）」を日記に書き込ませるように仕向けた場合でも、この防御策は機能し、成功率を65%から5%へと低下させました。

まとめ

この論文は、**「公証された日記」と「ランダムな陪審員」**を組み合わせたようなシステムを紹介しています。単に悪い言葉をフィルタリングするだけでは不十分であり、メモリの作成者を検証し、ランダム性を用いて悪いメモリを希釈する必要があることを数学的に証明しています。これにより、たとえ賢いハッカーが内部に侵入したとしても、AIに危険な助言をさせることは困難になります。

技術要約：SMSR – 持続的なLLMエージェントシステムにおけるランタイム・メモリ・ポイズニングに対する認定された防御

1. 問題提起：マルチセッション・メモリ・ポイズニング (MSMP)

エンタープライズ環境における検索拡張生成（RAG）エージェントは、ユーザーセッションを横断して蓄積される持続的なメモリ・ストアに依存することが増えています。この永続性は、新たな攻撃表面を生み出します。すなわち、アドバーサリ（従業員、顧客、または侵害されたツールとして振る舞うもの）が、巧妙に細工されたメモリを注入することで、将来のセッションにわたって無期限に残留させることが可能になります。これらの注入されたエントリが一度検索されると、モデルの重みやアプリケーションのコードを変更することなく、将来のクエリに対するエージェントの挙動を誤った方向へと誘導できてしまいます。

本論文は、**マルチセッション・メモリ・ポイズニング（MSMP）**という脅威を特定しています。これは、アドバーサリが将来のユーザークエリと意味的に一致するメモリを注入し、エージェントに悪意のある、あるいは不正確な回答を出力させる攻撃です。既存の防御策は不十分です：

静的コーパス防御（例：RobustRAG、ReliabilityRAG）は、オフラインでインデックス化された固定の知識ベースを想定しており、アドバサリがエージェントの通常の書き込みパスを通じて実行時にデータを注入する場合に対応できません。
ヒューリスティック・フィルタ（例：キーワード・ブラックリスト、エントロピー・チェック、意味的異常検知）は、正当なポリシー更新を模倣した流暢かつエンタープライズ形式のテキストによって回避可能です。
コンセンサスに基づくヒューリスティック（例：A-MemGuard）は、形式的なセキュリティ保証を欠いており、注入戦略を適応させる持続的なアドバサリによって打破される可能性があります。

決定的なことは、既存の防御策の中に、適応的なランタイム・メモリ・ポイズニングに対して形式的なセキュリティ証明書（攻撃成功率に関する数学的な境界）を提供するものは存在しないということです。

2. 手法：署名付きメモリと平滑化された検索 (SMSR)

著者らは、MSMPに対する認定された堅牢性の境界を提供する、2つのコンポーネントからなる防御メカニズムであるSMSRを提案しています。

コンポーネント1：HMACプロベナンス・タギング（書き込み時の境界）

署名のないアドバサリ（直接データベースへのアクセス権はあるが、認証資格情報を持たない者）に対処するため、SMSRは書き込み時に暗号学的な境界を実装します。

メカニズム： すべての正当なメモリ・エントリには、サーバー側の秘密鍵（ $K$ ）を用いたHMAC-SHA256署名がタグ付けされます。
検索： クエリ時には、システムは検索されたエントリのHMACタグを検証します。有効なタグを持つエントリのみが候補プールに受理されます。
セキュリティ： 標準的なHMACの仮定の下では、署名のないアドバサリは有効なタグを偽造できず、署名のない注入による攻撃成功率（ASR）を実質的に0%に抑えることができます。

コンポーネント2：ランダム化されたメモリ・アブレーションと判定ベースの集計（認証済みアドバサリ）

認証済みアドバサリ（署名付きメモリを書き込むことができる正当なユーザー）に対処するため、SMSRは平滑化された分類（smoothed classification）に類似したランダム化防御を採用しています。

オーバーフェッチ： クエリに対し、システムは検証済みの候補から大きなプール $m$ を取得します（ここで $m > k$ であり、 $k$ は標準的なコンテキストサイズです）。
ランダム化されたアブレーション： システムは $n_{runs}$ 回の独立した試行を実行します。各試行では、 $m$ 個の候補から $k$ 個のエントリを（非復元抽出により）一様にランダムにサンプリングします。
判定ベースの集計： LLMジャッジが各試行で生成されたレスポンスを評価し、判定（例：正しい、悪意がある、どちらでもない）を返します。最終的な出力は、テキスト文字列そのものではなく、判定の多数決によって決定されます。
理論的根拠： このアプローチは、サンプリングされたコンテキストの過半数がアドバーサリアルなエントリを含む確率を制限するために、超幾何分布に基づいています。

理論的貢献

不可能性の結果（定理1）： 著者らは、検索時のみに動作する決定論的かつプロベナンス（由来）のないフィルタは、適応的なアドバサリに対して非自明なセキュリティ証明書を提供できないことを証明しました。これにより、コンポーネント1の書き込み時プロベナンスの必要性が示されました。
認定された堅牢性の境界（定理2）： コンポーネント2のために、サイズ $m$ のプール内に $t$ 個のアドバーサリアルなエントリが存在する場合の、悪意のある出力が発生する最大確率（ $\delta$ ）を定義する形式的な超幾何学的証明書が導出されました。
一貫したマイノリティ効果（CME）： 著者らは、アドバーサルのレスポンスはテキスト的に一貫している一方で、正当なレスポンスは多様である（パラフレーズのバリエーション）ために、文字列ベースの多数決が失敗するという落とし穴を定式化しました。SMSRは、文字列の同一性ではなく意味的な正当性をカウントする判定ベースの集計を用いることで、これを軽減します。

3. 主な貢献

形式的な定義： MSMP脅威モデルと、持続的なLLMエージェント・メモリ・システムにおける最初の $(t, \delta)$ -セキュリティ定義の導入。
不可能性の証明： プロベナンスのない防御策は、適応的な注入に対して認定（サーティファイド）できないことの証明。
SMSRの構築： HMACプロベナンスと、形式的な証明書を備えたランダム化アブレーションを組み合わせた実用的な防御。
CMEの特性評価： 一貫したマイノリティ効果（CME）を定式化および定量化し、判定ベースの集計がなぜ必要なのかを示した。
実証的検証： 15のエンタープライズ・シナリオと3,150回の反復試行にわたる広範な評価。

4. 実験結果

評価は、プロダクション規模のテストのための20シード・メモリ・ストアと、小規模評価のための10+シード・ストアを使用し、15のエンタープライズ知識ベース・シナリオ（金融、コンプライアンス、IT、人事）に対して行われました。

署名なし攻撃（コンポーネント1）： SMSRは、ヒューリスティック・フィルタを回避するように設計された「バイパス」攻撃を含む、すべての署名なし注入バリアントにおいて、ASRを（防御なしのベースラインの93–100%から）**0%**に減少させました。
認証済み攻撃（コンポーネント2）：
- プロダクション規模 ( $m=20, t=1$ )： SMSRは、ASRを93–100%から8.0%（95%信頼区間 [5.8%, 10.9%]）に減少させました。この結果は、理論的な最悪ケースの境界である $\delta = 10.4\%$ （ $n_{runs}=5$ の場合）を十分に下回っています。
- 小規模スケール ( $m'=11, t=1$ )： ASRは37.8%（95%信頼区間 [33.4%, 42.3%]）であり、証明書の境界である $\delta = 41.5\%$ を下回っています。
- フラッディング・バリアント： 複数のパラフレーズされた注入が行われるフラッディング・シナリオでは、ASRは理論的境界に接近し、証明書のタイトネス（緊密性）が確認されました。
ヒューリスティックとの比較： A-MemGuard型のコンセンサス・ベースラインは、特定の20シード・テストにおいて同等の経験的ASR（3.8% vs 8.0%）を達成しましたが、形式的な証明書は提供しませんでした。SMSRの相違点は、数学的な保証を提供している点にあります。
エンドツーエンドの検証： エージェント自身が毒を注入した（MINJA攻撃ベクトルを模倣）クエリ専用攻撃において、SMSRはASRを65.3%から**5.3%**に減少させました。
有用性： コンポーネント1は、クリーンなクエリに対して90%の有用性を維持しました。統合された防御（コンポーネント1および2）は、セキュリティ保証のために5%のコストを支払うことで、85%の有用性を維持しました。
ジャッジの信頼性： HaikuとSonnetモデル間のジャッジ間一致度は高く（ $\kappa = 0.955$ ）、判定集計の信頼性が確認されました。

5. 意義と主張

本論文は、持続的なLLMエージェント・システムにおけるランタイム・メモリ・ポイズニングに対する初の形式的に認定された防御を提示していると主張しています。その意義は以下の通りです：

ヒューリスティックを超えて： 経験的な観察や静的な仮定に依存する従来の作業とは異なり、SMSRは攻撃成功の確率（ $\delta$ ）に関する数学的な保証を提供します。
メモリの動的な性質への対処： 本手法は、静的なコーパス防御が機能しない「ライブ・アペンドオン（追記型）」の性質を持つエージェント・メモリの設定を明確にターゲットとしています。
プロベナンスの必要性の証明： 不可能性の証明により、書き込み時の暗号学的証明がなければ、検索時のフィルタリングだけで認定（サーティファイ）することはできないことが確立されました。
実用的なデプロイ可能性： 本システムは既存のRAGアーキテクチャに対するドロップイン・ラッパーとして設計されており、基礎となるLLMや埋め込みモデルを変更する必要はなく、計算オーバーヘッドも管理可能な範囲（ $n_{runs}=10$ の場合、クエリあたり約10回のAPIコール）に収まっています。

著者らは、SMSRが限定的なアドバサリに対してMSMP脅威を効果的に緩和し、LLMアプリケーション（特にOWASP LLM08ポイズニングのサブ問題に対処するもの）のための包括的なセキュリティスタックに向けた基礎的な一歩を提供すると結論付けています。

問題点： 「毒された日記」