技術概要：MemLineage

問題定義

現代の LLM エージェントは、ユーザーセッションにわたってチャットログ、ツールの戻り値、および導出された観測値を蓄積するために、永続的なメモリストアに依存しています。このメモリは多段階のワークフローを可能にしますが、重要な攻撃対象領域となっています。最近の研究（AgentPoison、MINJA、MemoryGraft、Zombie Agents など）は、敵対者がエージェントのメモリに悪意のあるコンテンツを注入できることを示しており、これはセッション間で休眠状態となり、後で敏感なアクションをトリガーする指示として再出現する可能性があります。

特定された核心的な執行ギャップは、既存の防御策がメモリ洗浄に対処できないことです。高度な敵対者は、信頼できないソースに「材料」を仕込み、エージェントの通常の検索および要約ループが新しい派生エントリを生成できるようにします。この派生エントリはエージェント自身によって作成されるため、有効な暗号化署名を有し、署名のみの防御策に対しては benign なコンテンツと区別できません。その結果、エージェントは後でこの「洗浄された」エントリを取得し、信頼できない系譜に基づいて敏感なアクション（例：金融送金）を実行する可能性があり、管理の連鎖が破綻します。

現在のソリューションは、特定の限界に苦しんでいます：

• 署名のみのレイヤーは書き手を検証しますが、派生履歴を追跡できません。
• IFC ベースのプランナー（例：Fides）は計画中にラベルを執行しますが、LLM 派生ステップを跨ぐとそれらを失います。
• 検索フィルター（例：RAGPart）は、認証された主体を介して両方が到着する場合、benign な要約と洗浄されたペイロードを区別できません。
• 粗い防御策（例：Memory Sandbox）は、曝露後にすべての回想をブロックすることが多く、有用性を犠牲にします。

手法：MemLineage の設計

MemLineage は、メモリセキュリティをフィルタリング問題ではなく管理の連鎖の問題として扱うことで、この課題に対処します。すべてのメモリエントリに暗号化の由来と重み付けされた派生系譜を付与します。システムは 6 つのモジュールを中心に構築されています：

1. 由来メタデータ（M1）：すべてのエントリは、書き手主体、ソースハッシュ、コンテキストハッシュ、および帰属重みを伴う親エントリのリストを含む ProvEntry レコードです。
2. 暗号化バインディング（M2）：エントリは主体ごとに Ed25519 鍵を使用して署名されます。署名は、署名自身を除くすべてのフィールドの標準的な CBOR エンコーディングをカバーします。
3. 追加専用ログ（M3）：RFC 6962 形式の Merkel ログがエントリハッシュを記録します。削除は、履歴の書き換えを防ぐために署名された「トマストーン」マーカーを介して処理されます。
4. 系譜 DAG（M4）：エッジが LLM 媒介の派生を表す有向非巡回グラフです。各エッジ $(p, c)$ は、帰属アルゴリズムによって決定される重み $w(p, c) \in [0, 1]$ を持ちます。
   • 伝播規則：信頼は強エッジの最大値ルールを介して伝播します。エントリ $c$ は、$w(p, c) > \tau$（分類解除閾値）である場合、親 $p$ の信頼レベルを継承します。
   • 信頼できない経路の永続性（定理 1）：「外部」の祖先から現在のエントリへの経路が存在し、その経路上のすべてのエッジの重みが $\tau$ を超える場合、現在のエントリは「Derive-Untrusted（派生・信頼できない）」とラベル付けされます。
5. 検証者認識型検索（M5）：エントリが LLM プロンプトに結合される前に、M5 は署名、包含証明を検証し、構造的な信頼ラベル（例：[trust=DERIVED_UNTRUSTED]）付きでエントリをレンダリングします。
6. 敏感アクションゲート（M6）：ツール呼び出し（特にファイル書き込みや支払いなどの敏感なシンクへの呼び出し）を配信する前に、M6 はアクティブなプロンプトを検査します。パラメータの正当性が「Derive-Untrusted」または「External」の祖先に由来する場合、呼び出しは拒否されます。M6 はまた、権限修復をサポートしており、攻撃者由来のパラメータを信頼された由来からの値に外科的に置換できます。

システムは 3 つの帰属アルゴリズムをサポートします：

• Coarse（粗）：親が検索コンテキスト内にあった場合、重みは二値（1.0）となります。
• LmSelfEval：セカンダリ LLM 判事が意味的影響をスコアリングします（JSON 封筒によるプロンプトインジェクションに対して強化されています）。
• AttnAttr：ホワイトボックス注意分析（オープンウェイトモデルが必要）。

主要な貢献

1. 系譜ストレスワークロード：本論文は、「派生経由のスリーパー」攻撃モデルを導入します。直接注入とは異なり、このワークロードは信頼できないソースに材料を仕込み、LLM に悪意のあるペイロードを新しい署名付きエントリとして派生させることを強制します。これにより、署名のみの防御策と系譜認識型の防御策を分離します。
2. 形式的伝播規則：設計は信頼できない経路の永続性定理を形式化し、派生連鎖のすべてのエッジが「強い」（閾値 $\tau$ 以上）である場合、信頼できないラベルが連鎖の先端に伝播することを証明します。
3. 帰属アルゴリズムとトレードオフ：本論文は 3 つの帰属戦略を評価し、系譜閾値（$\tau$）と連鎖長さ（$K$）の相互作用を定量化します。単一のショット $\tau$ 測定では不十分であることを示しており、帰属の信頼性が減衰する条件下で安全性を維持するには、より深い連鎖にはより低い閾値が必要であることを実証しています。
4. エンドツーエンド評価ハarness：攻撃者の行動を固定し、主要な指標のために実際の LLM API 呼び出しを回避する、決定論的かつ再現可能な harness が提供されます。攻撃成功率（ASR）、有用性のベースライン、および系絡アブレーションに対して、バイト単位で同一の CI 検証済みアーティファクトを生成します。

結果

評価は、no_defense、sig_only_baseline（署名＋Merkel ログ、系絡なし）、および MemLineage（フルスタック）の 3 つの構成を比較します。

• 攻撃成功率（ASR）：

  • AgentPoison（トリガー依存）：sig_only_baseline と MemLineage の両方が 0.00 の ASR を達成します（署名が信頼できない書き手をブロックするため）。
  • MemoryGraft（検索汚染）：sig_only_baseline は失敗します（ASR 1.00）。エントリがエージェントによって署名されているためです。MemLineage は系絡を外部の祖先まで追跡することで 0.00 の ASR を達成します。
  • 派生経由のスリーパー：sig_only_baseline は失敗します（ASR 1.00）。派生エントリが有効に署名されているためです。MemLineage は信頼できないラベルを派生連鎖を通じて伝播させることで 0.00 の ASR を達成します。
  • 結論：MemLineage は、3 つの攻撃ファミリー全体で ASR をゼロに引き下げる唯一の構成です。

• パフォーマンス：

  • 操作あたりのオーバーヘッドはミリ秒未満です。書き込みホットパス（署名と Merkle ロギングを含む）の平均は約 214 µs、検証は約 82 µs です。これは典型的な LLM API 呼び出しのノイズフロアを十分に下回っています。

• 有用性（偽陽性）：

  • benign ワークフローにおいて、MemLineage は 1.00 の正当な配信率（偽陽性ゼロ）を達成します。派生・信頼連鎖と外部コンテンツの非敏感な回想を正常に許可します。
  • 権限修復：AgentDojo の銀行シナリオにおいて、権限修復を備えた MemLineage は攻撃の 100% をブロックしつつ、5/6 のペアで有用性を回復し、単純な拒否や再試行戦略を上回ります。

• 閾値感度：

  • $\tau \times K$ アブレーションは、減衰する帰属重み（例：$w_0=0.9, d=0.7$）の場合、$K=5$ ホップを許可するデプロイメントには $\tau \le 0.10$ が必要であることを示していますが、$K=1$ の測定では $\tau \le 0.30$ を示唆する可能性があります。

意義と主張

本論文は、MemLineage が有用な長期的メモリを維持しつつ、信頼できない系譜が敏感なアクションを承認するのを防ぐ微細な執行プリミティブを提供すると主張しています。

• 差別化：回想を完全に除去する粗い防御策とは異なり、MemLineage は派生メモリの有用性を維持しつつ、由来に基づいて敏感なアクションを厳格にゲートします。
• 完全性：評価されたシステムの中で、信頼ラベルの暗号化完全性、LLM 派生を跨ぐ系絡帰属、ラベルのセッション間永続性、およびエージェント派生エントリの網羅という 4 つの次元を同時にカバーしている唯一のシステムです。
• 謙虚さ：著者は、システムが LLM 推論重みの信頼性に依存しており（モデル自体のバックドアを検出できない）、最も強力な帰属アルゴリズム（AttnAttr）にはオープンウェイトモデルが必要であることを認めています。「強い親なし」のフォールバックは「Trusted（信頼）」にデフォルトしますが、敵対者がすべての帰属エッジを $\tau$ 以下に抑制した場合、これが悪用される可能性があります。ただし、JSON 封筒による強化はプロンプトインジェクションのリスクを軽減します。

本論文は、MemLineage が「コンテンツのフィルタリング」から「管理の連鎖の執行」へと防御パラダイムを転換し、安全で永続的な LLM エージェントへの実現可能な道を提供すると結論付けています。