💻 computer science

MemLineage: Lineage-Guided Enforcement for LLM Agent Memory

MemLineage 是一种面向大语言模型代理的密码学防御系统，它通过追踪记忆条目的来源与派生谱系来防止记忆投毒攻击，确保仅当敏感操作的依据未源自不可信来源时才予以授权。

原作者： Ciyan Ouyang, Rui Hou

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Ciyan Ouyang, Rui Hou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个 AI 智能体，它像一位非常乐于助人、但略显轻信的个人助理，随身携带一本笔记本（记忆），用来记录你的偏好、过往对话和任务。这本笔记本之所以强大，是因为它能让助理在数天或数周内串联起各种线索。然而，这本笔记本也是该助理最大的弱点。

MemLineage 是一套全新的安全系统，旨在保护这本笔记本不被精明的黑客欺骗。

以下是该论文如何用简单的类比来解释问题与解决方案：

问题：“假收据”骗局

目前，如果黑客能将恶意指令偷偷塞进助理的笔记本中，助理日后可能会执行该指令，即使该指令具有危险性（例如“将钱转给陌生人”）。

论文特别强调了一种隐蔽的诡计，称为**“通过派生实现的潜伏”**。

旧方法：黑客直接写下一张写着“窃取资金”的便条并藏入笔记本。一名简单的安保人员（仅依赖“签名”的防御机制）检查便条，发现它并非用户所写，便将其拦截。这很容易。
新诡计：黑客不直接书写便条。相反，他们在助理访问的网站上植入一个模糊且听起来无害的线索（例如，一篇关于“秘密银行账户”的故事）。
助理阅读该故事，进行总结，并用自己的笔迹写下一张外观干净的新便条：“我发现了一个关于秘密银行账户的引用。”
由于这张便条现在是用助理自己的笔迹书写的，简单的安保人员会想：“哦，这很安全！它来自我们内部！”于是允许它留在笔记本中。
稍后，黑客提出一个问题以触发这张便条，助理误以为这是有效的记忆，便执行了危险命令。

论文将这种现象称为**“记忆洗钱”**：将肮脏的、不可信的信息“清洗”得看起来干净且可信。

解决方案：MemLineage（“监管链”追踪器）

MemLineage 将助理的记忆视为一个高安全级别的证据柜，而不仅仅是一本笔记本。它增加了两层主要保护：

1. 数字指纹（密码学来源证明）

笔记本中的每一张便条都会获得一个独一无二、无法伪造的数字指纹（密码学签名）。这能确切证明谁写了它。如果便条来自不可信的来源（例如随机网站），系统会立即为其打上“红旗”标记。

2. 家谱（谱系）

这是该论文的重大创新。MemLineage 不仅查看谁写了便条，还会追溯信息的来源。

想象每张便条都附有一棵“家谱树”。
如果一张便条是对前一张便条的总结，系统会在它们之间画线连接。
系统会问：“这张外观干净的便条是否源自‘红旗’来源？”
规则：如果一张便条是“红旗”来源的“子代”，且连接足够紧密，那么这张子代便条将继承“红旗”标记，即使它是由助理书写的。

如何阻止攻击

当助理想要执行敏感操作（如发送资金）时，一名守门人会检查记忆：

检查签名：这张便条是否由用户或可信工具书写？
检查家谱树：这张便条是否有任何不可信的祖先？
裁决：如果便条的“家谱树”追溯至黑客的网站，守门人会说：“不行。” 即使便条表面看起来完全正常，它也会阻止该操作。

“神奇”特性

论文声称 MemLineage 之所以特殊，是因为：

它是隐形的：它给助理的思考过程增加的时间几乎可以忽略不计（不到一毫秒）。这就像增加了一个安全检查，速度快到你甚至察觉不到。
它是智能的：它不会仅仅因为信息来自不可信来源就一概拦截。它允许助理将此类信息用于无害用途（例如回答常识性问题），但会阻止其触发危险操作（例如转账）。
它能经受时间考验：即使黑客的原始便条被删除或深埋在历史记录中，“红旗”标记仍会永久附着在派生便条上，防止“潜伏”攻击日后苏醒。

结果

作者在受控的计算机模拟环境中，针对三种类型的黑客攻击测试了该系统。

没有 MemLineage：黑客100% 成功。
使用基础安保人员（仅依赖签名）：在“潜伏”攻击中，黑客依然100% 成功，因为便条看起来是干净的。
使用 MemLineage：黑客0% 成功。系统拦截了每一次尝试，包括那些隐蔽的“洗钱”攻击，既没有拖慢助理的速度，也没有阻碍无害任务。

简而言之，MemLineage 确保 AI 助理能够安全地记忆事物，它深知：即使某条信息看起来干净，只要其历史“肮脏”，它就不会让该信息造成危害。

技术摘要：MemLineage

问题陈述

现代大语言模型（LLM）智能体依赖持久化记忆存储，以跨用户会话累积聊天记录、工具返回结果及衍生观察。虽然这种记忆能力支持多步骤工作流，但它已演变为关键的攻击面。近期研究（如 AgentPoison、MINJA、MemoryGraft、Zombie Agents）表明，攻击者可以将恶意内容注入智能体的记忆中，这些内容可能在多个会话中潜伏，随后重新浮现为指令，触发敏感操作。

核心发现的安全缺口在于，现有防御机制无法处理记忆清洗（memory laundering）。精明的攻击者可以在不可信来源中植入“原料”，利用智能体正常的检索与摘要循环生成全新的衍生条目。由于该衍生条目由智能体自身撰写，因此带有有效的加密签名，使得仅依赖签名的防御机制无法将其与良性内容区分开来。因此，智能体可能会在后续检索此“已清洗”的条目，并基于不可信的谱系执行敏感操作（例如资金转账），从而破坏监管链。

当前解决方案存在以下具体局限性：

仅基于签名的层级验证写入者，但无法追溯衍生历史。
基于信息流控制（IFC）的规划器（如 Fides）在规划阶段强制实施标签，但在 LLM 衍生步骤中丢失这些标签。
检索过滤器（如 RAGPart）无法区分良性摘要与已清洗的有效载荷，如果两者均通过已认证主体传入。
粗略防御（如 Memory Sandbox）通常在暴露后阻止所有检索，从而牺牲了实用性。

方法论：MemLineage 设计

MemLineage 通过将记忆安全视为监管链（chain-of-custody）问题而非过滤问题来解决这一挑战。它为每个记忆条目附加加密来源证明和加权衍生谱系。该系统围绕六个模块构建：

来源元数据（M1）： 每个条目是一个 ProvEntry 记录，包含写入者主体、源哈希、上下文哈希，以及带有归属权重的父条目列表。
加密绑定（M2）： 条目使用每个主体的 Ed25519 密钥进行签名。签名覆盖除签名本身外所有字段的规范 CBOR 编码。
仅追加日志（M3）： 一个符合 RFC 6962 标准的默克尔（Merkle）日志记录条目哈希。删除通过签名的“墓碑”标记处理，以防止历史重写。
谱系有向无环图（M4）： 一个有向无环图，其中边代表 LLM 介导的衍生。每条边 $(p, c)$ $(p, c)$ 具有由归属算法确定的权重 $w(p, c) \in [0, 1]$ $w (p, c) \in [0, 1]$ 。
- 传播规则： 信任通过**强边最大值（max-of-strong-edges）**规则传播。如果 $w(p, c) > \tau$ （一个降级阈值），条目 $c$ 继承其父条目 $p$ 的信任级别。
- 不可信路径持久性（定理 1）： 如果从“外部”祖先到当前条目存在一条路径，且该路径上每条边的权重均超过 $\tau$ ，则当前条目被标记为“衍生 - 不可信（Derived-Untrusted）”。
感知验证器的检索（M5）： 在条目被拼接到 LLM 提示之前，M5 验证签名、包含性证明，并以结构化的信任标签（例如 [trust=DERIVED_UNTRUSTED]）渲染该条目。
敏感操作门控（M6）： 在分发工具调用（尤其是发往文件写入或支付等敏感接收器）之前，M6 检查活动提示。如果参数的理由源自“衍生 - 不可信”或“外部”祖先，则拒绝该调用。M6 还支持权限修复（Authority Repair），即它可以手术式地用来自可信来源的值替换源自攻击者的参数。

该系统支持三种归属算法：

粗略（Coarse）： 如果父条目在检索上下文中，则权重为二进制的 1.0。
LmSelfEval： 一个辅助 LLM 裁判对语义影响力进行评分（通过 JSON 信封硬化以抵御提示注入）。
AttnAttr： 白盒注意力分析（需要开放权重模型）。

主要贡献

谱系压力工作负载： 本文引入了一种“通过衍生潜伏（sleeper-via-derivation）”的攻击模型。与直接注入不同，该工作负载在不可信来源中植入原料，迫使 LLM 将恶意有效载荷衍生为全新的签名条目。这将仅基于签名的防御与基于谱系的防御区分开来。
形式化传播规则： 该设计形式化了不可信路径持久性定理，证明如果衍生链中的每条边都是“强”的（高于阈值 $\tau$ ），则不可信标签将传播至链的末端。
归属算法与权衡： 本文评估了三种归属策略，并量化了谱系阈值（ $\tau$ ）与链长（ $K$ ）之间的相互作用。研究表明，单次 $\tau$ 测量是不够的；更深的链需要更低的阈值，以在归属置信度衰减的情况下保持安全性。
端到端评估框架： 提供了一个确定性、可复现的框架，固定攻击者行为并避免在核心指标中使用真实的 LLM API 调用。它生成字节级一致的 CI 验证工件，用于攻击成功率（ASR）、实用性基线和谱系消融实验。

结果

评估比较了三种配置：no_defense（无防御）、sig_only_baseline（签名 + 默克尔日志，无谱系）和 MemLineage（完整栈）。

攻击成功率（ASR）：
- AgentPoison（触发绑定）： sig_only_baseline 和 MemLineage 均实现 0.00 的 ASR（签名阻止了不可信写入者）。
- MemoryGraft（检索污染）： sig_only_baseline 失败（ASR 为 1.00），因为条目由智能体签名。MemLineage 通过追溯谱系至外部祖先，实现了 0.00 的 ASR。
- 通过衍生潜伏（Sleeper-via-Derivation）： sig_only_baseline 失败（ASR 为 1.00），因为衍生条目是有效签名的。MemLineage 通过将不可信标签沿衍生链传播，实现了 0.00 的 ASR。
- 结论： MemLineage 是唯一能在所有三类攻击家族中将 ASR 降至零的配置。
性能：
- 每次操作的开销低于毫秒级。写入热路径（包括签名和默克尔日志记录）平均约为 214 微秒，验证约为 82 微秒。这远低于典型 LLM API 调用的噪声底限。
实用性（误报）：
- 在良性工作流中，MemLineage 实现了 1.00 的合法分发率（零误报）。它成功允许衍生 - 可信链以及对外部内容的非敏感检索。
- 权限修复： 在 AgentDojo 银行场景中，带有权限修复的 MemLineage 阻止了 100% 的攻击，同时在 5/6 的配对中恢复了实用性，表现优于简单的拒绝或重试策略。
阈值敏感性：
- $\tau \times K$ 消融实验表明，对于衰减的归属权重（例如 $w_0=0.9, d=0.7$ ），允许 $K=5$ 跳的部署需要 $\tau \le 0.10$ ，而 $K=1$ 的测量可能建议 $\tau \le 0.30$ 。

意义与主张

本文主张 MemLineage 提供了一种细粒度执行原语，在保留有用的长期记忆的同时，防止不可信谱系授权敏感操作。

差异化： 与完全移除检索的粗略防御不同，MemLineage 在基于来源严格门控敏感操作的同时，保持了衍生记忆的实用性。
完整性： 它是唯一被评估的系统，共同涵盖了四个维度：信任标签的加密完整性、LLM 衍生过程中的谱系归属、标签的跨会话持久性，以及对智能体衍生条目的覆盖。
谦逊性： 作者承认，该系统依赖于 LLM 推理权重的可信度（它无法检测模型本身的后门），并且最强的归属算法（AttnAttr）需要开放权重模型。“无强父”的后备方案默认为“可信”，如果攻击者将所有归属边抑制在 $\tau$ 以下，这可能会被利用，尽管 JSON 信封硬化缓解了提示注入风险。

本文结论认为，MemLineage 将防御范式从“过滤内容”转变为“执行监管链”，为安全、持久的 LLM 智能体提供了一条可行路径。