🤖 AI

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

本文介绍了 SMSR，这是首个通过结合基于 HMAC 的溯源验证、随机记忆消融以及基于裁决的多数投票机制，来为持久性 LLM 智能体系统提供针对多会话记忆投毒（MSMP）的认证鲁棒性防御机制，从而有效中和未签名及已认证的记忆注入攻击。

原作者： Tarun Sharma

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Tarun Sharma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《SMSR: 针对持久化 LLM 智能体系统中运行时内存投毒的认证防御》的简化版解释，采用了类比说明法。

问题所在：“被投毒的日记”

想象一个智能办公室助手（AI 智能体），它通过记住过去的对话、公司政策和事实来帮助员工。它维护着一本数字日记（记忆），每当有人与其交谈时，它就会更新这本日志。这本日志能帮助 AI 在未来更准确地回答问题。

攻击方式：
一名坏人（黑客）不需要攻破 AI 的大脑或重写其代码。相反，他们只需以正常的方式与 AI 交谈，但在对话中悄悄混入精心设计的虚假谎言。AI 认为这是正常的更新，于是将这些谎言写进了日记。

稍后，当另一名员工提问时，AI 阅读日记，发现了那个虚假的谎言，并将其视为真理。随后，它会向新员工提供错误的答案。这被称为**“内存投毒”（Memory Poisoning）**。

现有的防御机制就像是一个只检查你说话内容的安全警卫。但聪明的骗子可以把假新闻说得听起来完全正常，从而骗过警卫。本文认为，如果不建立一种验证“是谁写下这条记录”的方法，你就永远无法百分之百确定日记是安全的。

解决方案：SMSR（带平滑检索的有签名记忆）

作者提出了一个名为 SMSR 的两部分防御系统。你可以把它看作是**“安全印章”与“随机陪审团”**的结合。

第一部分：安全印章 (HMAC 溯源)

类比： 想象 AI 在日记中写的每一页都必须由一位受信任的经理盖上特殊的、不可伪造的蜡封（加密签名）后才能保存。
工作原理：
- 如果黑客试图通过直接攻击数据库（而不经过正常的聊天流程）来注入虚假记忆，他们无法伪造这个印章。系统会发现缺失印章，并立即丢弃该条记忆。
- 结果： 这能 100% 阻止“无签名”攻击（即试图在未经许可的情况下注入数据的黑客）。

第二部分：随机陪审团 (平滑检索)

问题： 如果黑客是一名合法的员工呢？他们拥有有效的印章，因此第一部分会让他们的虚假记忆进入系统。
类比： 想象 AI 需要回答一个问题。它不是阅读整本日记（其中可能充满了谎言），而是玩一个概率游戏：
1. 它提取一大堆相关的页面（例如 20 页）。
2. 它随机抽取其中的一小部分（例如 5 页）进行阅读。
3. 它重复这个过程 5 次，创造出 5 个不同的“小故事”。
4. 它请一位“法官”（另一个 AI）来检查每个故事：“这个故事是在说真话还是在撒谎？”
5. 它进行多数票决。如果 5 个故事中有 3 个说“这是一个谎言”，系统就会忽略这个谎言。
为什么有效： 即使黑客植入了谎言，他们也无法保证这个谎言会出现在每一个随机抽取的页面组合中。如果谎言只出现在 5 个样本中的 1 或 2 个里，诚实的多数派就会获胜。
“认证”的部分： 作者通过数学计算证明了系统失效的可能性。他们可以说：“我们从数学上保证，AI 给错答案的概率低于 10.4%。”这就是一份“安全证书”。

核心概念简化

1. “一致性少数派”陷阱 (The "Consistent Minority" Trap)

陷阱： 如果你问一群人一个问题，其中 3 个人给出了略有差异的“我不知道”的回答，但另外 2 个人给出了完全相同的虚假答案，那么简单的投票可能会因为那个虚假答案的“字符串”最常见而选中它。
解决方法： SMSR 不对词汇进行投票；它对判定结果进行投票。法官 AI 会观察其含义。即使虚假答案的措辞不同，法官也会识别出它们都是“恶意的”。诚实的“我不知道”的回答都被视为“安全的”。投票统计的是安全性判定，而不是具体的词汇，因此虚假答案会失败。

2. 成本

为了获得这种高水平的安全保障，系统必须付出更多努力。系统不再是问 AI 一个问题并得到一个答案，而是问 AI 5 次（使用不同的随机记忆），并要求法官检查 5 次答案。
权衡： 这需要大约 10 倍的计算能力（以及微小的额外费用），但它防止了 AI 被谎言误导。论文指出，对于重要的商业决策来说，这是值得的。

论文实际的研究结果

作者在 15 个不同的业务场景（如检查报销政策或安全规则）中测试了该系统。

拦截黑客： 当黑客尝试在没有有效印章的情况下注入虚假数据时，系统 100% 拦截了攻击。
拦截狡猾的员工： 当一名合法用户（拥有有效印章）试图注入谎言时，系统在一次大型现实测试中，将攻击成功率从接近 100% 降低到了约 8%。
数学证明成立： 实际的失败率（8%）低于数学上的“最坏情况”预测值（10.4%），这证明了安全证书是有效的。
现实世界测试： 即使黑客通过诱导 AI 写下谎言本身（通过一个巧妙的问题让 AI 将谎言写进自己的日记）来实施攻击，防御措施依然有效，将成功率从 65% 降至 5%。

总结

这篇论文介绍了一个既像**“公证日记”又像“随机陪审团”**的系统。它从数学上证明了，仅仅过滤坏词是不够的；你需要验证谁写下了记忆，并利用随机性来稀释坏记忆。这确保了即使聪明的黑客潜入其中，也无法轻易诱导 AI 提供危险的建议。

技术摘要：SMSR —— 针对持久化 LLM Agent 系统中运行时内存投毒的认证防御

1. 问题陈述：多会话内存投毒 (MSMP)

在企业环境中，检索增强生成 (RAG) Agent 越来越依赖于跨用户会话累积交互的持久化存储器。这种持久性创造了一个全新的攻击面：攻击者（以员工、客户或受损工具的身分）可以注入精心构造的记忆，这些记忆会无限期地存在。一旦被检索，这些被投毒的条目可以在不修改模型权重或应用程序代码的情况下，在未来的查询中重定向 Agent 的行为。

本文识别了多会话内存投毒 (MSMP) 威胁，即攻击者注入与未来用户查询语义匹配的记忆，导致 Agent 输出恶意或错误的响应。现有的防御措施并不充分：

静态语料库防御（如 RobustRAG、ReliabilityRAG）假设知识库是离线索引的固定集合，当攻击者通过 Agent 正常的写入路径在运行时注入数据时，这些防御会失效。
启发式过滤器（如关键词黑名单、熵检查、语义异常检测）容易被绕过，因为攻击者可以使用模仿合法政策更新的流利、企业级文本进行攻击。
基于共识的启发式方法（如 A-MemGuard）缺乏形式化的安全保证，并且容易被能够适应注入策略的持续性攻击者击败。

至关重要的是，目前尚无现有防御能针对自适应运行时内存投毒提供形式化安全证书（即对攻击成功率的数学界限）。

2. 方法论：带签名记忆的平滑检索 (SMSR)

作者提出了 SMSR，一种旨在为 MSMP 提供认证鲁棒性界限的两部分防御机制。

组件 1：HMAC 来源标记（写入时边界）

为了应对无签名攻击者（指拥有直接数据库访问权限但没有身份验证凭据的人），SMSR 在写入时实现了一个加密边界。

机制： 每个合法的记忆条目都使用服务器端密钥 ( $K$ ) 附加一个 HMAC-SHA256 签名标签。
检索： 在查询时，系统验证检索条目的 HMAC 标签。只有带有有效标签的条目才会被纳入候选池。
安全性： 在标准的 HMAC 假设下，无签名攻击者无法伪造有效的标签，从而有效地将无签名注入的攻击成功率 (ASR) 降低至 0%。

组件 2：基于判定聚合的随机化记忆消减（已认证攻击者）

为了应对已认证攻击者（可以写入签名记忆的合法用户），SMSR 采用了类似于平滑分类的随机化防御。

过度获取 (Over-fetching)： 对于一次查询，系统检索一个包含 $m$ 个已验证候选者的庞大池子（其中 $m > k$ ，此处 $k$ 为标准上下文大小）。
随机化消减 (Randomised Ablation)： 系统执行 $n_{runs}$ 次独立的试验。在每次试验中，系统从 $m$ 个候选者中均匀随机地抽取 $k$ 个条目（不放回抽样）。
基于判定的聚合 (Verdict-Based Aggregation)： LLM 裁判评估每次试验中生成的响应，并返回一个判定（例如：正确、恶意、两者皆非）。最终输出由判定的多数投票决定，而非文本字符串本身。
理论基础： 该方法依赖于超几何分布来界定采样上下文中包含对抗性条目的概率。

理论贡献

不可能结果（定理 1）： 作者证明，仅在检索时运行的无来源（provenance-free）确定性过滤器，无法针对自适应攻击者实现非平凡的安全证书。这使得组件 1 中的写入时来源机制成为必要。
认证鲁棒性界限（定理 2）： 推导出了一个用于组件 2 的形式化超几何证书，定义了在池大小为 $m$ 且包含 $t$ 个对抗性条目时，产生恶意输出的最大概率 ( $\delta$ )。
一致性少数效应 (CME)： 本文形式化了一个陷阱，即基于字符串的多数投票会失效，因为对抗性响应在文本上具有一致性，而良性响应则存在多样性（改写差异）。SMSR 通过使用基于判定的聚合来缓解这一问题，因为它统计的是语义正确性而非字符串相等性。

3. 核心贡献

形式化定义： 引入了 MSMP 威胁模型以及首个针对运行时 Agent 内存系统的 $(t, \delta)$ -安全定义。
不可能证明： 证明了缺乏来源信息的防御无法针对自适应注入实现认证。
SMSR 构建： 一种结合了 HMAC 来源和随机化消减并带有形式化证书的实用防御方案。
CME 特征化： 对一致性少数效应进行了形式化和量化，表明需要基于判定的聚合来中和该效应。
实证验证： 在 15 个企业场景和 3,150 次重复试验中进行了广泛评估。

4. 实验结果

评估在 15 个企业知识库场景（金融、合规、IT、HR）下进行，使用 20-seed 存储器进行生产规模测试，以及 10+seed 存储器进行小规模评估。

无签名攻击（组件 1）： SMSR 将攻击成功率 (AS-R) 从未防御基准中的 93–100% 降低到了所有无签名注入变体（包括旨在规避启发式过滤器的“绕过”攻击）的 0%。
已认证攻击（组件 2）：
- 生产规模 ( $m=20, t=1$ )： SMSR 将 ASR 从 93–100% 降低至 8.0% (95% CI [5.8%, 10.9%])。该结果安全地低于 $\delta = 10.4\%$ (在 $n_{runs}=5$ 时) 的理论最坏情况界限。
- 小规模 ( $m'=11, t=1$ )： ASR 为 37.8% (95% CI [33.4%, 42.3%])，低于证书界限 $\delta = 41.5\%$ 。
- 泛滥变体 (Flooding Variants)： 在泛滥场景（多个改写后的注入）中，ASR 接近理论界限，证实了证书的紧致性。
与启发式方法的比较： 虽然 A-MemGuard 式的共识基准实现了相当的经验 ASR（在特定的 20-seed 测试中为 3.8% vs 8.0%），但它没有提供形式化证书。SMSR 的区别在于提供了数学保证。
端到端验证： 在查询驱动的攻击中（Agent 自己编写了毒素，模拟 MINJA 攻击向量），SMSR 将 ASR 从 65.3% 降低到了 5.3%。
效用 (Utility)： 组件 1 在干净查询上保留了 90% 的效用。组合防御（组件 1 & 2）维持了 85% 的效用，这意味着为获得安全保证付出了 5% 的代价。
裁判可靠性： Haiku 和 Sonnet 模型之间的裁判一致性很高 ( $\kappa = 0.955$ )，证实了判定聚合的可靠性。

5. 重要性与主张

本文声称提出了首个针对持久化 LLM Agent 系统中运行时内存投毒的正式认证防御。其重要性在于：

超越启发式方法： 不同于以往依赖经验观察或静态假设的工作，SMSR 提供了一个关于攻击成功概率 ( $\delta$ ) 的数学保证。
应对内存的动态特性： 它专门针对 Agent 内存“实时追加式”的特性，在这种环境下，静态语料库防御会失效。
证明来源的必要性： 不可能结果表明，如果没有写入时的加密认证，任何检索时的过滤器都无法实现认证。
实际可部署性： 该系统设计为现有 RAG 架构的即插即用包装器，无需更改底层 LLM 或嵌入模型，且计算开销可控（对于 $n_{runs}=5$ ，每次查询约需 10 次 API 调用）。

作者得出结论，SMSR 有效缓解了 MSMP 威胁，为受限攻击者提供了防御，为构建全面的 LLM 应用安全栈（特别是针对 OWASP LLM08 投毒子问题）奠定了基础。