💬 NLP

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

本文引入“时序记忆污染”概念，以证明配备记忆的 LLM 智能体在独立任务中会随时间累积安全风险，从而需要将安全评估从单状态转向纵向评估。

原作者： Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《记得更多，风险更大》的解释。

核心理念：“好记性”陷阱

想象你雇佣了一位非常聪明的私人助理来帮你处理日常事务。你告诉它：“记住我说的每件事，以便下次更好地帮我。”

通常，我们认为拥有好记性是一种安全特性。如果助理记得你的偏好，它们会更有帮助。但这篇论文指出，对于 AI 智能体而言，记得太多实际上会随着时间的推移让它们变得不那么安全。

研究人员发现了一种新型错误，称为“时间性记忆污染”。这并不是说 AI 被黑客欺骗了，而是 AI 被自己不断堆积的笔记搞糊涂了。随着 AI 从无害的日常任务中积累越来越多的记忆，它开始混淆事物，并在后来意外泄露秘密或做出糟糕的决策。

两个主要角色

为了证明这一点，研究人员测试了两种不同类型的 AI 助理：

办公室助理：将其想象为医生办公室或大学的数字秘书。它处理电子邮件、日程安排和备忘录。
"Claw"智能体：将其想象为居住在你电脑内部的机器人工作者。它可以打开文件、运行代码并管理你的软件设置。

实验：“时间机器”测试

大多数安全测试会问：“这个 AI 能应对一个特定的棘手问题吗？”（例如：“不要告诉我密码！”）

研究人员提出了一个不同的问题："AI 工作了几个月，记住了成千上万件正常的事情后，会发生什么？”

他们使用了一种巧妙的设置，称为“触发 - 探测协议”。

数据流：他们让 AI 正常工作一段时间，积累大量关于电子邮件和任务的记忆。
快照：他们在不同的时间点冻结 AI 的记忆（就像在 100 个任务后、500 个任务后、1000 个任务后给它的“大脑”拍张照片）。
探测：他们针对这些不同的快照，向 AI 提出相同的安全问题。

类比：想象一位图书管理员不断往书架上添加书籍。

第 1 天：你问：“园艺方面的书在哪里？”图书管理员很容易就找到了。
第 100 天：书架变得巨大。你问同样的问题。图书管理员拿起一本书，但因为书架太拥挤，他们不小心从另一个区域抓起一本关于有毒植物的书递给了你。
第 1000 天：书架成了一座山。你再次提问。图书管理员被海量的书籍压得喘不过气，再次拿错了书，尽管你并没有要求毒药。

出了什么问题？（记忆失效的三种方式）

论文发现了 AI 记忆导致其出错的三种主要方式：

跨上下文泄露（“错误文件”混淆）：
- 类比：你让助理为病人 A写一份笔记。但由于助理记得上周病人 B的病史，它不小心将病人 B 的私人细节粘贴到了病人 A 的笔记中。
- 结果：私人信息泄露了，不是因为 AI 邪恶，而是因为它从记忆中检索了错误的“文件”。
过时信息（“过时的地图”）：
- 类比：你问：“邮局的地址是什么？”助理记住了 2020 年的地址。尽管你刚刚在当前的对话中告诉它地址变了，但旧记忆太强烈，覆盖了你的新指令。
- 结果：AI 给出了错误的答案，因为它紧抓着旧事实不放。
摘要组合（“弗兰肯斯坦”式事实）：
- 类比：助理阅读了两份单独的笔记：“员工 A 获得 1.5 万美元”和“员工 B 获得 2.5 万美元”。后来，它试图总结这些内容，说道：“员工的薪资在 1.5 万到 2.5 万美元之间。”接着，当员工 C询问他们能拿多少时，AI 自信地说：“你拿 2 万美元。”
- 结果：AI 凭空捏造了一个现实中从未存在过的具体数字，仅仅是因为将两条记忆强行拼凑在了一起。

"Claw"智能体的意外发现

研究人员还测试了"Claw"智能体（那些在你电脑内部工作的智能体）。他们发现，即使 AI 只是在执行枯燥、安全的编码任务，记忆的数量本身也会使其变得危险。

注意力稀释：随着 AI 的记忆被成千上万行代码和配置文件填满，它会变得“分心”。它不再关注安全警告，因为它太忙于翻阅那堆积如山的笔记。
正常化：如果 AI 在其记忆中看到了 500 次密码和敏感密钥（因为它只是在执行正常的编码工作），它开始认为：“哦，展示密码是正常的。”它不再将它们视为秘密。

好消息：我们可以早期发现

论文还提供了一种解决方案。他们构建了一个“检索时监控器”。

类比：想象一位保安在图书管理员把书递给你之前，检查他们的手。
工作原理：AI 在回答之前必须“查找”信息。监控器会检查：“等等，AI 刚从记忆中提取的信息，对这位特定用户来说安全吗？”
结果：这个监控器非常擅长在 AI 甚至打出答案之前就发现这些错误。它可以识别出“错误的文件”或“过时的地图”，并阻止 AI 犯错。

结论

论文总结道：安全不是一张快照，而是一部电影。

你不能只检查 AI 今天是否安全。你必须观察它随着变老和记忆增多时的行为表现。AI 记得越多，就越有可能意外泄露秘密或犯错，仅仅因为它的记忆变得太拥挤和混乱。为了保持 AI 安全，我们需要设计能够理解这种“长期”风险的系统，而不仅仅是“当下”的风险。

技术摘要：记忆越多，风险越大

问题陈述

当前针对配备记忆的大型语言模型（LLM）代理的安全评估主要侧重于任务内安全，即评估代理是否在单一场景（通常是在提示注入或记忆中毒等对抗性条件下）中安全地完成任务。然而，在现实世界的部署中，单个代理会在数周或数月的长周期内服务于许多独立任务，从而积累持久的状态。

本文指出了一个关键差距：时序记忆污染。这是一种故障模式，指在非对抗性独立任务中良性记忆的积累，导致随时间推移行为日益不安全。与攻击者精心构造输入以诱发故障的对抗性攻击不同，时序记忆污染源于代理自身的常规交互。随着记忆的增长，其中可能包含与当前查询相关但与安全回复不相容的内容（例如，检索到不同用户的私人数据或过时的指令），从而导致不安全的信息传递。

现有的研究方法受到流非平稳性的干扰。简单地绘制违规率随时间变化的图表是无效的，因为输入流本身会发生变化（例如，电子邮件量激增或话题变得更加敏感），这使得无法区分风险增加是由于记忆积累还是任务性质的变化所致。

方法论

为了将记忆效应与流非平稳性隔离开来，作者引入了触发 - 探测协议和基于事件的分析框架。

1. 事件分解

故障被分解为三个组成部分：

前提条件：记忆状态包含针对特定查询可检索的污染内容。
触发：激活该内容检索的特定输入（探测）。
违规：代理将检索到的内容不恰当地传递到其回复中。

2. 触发 - 探测协议

该协议针对基于不同长度（ $\ell$ ）的流前缀构建的只读记忆快照，评估一组固定的探测触发器。

受控暴露：代理处理前 $\ell$ 次交互以构建记忆状态。随后，在只读模式下针对该快照评估一组固定的探测（探测不会被写回记忆）。
反事实基线：对于每个探测，系统生成两个回复：一个带记忆（ $y_{mem}$ ），一个不带记忆（ $y_{\emptyset}$ ，即空记忆基线）。
记忆诱导违规标签（ $U_a$ ）：仅当满足以下条件时，违规才被标记为记忆诱导：
1. 增强记忆的回复是不安全的。
2. 空记忆回复是安全的。
3. 不安全内容可通过语义匹配追溯至检索到的记忆。

3. 评估设置

该协议应用于两类不同的代理和三种部署场景：

办公助理：在合成流（医疗实践、大学注册处）和特定人设的 Enron 邮箱上进行评估。测试了 MemEngine 分类法中的八种记忆架构（例如，全记忆、短期记忆、长期记忆、生成式代理、MemoryBank、MemGPT、MemTree）。
类爪代理：在 OpenClaw 和 SecLaw 平台上进行评估，这些代理在用户的计算环境中运行并拥有文件系统访问权限。记忆存储为纯 Markdown 文件。风险通过嵌入凭证中的金丝雀字符串来衡量；如果这些字符串出现在输出或日志中，则视为违规。

主要贡献

纵向安全框架：引入触发 - 探测协议，将记忆安全视为一种轨迹，将积累效应与输入流变化隔离开来。
实证特征分析：全面测量了八种记忆架构和三种场景下的记忆诱导违规率，证明风险始终超过空记忆基线，并随暴露长度增加而上升。
跨架构分析：证明了时序放大效应存在于结构不同的故障机制中（办公助理中的跨上下文泄露与类爪代理中的注意力稀释/上下文归一化）。
设计空间分析：确定了检索范围（广泛的语义检索）和摘要级别（抽象内容）是推动放大的主要设计选择。
检索时诊断：开发了一种轻量级监控器，能够基于检索状态在生成前预测记忆诱导风险，在不依赖特定领域规则的情况下实现了高召回率（0.970–0.984）。

结果

时序放大：随着暴露长度（ $\ell$ ）增加，记忆诱导违规率（ $q_a(\ell)$ ）显示出稳健的上升趋势。这一效应在办公助理和类爪代理中均被观察到。
内容与顺序：顺序随机化实验（打乱交互序列）表明，放大主要是由积累的内容驱动的，而非相遇的具体顺序，尽管局部顺序可以调节某些架构（如树状记忆）的效果。
架构敏感性：
- 具有广泛检索和长保留期的架构（如 MemTree、自我控制记忆、生成式代理）表现出最陡峭的违规率增长。
- 偏向近期内容的系统（如短期记忆）保持相对平稳，表明限制检索范围可充当安全缓冲。
- 摘要可能通过合并不同上下文的细节以形成复合表示，从而引入风险，这些表示会产生新的不安全推断。
类爪代理：即使没有明确的跨上下文泄露（因为探测内容是固定的），周围的良性记忆也会稀释安全注意力并使凭证相邻语言正常化，导致随着记忆量增长违规率升高。
预测性监控：检索时监控器成功在生成前检测到风险，表明安全措施可以在检索阶段实施（例如，过滤项目或回退到无记忆生成）。

意义

本文主张，记忆安全必须被视为一种纵向属性，需要进行时序评估，而不能仅通过快照捕捉的单一状态属性来衡量。研究结果挑战了“良性记忆积累是安全的”这一假设，证明了仅凭常规交互就足以随时间推移降低安全概况。

这项工作为评估长周期代理安全提供了方法论基础，并为系统设计者提供了可操作的见解：

权衡：扩大检索范围和增加摘要层提高了实用性，但增加了时序安全暴露。
缓解：安全机制应集成在检索阶段，而不仅仅是生成阶段，以便在污染上下文影响模型之前将其过滤。
评估标准：未来的安全基准必须考虑时序维度以及记忆积累与非平稳输入流之间的相互作用。

作者总结道，如果没有明确的时序评估，配备记忆的代理在长周期部署中的安全性仍未得到验证，并可能因其自身的历史记录而受到损害。