🤖 AI

Deployment-Time Memorization in Foundation-Model Agents

本文引入了“部署时记忆”（deployment-time memorization）作为评估基础模型智能体的一个关键框架，并通过 LongMemEval 基准测试证明，虽然激进的摘要处理能显著降低对抗性提取风险且不牺牲个性化，但它同时也暴露了一种“删除-保真度失效”（deletion-fidelity failure）现象，即除非实施全流程清除，否则派生的记忆层级仍会保留可恢复的残留物。

原作者： Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个不仅能与你进行一次性聊天，而是能记住你数月甚至数年生活的智能助手。它记得你偏好飞机的靠窗座位，或者你使用 Python 编程。这就是一个“基础模型智能体”（Foundation-Model Agent）。

你分享的这篇论文研究了这些长期记忆系统的一个关键问题：我们如何平衡既要记住对你有用的信息，又要确保黑客无法窃取你的秘密，并确保当你说“忘掉那个”时，它真的能永远消失？

以下是利用简单的类比对他们研究结果进行的拆解。

1. 问题所在：“开卷书” vs. “锁着的日记本”

把智能体的记忆想象成一个图书馆。

旧方式（参数化记忆）： 以前，我们担心秘密会被刻进 AI 的大脑（其训练权重）中，就像刻在石头上的食谱一样。
新问题（部署时记忆）： 现在，AI 有一个单独的“笔记本”（外部记忆），它会在上面记录你的事实。论文认为，这个笔记本是一个新的、独特的场所，可以在其中存储、泄露或遗忘秘密。

研究人员想要寻找“金发姑娘区”（Goldilocks Zone，意指完美的平衡点）：一个既能通过回答你的问题来提供帮助，又足够安全以至于黑客无法阅读你的日记，并且足够干净以至于如果你要求删除一个秘密，它能真正消失的记忆系统。

2. 他们调节的三个“旋钮”

团队测试了三种不同的“旋钮”或设置，以观察它们如何改变记忆系统：

摘要化（“编辑员”）： AI 不再保存你说的每一个字（原始数据/Raw），而是可以只保存关键事实（关键事实/Key-fact）或一句话总结（一句话总结/One-sentence）。
- 类比： 想象一位书记员。
  - 原始（Raw）： 书记员逐字逐句地抄录你的整场对话。
  - 关键事实（Key-fact）： 书记员只记录重要的日期和姓名。
  - 一句话总结（One-sentence）： 书记员针对对话写下一个标题。
检索广度（“搜索范围”）： 当你提问时，AI 会从图书馆中提取多少条笔记来辅助回答？
- 类比： 你是只看顶部的 1 条笔记，还是从书架上取出顶部的 25 条笔记？
删除模式（“橡皮擦”）： 当你说“忘掉这个”时，系统是如何删除它的？
- 类比： 它是直接把页面从笔记本里撕掉？还是把整本书烧掉？或者是用“已删除/REDACTED”来替换那些文字？

3. 重大发现

发现 A：摘要化是“隐私护盾”

最令人惊讶的发现是，对你的数据进行摘要处理，可以在不损害 AI 帮助你的能力的前提下，大大降低黑客窃取信息的风险。

结果： 当 AI 存储“关键事实”而非原始文本时，它将黑客窃取秘密的可能性降低了 76%（在一种模型上）和 64%（在另一种模型上）。
代价： AI 仍然几乎完美地记得你。它并没有失去它的“个性”。
类比： 把它想象成一个洗衣服务。如果你把脏衣服（原始数据）交给 AI，小偷可以轻易找到你的地址标签。如果 AI 把它们洗净并折叠成整齐的一堆（摘要），地址标签就消失了，但衣服依然干净可用。
关键点： 一旦秘密被“洗掉”（摘要化），即使增加检索范围（增加搜索范围），也不会把秘密找回来。秘密已经从系统中消失了。

发现 B：“机器中的幽灵”（删除失败）

这是论文中最关键的警告。删除一个文件并不总是意味着它已经消失了。

问题： AI 创建了不同“层级”的记忆。它拥有**原始（Raw）文本，但也会基于这些文本创建派生（Derived）**摘要。
失败情况： 如果你要求 AI “忘记”一个秘密，而系统只删除了原始文本，那么摘要版本往往会留存下来。
- 统计数据： 在大约 20% 的案例中，即使在“删除”了原始笔记后，黑客仍然可以通过隐藏在摘要笔记中的方式找到该秘密。
类比： 想象你告诉秘书扔掉一封信。她把信扔进了垃圾桶（原始删除），但她已经在自己的私人日记里写下了信的内容（派生摘要）。如果你不烧掉日记，秘密依然存在。
解决方法： 要真正删除某物，你必须要么清除整个流水线（既烧掉日记也烧掉信件），要么使用**“墓碑”（Tombstone）**方法（在每一份笔记的版本中都用一个巨大的红色“已删除/REDACTED”印章替换掉秘密）。只有这些方法才能让秘密 100% 消失。

4. 结论：一种衡量记忆的新方式

论文得出结论，我们不能再将 AI 记忆视为一个简单的“开/关”开关。它是一个包含权衡的复杂系统。

“隐私-效用前沿”（Privacy-Utility Frontier）： 这是一种高级说法，意味着存在一条平衡线。你既想要高“效用”（AI 能帮你），又想要低“泄露”（黑客无法窃取）。
获胜策略： 论文建议最好的配置是：
1. 使用关键事实摘要化（以“洗掉”秘密）。
2. 使用层级感知删除（Tier-Aware Deletion）（以确保“烧掉”的是日记，而不只是信件）。

简而言之： 如果你要构建一个能记住你的智能助手，你必须设计出能够通过摘要化你的数据来保护它，并且在要求它忘记时，必须设计成能删除所有相关内容（而不只是原始文件）。否则，你的秘密可能对你的眼睛是安全的，但仍会隐藏在 AI 记忆的阴影之中。

技术摘要：部署时记忆在基础模型智能体中的研究

问题陈述

基础模型智能体正在从无状态助手演变为能够跨交互维持持久用户记忆的长效系统。虽然这种能力增强了个性化，但它从根本上改变了隐私格局。不同于传统的参数化记忆（数据编码在模型权重中并通过提取攻击暴露），持久化智能体将用户事实存储在外部记忆流水线中。这些流水线执行写入、摘要、检索并基于用户数据构建响应，从而创造了一个新的攻击面。

现有研究主要集中于审计固定的记忆配置或研究参数化记忆。然而，目前缺乏关于记忆设计选择如何共同塑造以下权衡关系的特征研究：

个性化效用 (Personalization Utility)： 智能体召回用户偏好的能力。
提取风险 (Extraction Risk)： 对手恢复私密信息的可能性。
删除保真度 (Deletion Fidelity)： 系统在用户请求删除时，真正擦除信息（包括派生制品，如摘要、嵌入）的能力。

本文识别并研究了这一缺失的领域，称之为部署时记忆 (deployment-time memorization)。

研究方法

1. 系统模型

作者将智能体记忆建模为一个**“写入–检索–响应”流水线**：

写入 (Write)： 用户会话数据被存储在长期记忆中。
检索 (Retrieve)： 记忆块通过余弦相似度被检索，并被前置到智能体的上下文（context）中。
响应 (Respond)： 基础模型根据检索到的上下文生成响应。

2. 实验设计（“控制旋钮”）

本研究对三个特定的记忆设计参数进行了扫描：

摘要激进程度 ( $S$ )： 控制存储的内容。
- $S=0$ ：原始用户轮次（Raw user turns）。
- $S=1$ ：从轮次中提取的关键个人事实。
- $S=2$ ：单句会话摘要。
检索广度 ( $k$ )： 注入上下文的记忆块数量 ( $k \in \{1, 3, 6, 10, 25\}$ )。
删除模式 (Deletion Mode)： 一个五级阶梯，规定系统如何处理“遗忘”请求：
1. 无操作 (No-op)： 控制组（无变化）。
2. 仅原始数据 (Raw only)： 仅清除原始文本；嵌入和摘要保持不变。
3. 原始数据 + 重新摘要 (Raw + Resummarize)： 清除原始数据并重新嵌入；受影响的会话根据清洗后的输入进行重新摘要。
4. 完全清除 (Full Purge)： 所有层级均被清除/重新嵌入；空块被丢弃。
5. 墓碑机制 (Tombstone)： 在每一层级中用 [REDACTED] 替换金丝雀标记（Canary），并重新嵌入。

3. 指标

个性化召回率 (Personalization Recall, PR)： 衡量智能体是否能正确回答需要用户上下文的问题（基于余弦相似度 > 0.50 或原文内容词覆盖率）。
对抗性提取率 (Adversarial Extraction Rate, AER)： 在三种探测类型下，高熵“金丝雀”标记（注入到先前会话中的标记）被逐字恢复的比例：
- 直接探测 (Direct)： 明确询问秘密。
- 间接探测 (Indirect)： 询问智能体记住了关于用户的什么。
- 越狱 (Jailbreak)： 开发者模式或调试转储指令。
隐私–效用 AUC (Privacy–Utility AUC, PUA)： 经验可实现召回率包络线下的面积，总结了在实现更高召回率的同时降低提取风险的边界。
遗忘残留得分 (Forgetting Residue Score, FRS)： 衡量删除后跨记忆层级的泄漏情况（原始数据 vs. 摘要）。非零的 FRS 表示尽管进行了删除，秘密仍然可以被恢复。

4. 设置

实验在 LongMemEval 基准测试（Oracle 分割）上进行，使用：

模型： Gemma 3 12B（本地，开源权重）和 GPT-4o-mini（闭源权重）。
数据： 50 个实例，其中注入了高熵金丝雀标记到非证据性的用户轮次中，以将部署时记忆与训练暴露区分开来。

核心结果

1. 隐私–效用前沿

原始记忆 ( $S=0$ )： 没有清晰的操作点。增加检索广度 ( $k$ ) 会提高效用 (PR)，但也会线性增加泄漏 (AER)。对于 Gemma 3 12B，随着 $k$ 的增加，PR 从 0.42 上升到 0.66，而 AER 从 0.70 上升到 0.86。
摘要 ( $S=1$ )： 起到了“洗白”机制的作用。
- 泄漏减少： 与原始记忆相比，关键事实摘要使 Gemma 3 12B 的 AER 降低了 76%，GPT-4o-mini 的 AER 降低了 64%。
- 效用保持： 这种降低是以极小的 PR 代价换取的（Gemma 约 5%，GPT 约 2%）。
- 检索中立性： 一旦内容被压缩（摘要化），增加 $k$ 不再能恢复泄漏。AER 在所有 $k$ 值下保持平稳，这表明如果秘密不在摘要中，即使检索更多块也无法恢复它。
探测行为： 在原始记忆下，直接探测和间接探测产生不同的提取率。在摘要模式下，这些速率都坍缩到了相同的低水平，这表明摘要在流水线层面控制了事实的可恢复性，且独立于底层模型的越狱抗性。

2. 删除保真度与残留

“仅原始数据”删除的失效： 仅删除原始记录（ $S=1$ ，"raw only" 模式）会导致在约 20% 的实例中，派生的摘要副本仍可被恢复。摘要层的 FRS 与 “no-op” 控制组在统计学上是不可区分的。
部分缓解： “原始数据 + 重新摘要” 减少了残留（例如在 Gemma 上降至 ~11%），但并未消除它，因为现有的摘要人工制品在再生前未被完全清除。
真正擦除： 只有 完全清除 (Full Purge) 和 墓碑 (Tombstone) 标记能将最差层级的残留 (FRS) 降至零。这证实了在分层流水线中，仅删除源数据是不够的；派生制品必须也被显式移除或遮蔽。

贡献

形式化部署时记忆： 本文将持久化智能体记忆定义为一个可测量的系统功能，引入了基于 PR、AER 和 PUA 的隐私–效用前沿。
受控的旋钮扫描： 研究证明，摘要处理能显著降低提取风险且几乎不损失个性化成本，而单纯依靠检索广度无法实现良好的权衡。
删除保真度基准： 通过引入遗忘残留得分 (FRS)，本研究揭示了标准的“仅原始数据”删除对于分层记忆系统是不充分的，并确立了完全流水线清除或墓碑机制对于实现真正擦除的必要性。

意义

本文确立了持久化智能体记忆必须作为一个一等公民的记忆机制来进行评估。研究认为，智能体的隐私风险不仅是模型权重的副产品，而且会受到部署时工程决策的主动影响。

研究结果为安全的智能体部署提供了一个实用的方案：

使用关键事实摘要 ( $S=1$ ) 来从检索上下文中“洗白”秘密。
保持适度的检索广度 ( $k$ )，因为一旦应用了压缩，增加 $k$ 并不会恢复泄漏。
实现层级感知删除（完全清除或墓碑机制），以确保派生副本（摘要、嵌入）不会被遗留。

最终，这项工作指出，部署时记忆是一个可控的效用–泄漏前沿，而非使用基础模型时不可避免的后果。