🤖 AI

Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning

本文提出了 PeCL，这是一种持续学习框架，它结合了令牌级动态差分隐私与记忆塑造技术，以选择性地遗忘敏感信息同时保留通用知识，从而在隐私保护与模型效用之间实现更优的平衡。

原作者： Bihao Zhan, Jie Zhou, Junsong Li, Yutao Yang, Shilian Chen, Qianjun Pan, Xin Li, Wen Wu, Xingjiao Wu, Qin Chen, Hang Yan, Liang He

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bihao Zhan, Jie Zhou, Junsong Li, Yutao Yang, Shilian Chen, Qianjun Pan, Xin Li, Wen Wu, Xingjiao Wu, Qin Chen, Hang Yan, Liang He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一个非常聪明的机器人每天学习新事物，比如一门新语言、一项新爱好或一项新工作技能。这被称为持续学习（Continual Learning）。这个机器人擅长在学习今天的内容时，记住昨天所学的东西。

然而，存在一个大问题：随着机器人不断学习，它会意外地记住一些它本不该保留的私人秘密——比如某人的家庭住址、秘密密码或私人日记条目。如果你试图用“隐私盾牌”保护机器人学到的所有内容，机器人会变得如此笨拙和困惑，以至于忘记如何完成它的工作。如果你什么都不保护，它就会泄露秘密。

本文介绍了一种名为PeCL（隐私增强型持续学习）的新系统。你可以将其视为机器人大脑的"智能图书管理员"。以下是其工作原理，使用了简单的类比：

1. 问题：“一刀切”的盾牌

传统的隐私方法就像给整个机器人大脑盖上一层厚重、厚实的毯子。它虽然能保护秘密，但也窒息了有用的信息。机器人变得如此嘈杂和困惑，以至于忘记了如何下棋或写电子邮件，因为“毯子”太重了。

2. 解决方案：“智能图书管理员”（PeCL）

PeCL 系统就像一个图书管理员，它确切地知道哪些书是危险的，哪些是安全的。它使用两种主要工具来管理机器人的记忆：

工具 A：“敏感词元”检测器（词元级差分隐私）

想象机器人逐字阅读一个句子。

场景：句子是：“我的名字是杰克，我住在主街 123 号。”
旧方法：系统会对整个句子添加“静态噪声”（就像收音机里的杂音），使得即使像“我的名字是”这样无害的部分也难以理解。
PeCL 方法：图书管理员逐个查看每个单词。
- 它将“我的”、“名字”和“是”视为安全、通用的单词。它让它们保持原样，以便机器人仍能学习英语语法。
- 它将“杰克”和“主街 123 号”视为敏感、私密的单词。它立即仅在这些特定单词周围加上厚重的“隐私盾牌”（噪声）。
- 结果：机器人完美地学会了语法，但之后无法猜出特定的名字或地址。这就像在照片中模糊处理人脸，同时保持背景清晰。

工具 B：“记忆雕塑家”（隐私引导的记忆雕塑）

即使有了这些盾牌，机器人仍可能试图在大脑中“记住”这些私密单词。记忆雕塑家就像一位修剪树木的园丁。

目标：机器人需要保留承载通用知识（如如何说话或解决数学问题）的“树枝”，但需要剪掉承载私人秘密的“树枝”。
工作原理：
- 如果机器人学习了一项涉及敏感数据的新任务，雕塑家会温和地“修剪”（移除）大脑中承载该敏感信息的特定连接。
- 同时，它会“施肥”并保护承载通用、有用知识的连接，这样机器人就不会忘记如何完成工作。
- 结果：机器人“故意”忘记了秘密，但“记住”了技能。

3. 结果：平衡的机器人

本文在六项不同任务（如阅读评论、新闻和电子邮件）上测试了该系统。

没有 PeCL：机器人要么泄露秘密，要么变得太愚蠢而无法学习新事物。
使用 PeCL：机器人保持敏锐，快速学习新任务，同时成功隐藏了私人细节。它的表现实际上优于其他先进方法，在保持高旧任务准确率的同时确保了隐私。

总结

本文提出了一种方法，使 AI 能够持续学习而不会成为隐私风险。它不是盲目地保护所有内容（这会破坏 AI），而是采用细粒度方法：

识别确切哪些微小的信息片段（单词）是秘密。
仅保护那些特定片段，通过添加噪声。
雕塑大脑，主动遗忘这些秘密，同时保留有用的知识。

这就像教导一个孩子成为世界旅行者：你教他们关于世界的一切（有用知识），但教他们保守家庭住址的秘密（敏感数据），而不会让他们害怕走出家门。

技术摘要：PeCL——持续学习内存塑造中的令牌级差分隐私

1. 问题陈述

持续学习（CL）使模型（尤其是大型语言模型，LLM）能够顺序获取新知识而不遗忘先前任务。然而，这种能力引入了重大的隐私挑战。随着模型吸收多样且不断演变的 datasets，它们本质上会积累海量信息，包括敏感的个人或专有数据。一旦这些数据被嵌入，便难以审计或擦除，从而带来法律和伦理风险。

现有的隐私解决方案在持续学习背景下面临关键局限：

统一的隐私预算： 传统的差分隐私（DP）方法（如 DPSGD）对所有数据应用统一的噪声预算。这种不加区分的保护通过向非敏感的一般知识注入过多噪声而降低了模型效用，同时可能未能充分保护高度敏感的实体。
静态与动态： 许多令牌级 DP 方法（如 PMixED）是为静态数据集设计的，并未解决顺序学习中固有的灾难性遗忘问题。
选择性遗忘： 在不降低整体效用的情况下实现“选择性遗忘”（即移除敏感数据同时保留一般知识）在理论上极具挑战性。当前方法往往无法区分数据内部不同级别的敏感性，导致要么保护不足，要么造成不必要的效用损失。

核心挑战在于平衡三个相互冲突的目标：在令牌级别辨别细粒度的敏感性、在不破坏历史知识的前提下保护隐私，以及将这些机制整合到一个动态的顺序学习范式中。

2. 方法论：PeCL 框架

作者提出了 PeCL（隐私增强型持续学习），这是一个基于“遗忘敏感内容，记住重要内容”原则构建的框架。它包含两个核心模块：令牌级动态差分隐私（TDP） 和 隐私引导的内存塑造（PMS）。

2.1 令牌级动态差分隐私（TDP）

TDP 根据单个令牌的语义敏感性自适应地分配隐私预算，而不是应用统一预算。

敏感性评分： 对于每个令牌 $t_i$ $t_{i}$ ，使用两个指标的加权组合计算敏感性评分 $Score(t_i) \in [0, 1]$ $S cor e (t_{i}) \in [0, 1]$ ：
1. 模型不确定性（ $Score_1$ ）： 给定上下文时该令牌的负对数似然。高不确定性表明该令牌罕见、依赖上下文或可能敏感。
2. 上下文区分度（ $Score_2$ ）： 改编自 TF-IDF，衡量一个令牌对特定任务相对于整个语料库的特异性。对单一任务高度特异（跨任务支持度低）的令牌被标记为更敏感。
动态预算分配： 每个令牌的隐私预算 $\epsilon_i$ 与其敏感性评分成反比。高敏感性令牌获得较小的 $\epsilon_i$ （更强的保护），而低敏感性令牌获得较大的 $\epsilon_i$ 以保留效用。
噪声注入： 根据每个令牌特定的 $\epsilon_i$ ，向其输入嵌入注入校准后的高斯噪声。此过程发生在自注意力之前的嵌入层，从而在源头确保本地差分隐私（LDP）。

2.2 隐私引导的内存塑造（PMS）

虽然 TDP 保护输入嵌入，但 PMS 重塑模型的内部参数，以防止敏感信息的记忆并保留任务不变的知识。

内存正则化： 为了减轻灾难性遗忘，该框架将弹性权重巩固（EWC）原则适配到 LoRA 参数空间。它基于参数更新和输入激活计算特定任务的重要性评分。关键在于，正则化强度（ $\lambda_{dyn}$ ）由当前任务的平均敏感性动态调节。低敏感性任务受到更严格的正则化以保留知识，而高敏感性任务则允许更大的灵活性。
隐私感知遗忘： 引入特定的损失项（ $L_{unlearn}$ ）以主动抑制高敏感性令牌的强化。对于超过敏感性阈值 $\theta$ 的令牌，交叉熵损失乘以 $(Score(t_i) - \theta)$ ，鼓励模型“遗忘”或温和地抑制这些特定痕迹。
双层防御： TDP 通过噪声为接近阈值的令牌提供“软抑制”，而 PMS 则对超过阈值的令牌触发显式的参数级遗忘。

3. 主要贡献

本文概述了三项主要贡献：

令牌级动态 DP 策略： 一种新颖机制，根据单个令牌的语义敏感性自适应分配隐私预算，实现了持续学习中的细粒度隐私保护。
隐私引导的内存塑造： 一个模块，能够智能地从模型记忆中遗忘敏感信息，同时明确保留任务不变的历史知识，解决了隐私与灾难性遗忘之间的权衡问题。
实证验证： 证明了该框架在隐私与效用之间实现了更优的平衡，在持续学习场景中优于最先进（SOTA）的基线方法。

4. 实验结果

作者在由六个领域（FOMC、Yelp、AGNews、Amazon、Mentill、Yahoo）组成的多任务基准上评估了 PeCL，这些任务被构建为文本分类任务。

性能指标： 使用平均准确率（Avg）、最后准确率（Last）和向后迁移（BWT）对框架进行评估。
比较分析： PeCL 优于各种基线，包括：
- 结合统一 DP 的标准 CL 方法（ER+DPSGD、EWC+DPSGD、GEM+DPSGD）。
- 使用冻结嵌入加噪声的方法（FN）。
- 令牌级 DP 基线 PMixED（缺乏针对 CL 的内存塑造）。
- 顺序微调（SeqFT）变体，这些变体遭受了严重的灾难性遗忘。
关键发现：
- PeCL 在所有指标上均取得了最高分数，尽管是在顺序设置下运行，但在某些准确率指标上甚至超过了多任务学习（MTL）的上限。
- 消融研究证实，移除 TDP 或 PMS 中的任一部分都会显著降低性能并增加遗忘，验证了这两个组件的必要性。
- 该框架在不同的任务到达顺序（自然顺序、逆序和打乱顺序）下均表现出鲁棒性。

5. 意义与主张

本文声称，PeCL 代表了隐私保护持续学习的重大进步，因为它超越了“一刀切”的隐私方法。通过将细粒度敏感性分析与动态内存塑造相结合，该框架成功地在保护私人实体与维持模型效用之间的张力中找到了平衡。

作者强调，他们的方法允许：

稳健的隐私： 对私人实体提供强有力的保护，同时避免了均匀噪声注入所带来的效用下降。
有效的知识保留： 明确保留任务不变的知识以减轻灾难性遗忘，这是隐私受限的 CL 中常见的失败点。
实际适用性： 能够在动态的顺序数据流中运行，其中数据是增量到达的，这是许多现有 DP 方法失效的场景。

本文最后承认了局限性，例如长上下文中的隐私预算累积问题，以及需要针对特定攻击向量（如成员推断）进行实证验证，并建议未来的工作方向包括 Rényi 差分隐私和正式的理论基础。