💻 computer science

PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning

本文介绍了 PreUnlearn，这是一个以数据为中心的框架，通过分析遗忘集与评估集之间的交互特征来识别高风险的遗忘场景，从而在大型语言模型进行遗忘操作之前，对其潜在的附带知识损伤进行预测和审计。

原作者： Bo Su, Ankit Shah, Thai Le

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Su, Ankit Shah, Thai Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一座巨大的、知识渊博的图书馆（即大语言模型，LLM），它几乎无所不知。有时，你需要从这座图书馆中移除特定的书籍，因为它们包含了敏感、过时或有害的信息。这个过程被称为**“遗忘学习”（unlearning）**。

问题在于，图书馆里的书通常是相互关联的。如果你试图删除一本关于“如何烤蛋糕”的书，你可能会在无意中损坏“如何混合食材”或“如何使用烤箱”的知识，尽管这些并不是你想删除的具体书籍。这种意外的损坏就是这篇论文所说的**“附带损伤”（collateral damage）**。

这篇名为 PREUNLEARN 的论文作者想要在任何人真正开始删除书籍之前，先回答两个重要问题：

损伤会有多严重？ 损伤会停留在被删除的书籍附近，还是会扩散到很远的地方？
我们能否提前预测损伤？ 我们能否在实际进行删除操作之前，通过观察我们“想要删除的书”和“想要保留的书”，来预估会发生多少损害？

以下是他们研究结果的简单拆解，使用了日常类比：

1. “涟漪效应”（三层损伤）

研究人员测试了当我们“遗忘学习”（删除）特定主题时会发生什么。他们发现，损伤像池塘里的涟漪一样扩散，但随着距离的增加，威力会逐渐减弱。他们将其测量为三个层面：

第一层（目标层）： 这是你尝试特意删除的那本书。正如预期的那样，这里的知识受损最严重。
第二层（邻居层）： 这些是同一书架上或主题非常相似的书籍（例如，删除“蛋糕烘焙”会影响“糕点制作”）。这里的损伤很显著，但比目标层轻。
第三层（远端房间层）： 这些是完全不同区域的书籍（例如，删除“蛋糕烘焙”会影响“量子物理”）。这里的损伤最弱，但并不会完全消失。 即使是遥远的知识也会变得有些摇摆不定。

核心结论： 你不可能只删除一件东西而不影响它的邻居，而且有时，它甚至会轻微震动整栋建筑。

2. “水晶球”（提前预测损伤）

这篇论文最令人兴奋的部分是他们对第二个问题的解决方案：我们能在开始之前预测这种损伤吗？

通常，为了知道一次删除是否安全，你必须实际执行删除，检查结果，然后祈祷一切顺利。这既昂贵又缓慢。作者构建了一个**“预遗忘审计员”（Pre-Unlearning Auditor）**——一个在任何删除发生前就能观察数据的“水晶球”。

他们意识到，造成损伤的风险不仅仅取决于你要删除的那本书，更取决于那本书与你想要保留的书籍之间的关系。

类比： 想象你正在搬运家具。如果你试图把一个沉重的沙发（“遗忘集”）穿过一条狭窄的走廊，你可能会刮伤墙壁（“保留集”）。
- 如果沙发很小而走廊很宽，你会平安无事。
- 如果沙发巨大而走廊狭窄，你就会造成损坏。
- 审计员会在你动手搬运之前，观察“沙发的大小”和“走廊的宽度”。

3. 这个“水晶球”观察的是什么

研究人员发现，预测损伤的最佳方式不是只看“被删除的书”本身，而是观察两组数据之间的几何关系（形状和距离）。

距离： 如果你想删除的主题在意义上离你想保留的主题非常远，那么损伤就很低。
相似性： 如果它们非常相似，损伤就会很高。
长度与复杂度： 更长、更复杂的文本往往会产生更多的涟漪效应。

他们构建了一个计算机程序来测量这些“距离”和“形状”，该程序可以告诉你：“嘿，如果你删除这个特定主题，它很可能会破坏那个特定主题。”

4. 为什么这很重要

论文指出，我们不应该盲目地尝试删除并寄希望于好运，而应该使用这个**“审计员”**作为警告系统。

删除之前： 运行审计员。
结果： 它会给出一个“风险评分”。
行动： 如果评分很高，你就知道需要小心了。你可能需要在想要保留的主题周围添加更多的“安全缓冲”（额外的训练数据），或者你可能会决定根本不删除那个特定的主题，因为代价太高。

总结

可以将这篇论文看作是数字记忆的安全检查员。

问题： 删除不良信息往往会破坏有用的信息。
发现： 损伤会以涟漪的形式扩散，虽然威力会减弱，但从未完全停止。
解决方案： 我们只需通过观察不良信息与良好信息之间的“亲疏关系”，就能精确预测会发生多少损伤，而无需在实际删除之前进行任何操作。这节省了时间，并防止了对有用知识的意外破坏。

技术摘要：PREUNLEARN：在大语言模型遗忘前审计侧向知识损伤

1. 问题陈述

大语言模型（LLM）的机器遗忘旨在移除特定、敏感或有害的知识（“遗忘集”），同时保留模型的通用效用。然而，由于相关知识与远端知识在模型参数中的纠缠，遗忘知识与保留知识之间的界限往往是模糊的。

目前的评估实践通常依赖于聚合效用指标或有限的后验探测，这些方法无法捕捉细粒度的损伤传播。具体而言，现有的基准测试通常假设一个固定的遗忘集，并且未能充分表征遗向效应如何从目标集向同领域知识以及更远的远端领域知识扩散。因此，两个关键问题仍有待探索：

RQ.1： 遗忘过程对知识的影响如何从遗忘集 $X$ 向同领域知识及远端领域知识 $Y$ 扩散？
RQ.2： 我们能否在执行遗忘过程之前，预测遗忘 $X$ 对知识 $Y$ 可能造成的潜在侧向损伤？

2. 方法论

2.1 三层遗忘影响框架

作者提出了一个以数据为中心的评估框架，将遗忘后的知识退化相对于遗忘集 $D_f$ 分为三个语义层：

L1（预期退化）： 针对遗忘集 $D_f$ 本身的性能。
L2（同领域损伤）： 针对在语义上接近遗忘领域的留存样本的性能。
L3（远端领域损伤）： 针对来自其他无关语义领域的样本的性能。

影响程度通过困惑度（Perplexity, PPL）比率进行量化： $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$ ，其中 $M^*_\theta$ 是遗忘后的模型， $M_\theta$ 是原始模型。比率 $>1.0$ 表示性能下降。

2.2 实验设置

数据集： WikiText-103，处理为 10 个语义分离良好的聚类。构建了 100 个遗忘数据集，每个数据集包含不相交的遗忘拆分和保留拆分。
模型： Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct。
算法： 评估了三种不同的遗忘方法：
- 梯度上升 (Gradient Ascent, GA)
- 负偏好优化 (Negative Preference Optimization, NPO)
- 基于调整后 Logit 的自我蒸馏遗忘 (Unlearning via Self-Distillation on Adjusted Logits, UNDIAL)

2.3 遗忘前审计公式化

论文将“遗忘集审计”表述为一个监督回归问题。其目标是在任何模型更新发生之前，预测候选遗忘集（ $D_f$ ）与评估集（ $D_e$ ）对的侧向损伤比率（ $\rho_{f,e}$ ）。

目标变量： $\rho_{f,e} = \frac{\log(\text{PPL}_{after, e} / \text{PPL}_{before, e})}{\log(\text{PPL}_{after, f} / \text{PPL}_{before, f})}$ 。该公式通过遗忘强度对评估集的退化进行了归一化处理。
输入特征： 审计器仅使用更新前的特征（ $\phi(D_f, D_e, M_\theta)$ $ϕ (D_{f}, D_{e}, M_{θ})$ ），无法访问梯度、检查点或遗忘后的测量值。特征分为以下几类：
1. 内在特征： $D_f$ 和 $D_e$ 自身的属性（如长度、多样性、维度）。
2. 交互特征： 两组数据之间的几何关系（如质心欧氏距离、余弦相似度、词汇比例）。
模型： 使用岭回归（Ridge Regression）、随机森林（Random Forests）和 XGBoost 来预测 $\rho_{f,e}$ 。
评估： 审计器使用留一领域法（Leave-One-Domain-Out, LODO）交叉验证以及完全独立的语义领域测试集进行测试，以确保超越特定领域身份的泛化能力。

3. 关键结果

3.1 三层影响模式 (RQ.1)

衰减模式： 在所有模型和算法组合中均观察到一致的衰减模式： $L1 > L2 > L3$ 。遗忘影响在遗忘集上最强，在同领域知识上较弱，而在远端领域知识上最弱（但依然存在）。
算法依赖性： 损伤幅度因算法而异。梯度上升（GA）产生的冲击最为剧烈（PPL 比率增加高达 $12.85\times$ ），而 NPO 和 UNDIAL 则保持在 $1.05\text{--}1.65\times$ 之间。
遗忘集变异性： 即使在超参数和算法固定的情况下，不同的遗忘集也会诱发截然不同的影响剖面。这种变异表明，遗忘集的选择本身是一个关键的设计决策。
分布分离： L1、L2 和 L3 的退化分布具有明显的区分度，尽管 L3 表现出“右尾”现象，表明即使在远端领域也可能发生严重的侧向损伤。

3.2 遗忘前审计性能 (RQ.2)

可预测性： 审计任务是可行的。在 LODO 交叉验证下，最佳回归器实现了高达 0.93 (GA) 和 0.90 (UNDIAL) 的 Spearman 秩相关系数（ $\rho$ ）。在更具挑战性的 NPO 目标下，性能依然具有参考价值（ $\rho \geq 0.51$ ）。
特征重要性： 最强的预测信号来自于遗忘集与评估集之间的交互特征，特别是：
- 质心欧氏距离（与损伤呈负相关）。
- 质心余弦相似度（与损伤呈正相关）。
- 跨集合的词汇与长度比例。
- 单独的集合内在属性的预测力弱于它们的几何关系。
稳定性： 审计器的排序质量在不同遗忘算法之间保持稳定，这表明侧向损伤在一定程度上是由数据集之间预先存在的几何耦合决定的。
敏感性： 审计器能够正确响应评估集风险构成的变化，能够区分高风险和低风险区块，而非对随机噪声做出反应。

4. 重要性与主张

本文将遗忘集审计定位为一种早期预警工具，而非全量评估的替代品。其主要贡献和意义在于：

细粒度表征： 它建立了一个三层框架，证明了遗忘损伤并非局限于目标，而是随语义距离衰减，并会渗透至领域边界之外。
预见性风险筛查： 它证明了仅利用数据几何关系（交互特征），即可在进行昂贵的遗忘优化过程之前，预测潜在的侧向损伤。
实际优先级排序： 审计器使从业者能够优先处理高风险的遗忘任务，为脆弱领域分配保留数据预算，或在流水线早期拒绝高风险的遗忘集候选方案。
以数据为中心的洞察： 研究结果表明，侧向损伤不仅取决于遗忘算法的机制，还显著受到待遗忘数据与待保留数据之间几何关系的驱动。

作者也谦虚地指出了局限性，包括研究涵盖的遗忘算法和模型仅为子集，以及困惑度仅作为行为退化的代理指标。他们总结道，虽然审计器不能取代最终评估，但它将这一过程从纯粹的后验测量转变为一种更廉价、由风险引导的排序问题。