💻 computer science

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

本文提出了 DualOptim+，这是一种新颖的优化框架，它桥接了共享与解耦的优化器状态，以实现大语言模型机器遗忘中的更优权衡，并附带一种名为 DualOptim+ 8bit 的内存高效量化变体。

原作者： Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文**DualOptim+**的解释。

核心难题：“橡皮擦”困境

想象你拥有一部极其聪明、巨型的百科全书（大型语言模型），它几乎读遍了互联网上的所有内容。有时，你需要从中移除特定的页面——可能是因为它们包含隐私信息、过时的事实或有害的指令。这个过程被称为机器遗忘（Machine Unlearning）。

问题很棘手：你想要擦除那些有害或私密的页面，同时不意外删除百科全书中其余的知识。如果你试图过于用力地擦除有害信息，模型可能会开始忘记如何写诗、解决数学问题，甚至如何说“你好”。

旧方法：两种有缺陷的方案

在这篇论文之前，研究人员主要尝试过两种方法来解决这个问题：

“混合搅拌”法（联合更新）：想象一下，试图用同一块布，一边清洗沾满泥的鞋子，一边抛光钻石。你将“清洗”和“抛光”的指令混合在一起。结果呢？鞋子依然脏兮兮，或者钻石被刮花了。模型会遗忘太多有用的信息。
“来回切换”法（交替更新）：想象清洗鞋子一分钟，然后抛光钻石一分钟，如此来回切换。这比前一种方法好，但如果你用同一块布完成这两项任务，鞋子上的污垢最终会沾到钻石上，而钻石上的抛光剂会让鞋子变得滑溜溜的。布的“记忆”会陷入混乱。

新方案：DualOptim+

作者提出了一种名为DualOptim+的新框架。你可以把它想象成给模型配备了两套专门配合使用的清洁工具包。

1. “共享基础”（共同基础）

想象模型拥有一个共享基础状态（Shared Base State）。这就像是一个共同的基石，或者一个“通用知识”桶。

当模型学习“遗忘”某事，以及学习“保留”某事时，它们都会更新这个桶。
为什么？ 因为“遗忘”和“记忆”往往共享一些基本的脑结构。这个桶捕捉了模型无论执行特定任务都需要保持的核心能力。

2. “增量状态”（专用工具）

此外，还有增量状态（Delta States），简称“增量（Delta）”。你可以把它们想象成针对特定任务的专用、独立的工具包。

Delta-F：专门用于“遗忘”的工具包。它保存了需要擦除的内容与共同基础之间的差异。
Delta-R：专门用于“保留”的工具包。它保存了需要保留的内容与共同基础之间的差异。

它们如何协同工作

DualOptim+ 不再使用那块令人困惑的单一抹布，也不使用两块互不沟通的完全独立的抹布，而是这样做：

它用“遗忘”和“记忆”的指令同时更新共享基础。
它仅用指令中独特的部分（即“残差”）来更新增量工具。
当模型实际改变其“大脑”（更新参数）时，它将共享基础与正确的增量工具结合起来。

神奇之处：如果“遗忘”和“记忆”的指令相互冲突，增量工具就会介入处理冲突。如果它们一致，共享基础就能高效地处理工作。这就像一位聪明的管理者，知道何时使用共享团队资源，何时指派专家。

"8 位”技巧：节省空间

通常，拥有这些额外的工具包（增量状态）会占用大量计算机内存（RAM），而这非常昂贵。

作者创建了一个DualOptim+ 8 位版本。
类比：想象你的工具包通常是由沉重的实心黄金（32 位精度）制成的。8 位版本将它们压缩成轻便的高科技泡沫。它们的重量大大减轻（节省了内存），但几乎没有任何性能损失，仍能完成完全相同的工作。

他们证明了什么？

该论文进行了大量测试，以验证这种新方法是否有效：

虚构场景：他们在虚构数据（如虚构的作者）上进行了测试，观察模型能否在保留写作能力的同时，遗忘特定的名字。
真实场景：他们在真实世界数据上进行了测试，例如从模型中移除特定个人的隐私信息。
安全性：他们测试了模型能否移除“有害”指令（如如何制造炸弹），而不会导致模型拒绝回答任何问题（这是一种常见的副作用，称为“过度拒绝”）。
多任务处理：他们甚至测试了同时教模型三项不同技能（编程、科学和数学）的情况，以观察“共享基础”是否有助于平衡不同任务。

结果：在几乎每一项测试中，与旧方法相比，DualOptim+ 在擦除有害内容的同时保持有益内容完好无损方面表现更佳。它在“遗忘”与“记忆”之间找到了“最佳平衡点”。

总结

DualOptim+ 是一种更智能的训练 AI 模型进行“遗忘”的方法。它不使用令人困惑的混合体，也不使用两个完全独立的系统，而是采用混合系统：一个用于通用常识的共享基础，以及用于特定任务的专用工具。这确保了 AI 能够精确地遗忘它应该遗忘的内容，而不会丧失其通用的智慧。此外，他们还通过压缩内存，找到了让它在更便宜的计算机上运行的方法。

DualOptim+ 技术摘要

问题陈述
大语言模型（LLM）中的机器遗忘（MU）旨在消除特定训练数据（遗忘集）的影响，同时保留模型在剩余数据（保留集）上的通用效用。现有方法在平衡这些相互冲突的目标时面临重大挑战。

联合更新： 大多数方法同时最小化遗忘损失和保留损失之和。这通常导致模型效用因过度遗忘而显著下降。
交替更新： 在遗忘目标和保留目标之间交替更新可提升性能，但存在不稳定性和对超参数敏感的问题。
解耦优化器（DualOptim）： 一种先前的方法 DualOptim 通过解耦每个目标的优化器状态（例如动量项）来防止梯度纠缠。虽然 DualOptim 在计算机视觉中有效，但在大语言模型中仅带来边际改进。作者观察到，在大语言模型遗忘中，遗忘和保留的梯度并不总是直接冲突；它们往往共享共同的表示，特别是在训练后期。完全解耦的状态未能利用这些共享特征，而完全共享的状态则无法处理冲突。

方法论：DualOptim+
本文提出了 DualOptim+，这是一种即插即用的优化框架，旨在弥合完全共享与完全解耦的优化器状态之间的差距。其核心创新在于将优化器状态分解为两个组件：

共享基础状态（ $B$ ）： 该状态捕获遗忘和保留目标所共享的共同表示。它使用来自两个目标的梯度（ $\nabla_\theta L_f$ 和 $\nabla_\theta L_r$ ）进行联合更新。
解耦增量状态（ $\Delta_f, \Delta_r$ ）： 这些状态保留特定于目标的残差。它们根据特定目标的梯度与偏差校正后的基础状态之间的差值进行更新。
- $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
- $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

参数更新：
用于参数更新的最终动量项是通过将偏差校正后的基础状态与相应的偏差校正后的增量状态相结合重建的（ $\hat{B} + \hat{\Delta}_f$ 或 $\hat{B} + \hat{\Delta}_r$ ）。

核心理论洞察：
理论和数值分析表明，DualOptim+ 充当一种自适应中间态。

当梯度呈正相关（共享特征占主导）时，增量状态收敛至零，该方法表现为 交替（Alternate） 方案（利用共享基础）。
当梯度呈负相关（目标冲突）时，基础状态收敛至零，该方法表现为 DualOptim 方案（利用解耦状态）。
这种自适应性使优化器能够根据遗忘梯度与保留梯度之间的方向性冲突进行动态调整。

DualOptim+ 8bit
为了解决存储额外优化器状态所带来的内存开销（为标准 Adam 优化器的 3 倍），作者引入了 DualOptim+ 8bit。该变体将优化器状态量化为 8 位精度，显著降低了内存消耗（降至标准 Adam 的大约 3/4），同时不损害性能。

主要贡献

新颖框架： 提出 DualOptim+，引入共享基础状态和解耦增量状态，有效弥合共享与解耦优化器状态之间的鸿沟。
即插即用设计： 一个兼容任何存储状态的优化器（如 AdamW、Muon）的框架，并适用于多目标优化。
实证验证： 在虚构数据集（TOFU）、现实场景（Llama-3 遗忘）、安全对齐以及多任务学习任务上进行了广泛的实验。
效率： 引入 8 位量化变体，以缓解内存开销。

实验结果
本文在多种大语言模型（Phi-1.5、Llama-2、Llama-3）和任务上评估了 DualOptim+ 与联合、交替及 DualOptim 基线的表现：

虚构场景（TOFU）： DualOptim+ 始终实现最佳整体性能（OVR），定义为遗忘效力（FE）与模型效用（MU）之间的权衡。它优于 DualOptim，特别是在针对性遗忘中，因为它更好地利用了共享特征。
现实场景： 在从 Llama-3 中遗忘现实世界个体时，与基线相比，DualOptim+ 在下游任务（ARC-c、MMLU 等）上保持了更优越的效用，而 DualOptim 有时表现不如更简单的交替方法。
安全对齐： 在遗忘不安全知识同时保留指令遵循能力的任务中，DualOptim+ 在 XSTest 基准测试中实现了最高的安全 - 效用权衡以及最低的过度拒绝率。
多任务学习： 与梯度冲突较高的遗忘任务不同，在梯度冲突不那么明显的多任务学习中，DualOptim+ 继续提供显著的性能提升，而 DualOptim 则显示出负增益。
内存效率： 8 位变体在内存使用上与标准基线几乎持平，同时保持了全精度方法的性能优势。

意义与主张
作者声称，与现有方法相比，DualOptim+ 在知识擦除与效用保留之间提供了更稳定且有效的权衡。他们将该方法不仅定位为一种遗忘工具，更定位为一种可推广的优化框架，适用于涉及多个冲突学习目标更广泛的场景，如大语言模型对齐和多目标学习。论文强调，弥合共享与解耦状态的自适应性质对于处理大语言模型遗忘中发现的动态梯度关系至关重要。