🤖 machine learning

DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning

本文揭示，INT4 量化会系统性地恢复机器遗忘中的遗忘数据，从而暴露出遗忘、效用与鲁棒性之间的根本权衡，并提出 DURABLEUN-SAF 方法，以实现高、低精度部署下的稳定遗忘。

原作者： Abdullah Ahmad Khan, Ferdous Sohel

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdullah Ahmad Khan, Ferdous Sohel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DurableUn：机器遗忘中的量化诱导恢复攻击》的通俗解释，辅以日常类比。

宏观图景：“被遗忘权”与“魔法橡皮擦”难题

想象你拥有一个巨大的图书馆（大型语言模型，LLM），里面收藏了所有写过的书。你拥有法律赋予的权利（如 GDPR），可以说：“请删除所有由 X 作者写的书。”

机器遗忘（Machine Unlearning）就是用来尝试删除这些特定书籍，而无需从头重建整个图书馆的技术。

问题在于：研究人员发现，当前用于删除数据的“魔法橡皮擦”存在缺陷。当你以高清模式（全精度）查看图书馆时，它们能完美工作；但如果你为了适应小型设备而将图书馆缩小（低位量化），那些被删除的书籍就会神奇地重新出现在书架上。

核心发现：“量化恢复攻击”（QRA）

这篇论文提出了一种新的数据泄露方式，称为量化恢复攻击（Quantization Recovery Attack, QRA）。

类比：想象你有一幅精细的人脸画作。你用一种特殊的溶剂擦掉了画中的眼睛。在高分辨率工作室（BF16）里，眼睛确实消失了，画作通过了检查。
转折：现在，想象你为了节省墨水，将这幅画复印到一台廉价、低质量的打印机上（这就是INT4 量化，用于让 AI 在手机等设备上快速运行）。
结果：由于廉价打印机处理墨水的方式，那些“被擦除”的区域并没有保持空白。墨水以某种特定的方式晕染，意外地重建了眼睛。尽管画作之前看起来是干净的，但被删除的信息却回来了。

作者将这种现象称为QRA。他们发现，虽然在满精度下删除数据是有效的，但将模型压缩到4 位精度（现实世界应用的标准）会系统地恢复那些被遗忘的信息。

“三难困境”：不可能三角

研究人员发现了一个结构性的问题，他们称之为FA–RA–Q-INT4 三难困境。这就像试图在一根棍子上平衡三个盘子，你一次只能稳住其中两个：

遗忘（FA）：成功删除特定数据。
保留（RA）：保持模型对其他事物的智能和实用性。
鲁棒性（Q-INT4）：确保即使模型被压缩用于部署，数据也保持被删除状态。

研究发现：没有任何现有方法能同时做到这三点。

如果你试图很好地删除数据，模型就会变得脆弱。一旦压缩，数据就会回来。
如果你试图让模型具备抗压缩的鲁棒性，你就会意外破坏其记住有用事物的能力（它变得“愚蠢”）。
如果你保持模型聪明，它在压缩时就无法有效地删除数据。

论文展示了一种“急剧的相变”：一旦你调整系统使其具备足够的鲁棒性以阻止数据回归，模型的整体智能就会瞬间崩溃。这不是平滑的权衡，而是一道悬崖。

解决方案：DURABLEUN-SAF

为了解决这个问题，作者提出了一种新方法，称为DURABLEUN-SAF（锐度感知遗忘）。

工作原理：这种方法不仅仅是擦除数据，而是训练模型在被删除数据的区域变得“平坦”。
类比：想象被删除的数据是蹦床上的一个洞。标准方法只是用沙子把洞填上。如果你跳上蹦床（压缩模型），沙子会移位，洞会重新出现。
修正：DURABLEUN-SAF 不仅仅是填洞，它加固了洞周围整个蹦床的织物，这样无论你如何跳跃或拉伸它（压缩它），洞都会保持闭合。

结果：这是第一种成功通过“持久性证书”的方法。它证明了数据在高清、8 位和 4 位版本中都已消失。然而，有一个代价：为了实现这种完美的安全性，模型会失去大量的通用智能（保留准确率下降），这证实了“三难困境”是真实存在且难以打破的。

为什么这很重要

当前审计存在缺陷：监管机构目前检查模型是否在全精度下删除了数据。这篇论文指出这还不够。一个模型可能通过隐私审计，但一旦在手机上或服务器上使用标准压缩进行部署，它仍会侵犯隐私。
这不仅是漏洞，更是数学特性：作者表明，这不是代码中的错误，而是删除特定记忆、保持模型智能以及对其进行压缩之间固有的数学张力。
新标准：作者认为，我们必须开始在4 位精度（INT4）下测试 AI 模型，以查看它们是否真正实现了遗忘，而不仅仅是在全精度下测试。

一句话总结

这篇论文揭示，从 AI 模型中删除私人数据的标准方法在模型为实际用途进行压缩时会失效；虽然有一种新方法可以解决这一问题，但目前它迫使我们在绝对隐私和保持 AI 智能之间做出艰难的选择。

技术摘要：DurableUn：机器学习遗忘中的量化诱导恢复攻击

1. 问题陈述

机器学习遗忘旨在从模型中移除特定训练数据，以符合 GDPR 等隐私法规。然而，当前的评估协议存在一个关键的“部署差距”。标准评估假设遗忘审计期间使用的精度（通常为 bfloat16 或 BF16）与生产环境中使用的精度相匹配。事实上，大型语言模型（LLM）经常以低比特精度（INT4 或 INT8）部署，以减少内存占用并提高推理速度。

作者指出，这种精度不匹配造成了一种系统性漏洞：模型可能在 BF16 下成功“遗忘”数据（以接近零的遗忘准确率 FA $\approx$ 0 通过隐私审计），但当量化为 INT4 进行部署时，被遗忘的信息会系统地重新出现在模型的输出中。作者将这种现象称为量化恢复攻击（QRA）。这不仅仅是一种新的攻击变体，而是当前评估协议的根本性有效性失效，即被认证为合规的模型在标准部署转换下被证明违反了隐私。

2. 方法论与设置

实验体系

本研究聚焦于NF4+LoRA部署范式，即模型以 NormalFloat4 (NF4) 精度加载，而低秩适应（LoRA）适配器以 BF16 精度训练。这是高效微调和部署的常见设置。

模型：LLaMA-3-8B-Instruct（主要）和 Mistral-7B-Instruct（用于泛化）。
数据集：TOFU（虚构作者）、MUSE-News（现实世界新闻）和 WikiBio-WPU（历史人物）。
基线：评估了七种既定的遗忘方法：梯度上升（GA）、负偏好优化（NPO）、SCRUB、SalUn、表示操纵遗忘（RMU）、AlphaEdit 和 GradDiff。
量化模拟：作者使用逐行对称量化方案，在 LoRA 适配器权重上模拟 INT4 和 INT8 量化。他们在合并的模型上针对真实的 bitsandbytes 后训练量化（PTQ）验证了该模拟器。

提出的解决方案：DURABLEUN-SAF

为了解决这一漏洞，作者提出了DURABLEUN-SAF（锐度感知遗忘）。

核心洞察：标准梯度上升（GA）为遗忘目标创建了一个“尖锐”的损失景观。虽然模型在全精度下实现了遗忘，但损失景观非常陡峭，意味着微小的扰动（如 INT4 量化噪声）很容易将模型推回“记忆”状态。
机制：DURABLEUN-SAF 引入了一种量化感知目标，使用**直通估计器（STE）**来计算通过 INT4 舍入操作的梯度。目标函数结合了三项：
1. 标准遗忘损失（ $L_f$ ）。
2. 量化感知遗忘损失（ $L_f(Q_{STE}(\theta))$ ），强制模型即使在模拟的 INT4 扰动下也能实现遗忘。
3. 保留损失（ $L_r$ ）以保持效用。
训练策略：该方法对量化感知项采用预热计划，并根据量化权重（ $\alpha$ ）动态调整保留平衡（ $\lambda$ ）。

3. 主要发现与结果

FA–RA–Q-INT4 三难困境

研究识别出一种被称为FA–RA–Q-INT4 三难困境的结构约束：没有任何评估配置能同时实现：

强遗忘（FA $\le$ 0.05）。
高效用（保留准确率 RA $\ge$ 0.50）。
量化鲁棒性（Q-INT4 $\le$ 0.05）。

通过密集的帕累托扫描，作者观察到了急剧的相变。随着量化压力（ $\alpha$ ）增加以实现鲁棒性（Q-INT4 < 0.05），保留准确率（RA）会突然崩溃（例如，从约 0.52 降至约 0.045），且无法通过进一步调整恢复。这表明该三难困境是 NF4+LoRA 范式中共享权重空间的结果，而非超参数伪影。

量化恢复攻击（QRA）

INT8 是良性的：在所有 7 种基线中，INT8 量化导致的 Q-INT4 为 0.000，表明 8 位精度过于精确，不会引发恢复。
INT4 是灾难性的：INT4 量化系统地恢复了被遗忘的内容。对于在 BF16 下实现良好遗忘（FA < 0.05）的方法，恢复情况非常严重：
- GradDiff：FA 0.008 $\to$ Q-INT4 0.151（18.9 倍恢复）。
- GA：FA 0.028 $\to$ Q-INT4 0.262（9.4 倍恢复）。
- SalUn：FA 0.011 $\to$ Q-INT4 0.051（4.6 倍恢复）。
数据集难度：攻击的严重程度随数据集难度增加而加剧。在较难的 MUSE-News 数据集上，标准方法完全无法实现遗忘；而在较简单的 WPU 数据集上，部分基线在没有 DURABLEUN-SAF 的情况下通过了认证。

DURABLEUN-SAF 性能

DURABLEUN-SAF 是唯一实现稳定经验耐久性证书的方法。

证书定义：如果模型在所有精度集合 $P$ （BF16、INT8、INT4）中的遗忘准确率均保持 $\le \epsilon$ ，则称该模型为 $(\epsilon, P)$ -耐久。
结果：DURABLEUN-SAF（ $\alpha=3$ ）在三个随机种子下实现了3/3 的证书通过率，Q-INT4 为 $0.043 \pm 0.002$ 。
对比：相比之下，SalUn（即使在其已发布的超参数下）仅实现了 1/3 的证书通过率，且方差更高。
权衡：虽然 DURABLEUN-SAF 实现了证书，但它遭受了与三难困境中观察到的相同的 RA 崩溃（RA $\approx$ 0.045），这证实该方法成功驾驭了权衡，但目前无法克服在确保 INT4 鲁棒性的同时保持高用度的结构限制。

4. 意义与主张

本文声称做出了以下贡献：

识别部署差距：证明了当前的遗忘评估存在根本缺陷，因为它们忽略了 INT4 部署的标准实践，导致隐私合规性出现假阳性。
三难困境：确立了 FA–RA–Q-INT4 三难困境作为 NF4+LoRA 范式中的结构约束，其特征是急剧的相变而非平滑的权衡。
首个耐久性证书：引入了首个针对量化下机器遗忘的形式化经验耐久性证书，并在多个种子和数据集上进行了验证。
可行的解决方案：提出了 DURABLEUN-SAF，这是首个能一致实现该证书的方法，证明了量化感知遗忘是可能的，即使目前以牺牲保留准确率为代价。
行动呼吁：作者主张将Q-INT4（INT4 量化下的遗忘准确率）作为与 FA 和 RA 并列的标准评估指标。他们辩称，任何声称符合 GDPR 的遗忘方法都必须证明其在 INT4 下的鲁棒性，因为量化是下游用户只需“一行代码”即可执行的操作，且无需训练数据即可恢复被遗忘的信息。

文章结论指出，虽然 DURABLEUN-SAF 提供了一条通往认证的途径，但保留准确率的崩溃仍然是一个未解决的问题，这表明未来的工作必须解决共享权重空间中强量化鲁棒性与高用度之间的几何不兼容性。