💬 NLP

LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

本文介绍了 LACUNA，这是首个具有地面真值参数级定位能力的测试平台，用于评估大语言模型（LLM）的遗忘能力，研究揭示了尽管目前的先进方法在输出层面表现良好，但在针对特定知识携带参数的精准度方面仍显不足，并且在面对复现攻击时依然脆弱。

原作者： Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：并非真实的“数字失忆症”

想象你拥有一座巨大的、超级聪明的图书馆（即大语言模型，LLM），它几乎读过了互联网上的所有内容。不幸的是，它还顺便记住了一些私人秘密，比如人们的家庭住址或电话号码。

你想告诉这座图书馆：“请忘掉这个特定的秘密。”这被称为**“遗忘”（unlearning）**。

目前，大多数让图书馆“忘记”的方法都更像是魔术表演。它们让图书馆表现得好像不知道那个秘密。如果你问：“约翰的电话号码是多少？”图书馆可能会说：“我不知道。”但在其大脑深处（数学权重中），那个秘密依然存在，只是被隐藏起来了。如果你换一种问法，或者稍后给图书馆一点提示，它可能会突然又记起那个秘密。

论文作者将这种现象称为**“模糊化”（obfuscation，即隐藏），而非真正的“擦除”（erasure，即删除）**。

解决方案：LACUNA（“真相测试”）

研究人员构建了一个名为 LACUNA 的新测试平台。你可以把 LACUNA 想象成一个受控实验室，在这里他们可以精确地证明信息究竟存储在计算机大脑的哪个位置。

以下是他们构建该平台的步骤：

“秘密注入”（第一阶段）：
研究人员并没有寄希望于图书馆自然地记住秘密，而是通过一种非常特定的方式强迫它记住这些秘密。他们使用了虚构的人物隐私数据（例如“Clementine 的电话号码是 555-0199”）并将这些数据注入到模型中。
- 魔术技巧： 他们使用了一个特殊的“掩模”（就像模板/镂空模板）。他们告诉计算机：“只将这个秘密写入你大脑细胞中特定的这 5% 的部分。忽略其余部分。”
- 因为他们控制了注入过程，所以他们确切地知道哪些“大脑细胞”（参数）持有这个秘密。这就是“地面真值”（Ground Truth）。
“尝试遗忘”（第二阶段）：
随后，他们采用了现有的最顶尖的“遗忘”方法（即科学家们目前使用的顶级技巧），并尝试让图书馆忘掉 Clementine 的电话号码。
“真相检查”（第三阶段）：
这是最关键的部分。在图书馆尝试遗忘之后，研究人员观察了它的内部。
- 问题是： 遗忘方法是否真的从存储该秘密的特定 5% 的大脑细胞中删除了数据？还是仅仅弄乱了大脑中剩余的 95% 的部分来隐藏这个秘密？
- 衡量指标： 他们测量了定位精度（Localization Precision）。这就像是在检查外科医生是移除了肿瘤，还是仅仅在肿瘤上涂了一层油漆。

他们的发现

结果令人惊讶，也让当前的 AI 安全现状显得有些令人担忧：

“魔术师”失败了： 目前最好的遗忘方法（如 SimNPO、AlphaEdit 和 MemFlex）非常擅长让图书馆表现得好像已经忘记了。如果你提问，它能给出合理的回答。
但它们并没有真正删除任何东西： 当研究人员观察其大脑内部时，他们发现这些方法非常不精确。它们是在改变大脑的随机部分，而不是针对持有秘密的特定细胞。
- 类比： 这就像试图通过用锤子砸碎整台电脑来删除硬盘上的某个特定文件。文件确实没了，但你也把电脑砸坏了，而且该文件仍有可能从碎片中恢复。
“复苏”攻击： 由于这些方法并没有真正删除数据，研究人员发现，只需通过一点点新的训练，就能轻易让图书馆再次“想起”那个秘密。秘密从未真正消失，它只是被埋在了一层混乱之下。

“先知”证明

为了证明“精确遗忘”是可能的，研究人员创建了一种完美的方案，称为 OracleGrad。

类比： 想象一位拥有 X 光片的医生，X 光片清晰地显示了肿瘤的具体位置。他只切除那一个点，而不触动大脑的其他部分。
结果： 因为这种方法准确知道秘密存储在哪里（得益于 LACUNA 的设置），它成功地删除了秘密。即使受到提示，图书馆也无法再想起它，且图书馆原有的知识保持完美。

核心结论

论文得出结论：目前的 AI 遗忘方法大多是在“隐藏”秘密，而不是“删除”秘密。

它们擅长通过“输出测试”（图书馆说它不知道），但在“内部测试”（图书馆的大脑中仍存有数据）中表现糟糕。作者认为，为了实现真正的 AI 安全，我们需要能够精准打击持有数据的特定“大脑细胞”的方法，而不仅仅是靠猜测和碰运气。

简而言之： 我们需要停止尝试欺骗 AI 去遗忘，而是要学习如何进行手术式的记忆移除。LACUNA 是我们用来衡量自己做得好坏的新标尺。

技术摘要：LACUNA —— 用于评估大语言模型（LLM）遗忘精准度的测试平台

问题陈述

在大规模非结构化网络数据上训练的大语言模型（LLM）经常会记忆敏感的个人身份信息（PII），从而产生显著的隐私风险。虽然“遗忘”（unlearning）已成为一种极具前景的解决方案，旨在无需重新训练整个模型的情况下从已训练模型中移除特定知识，但目前的评估范式并不充分。现有的基准测试仅在输出层面（即模型是否停止生成被禁止的信息）评估遗忘效果。这种方法无法区分真正的知识擦除与仅仅是掩饰（obfuscation）。近期的研究表明，被“遗忘”的知识可能会通过精心设计的攻击或良性再学习而重新出现，这表明底层模型参数仍然编码着这些信息。目前存在一个关键差距：社区缺乏关于哪些特定模型参数存储了目标知识的地面真值信息（ground-truth information），这使得验证遗忘方法是否真正针对了正确的权重变得不可能。

方法论

为了填补这一空白，作者引入了 LACUNA，这是一个旨在提供知识存储地面真值定位的新型测试平台。该方法由三个主要阶段组成：

1. 数据构建与注入（阶段 1）

作者利用 PANORAMA 语料库——一个包含 9,674 个 PII 配置文件的合成数据集，并从中选择 1,200 个配置文件进行注入。这些配置文件被分为六个不同的组。

掩码持续预训练（Masked Continual Pretraining）： 作者没有采用标准的微调，而是采用了掩码持续预训练的方法。他们为特定的 PII 数据组分配了互不重叠的二进制掩码。每个掩码覆盖模型参数的 5%（具体为第 0 层至 $N-2$ 层之间的前馈层和注意力层，不包括归一化层和嵌入层）。
梯度掩码（Gradient Masking）： 在反向传播期间，属于特定组的样本在指定掩码之外的所有参数上的梯度都会被置零。这确保了每个组的知识仅存储在其分配的权重子集中。
指令微调（Instruction Tuning）： 为了确保模型可以通过问答（QA）提取这些记忆的 PII，作者在最后两层进行了参数高效的指令微调（使用 LoRA），教导模型以特定的 QA 格式进行回答。

2. 遗忘评估（阶段 2）

该测试平台在基于 1B 和 7B OLMo 的模型上评估了最先进（SOTA）的遗忘方法。测试的方法包括：

基于梯度的方法： SimNPO（一种负偏好优化方法）。
基于定位的方法： AlphaEdit（基于因果追踪和零空间约束）以及 MemFlex（基于梯度定位的分散模块）。
先验基准（Oracle Baseline）： OracleGrad，该方法被赋予了获取地面真值遗忘掩码的特权，将其遗忘目标严格限制在已知包含目标知识的权重上。

3. 评估指标（阶段 3）

LACUNA 引入了一个双重评估框架：

行为评估： 标准的输出层面指标，包括遗忘集和保留集上的精确记忆度（EM）、提取强度（ES）和概率（Prob），以及在 MMLU 和 ARC 等基准测试上的效用保持情况。
定位精准度（Localization Precision）： 一种使用 ROC AUC 的新颖指标，用于衡量遗忘方法区分“掩码内”（目标）和“掩码外”（非目标）参数的能力。该得分是通过权重修改模式（幅度、反转和基于对比的评分）得出的。
复现攻击（Resurfacing Attacks）： 通过在留存的 PII 数据上对模型进行微调来压力测试模型，观察“被遗忘”的信息是否会泄露回来。

核心贡献

可扩展的注入框架： 一种通过掩码持续预训练将 PII 注入 1B 和 7B 模型专用参数的方法，该方法兼容分布式训练（DDP/FSDP），并可扩展至大规模模型。
LACUNA 测试平台： 发布了一个全面的测试平台，包括带有地面真值掩码的预训练模型、针对合成个体的遗忘/保留集以及定位精准度指标。
对 SOTA 方法的实证分析： 一项基准研究表明，尽管在输出层面表现强劲，但目前的 SOTA 遗忘方法（SimNль、AlphaEdit、MemFlex）表现出较低的定位精准度（AUC $\approx$ 0.5），这意味着它们是在无差别地修改权重，而非针对特定的存储位置。
Oracle 演示： 引入了 OracleGrad，它证明了当定位精确时，即使是简单的梯度方法也能实现比复杂 SOTA 方法更优越的擦除效果和鲁棒性。

结果

定位精准度： 所有分析的 SOTA 方法均未达到非平凡的定位精准度。SimNPO 的得分略高（0.515），但仍接近随机猜测（0.5）。相比之下，OracleGrad 实现了高达 0.915 的 AUC，证实了精确靶向是可行的。
遗忘性能 vs. 鲁棒性： 虽然 SimNPO 在输出层面的遗忘表现出色（遗忘集上的 EM 较低），但它在面对复现攻击时仍然非常脆弱。定位精度较差的方法（AlphaEdit、MemFlex）甚至更加脆弱。
Oracle 的优越性： 尽管使用了简单的梯度差异（Gradient Difference）目标，OracleGrad 仍实现了最佳的遗忘性能、保留稳定性、效用保持以及对复现攻击的鲁棒性。这表明当前方法的失败并非源于遗忘目标本身，而是由于无法定位正确的参数。
模型规模： 7B 模型通常显示出更好的记忆提取率和略好于 1B 模型的复现攻击鲁棒性，尽管这种定位不精确的基本问题在两种规模的模型中依然存在。

意义与主张

论文认为，LLM 遗忘领域在输出层面指标上已达到瓶颈，但在实现真正的知识擦除方面正面临失败。作者声称，定位精准度是实现鲁棒遗忘缺失的关键环节。

范式转变： 这项工作倡导从纯粹的行为评估转向基于定位的评估。如果没有关于信息存储位置的地面真值知识，就无法验证遗忘是否有效，还是仅仅在进行掩饰。
精确遗忘的可行性： 通过展示拥有完美定位能力的 Oracle 可以通过简单方法实现鲁棒遗忘，本文表明主要的瓶颈不在于遗忘算法，而在于定位技术。
未来方向： 作者指出，未来的研究必须专注于开发精确的知识定位技术。在这些技术出现之前，遗忘方法将始终易受复现攻击的影响。LACUNA 的发布旨在补充行为评估，并推动基于定位的遗忘方法的发展。

作者保持了谦逊的态度，承认在稠密模型中的知识存储可能并不总是能实现完美定位，并且他们目前的注入方法（5% 参数覆盖率）代表了精度与记忆可靠性之间的权衡。他们并不声称解决了定位问题，而是提供了必要的基础设施来衡量和推进这一领域。