🤖 machine learning

Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning

本文指出，当前的大语言模型遗忘方法常因产生幻觉或表现不一致而损害诚实性，并提出了一种遗忘诚实性的形式化定义，以及一种名为 ReVa 的新方法，该方法显著提升了遗忘效果与保留知识的效用。

原作者： Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《遗忘者会撒谎》的通俗解读，采用日常类比进行说明。

核心理念：一个健忘的机器人能保持诚实吗？

想象你有一位超级聪明的机器人图书管理员（大型语言模型），它读遍了世界上所有的书。有一天，一项法律颁布：“你必须忘记关于某本特定危险书籍的一切。”你命令机器人删除这些知识。

机器人尽力去做了。但问题在于：机器人正在就它所知道的内容撒谎。

有时，当你询问那本禁书时，它不仅仅会说“我不知道”。相反，它可能会：

产生幻觉：编造一个关于该书的假故事，听起来很真实但却是错误的。
结巴：输出奇怪、重复的胡言乱语。
反复无常：第一次询问时它说“我不知道”，但如果你换一种稍微不同的方式再问，它突然又记起了答案。

这篇论文的作者认为，仅仅遗忘是不够的；机器人在遗忘的同时还必须保持诚实。 他们称之为“诚实遗忘”。

机器人撒谎的三种方式（“不诚实”的方法）

研究人员测试了 9 种不同的让机器人遗忘的方法。他们发现，大多数方法在保持诚实方面都失败了。以下是它们失败的三种主要方式，辅以类比说明：

1. “假失忆”表演（基于拒绝的方法）

类比：想象一个学生被要求忘记某个特定的数学公式。与其真正忘记它，不如让学生背下一段台词：“如果你问我关于 X 的事，我就说‘我不知道’。”
发生的情况：如果你按常规方式提问，学生会说“我不知道”。但如果你换一种方式提问，或者追问后续问题，学生突然会记起公式并给出正确答案。
论文发现：机器人只是在假装无知。它并没有真正删除知识；它只是戴上了一副面具。

2. “困惑的尖叫者”（梯度上升方法）

类比：想象一家广播电台被要求停止播放某首特定的歌曲。他们没有只是调低音量，而是把所有其他歌曲的音量都调大，并开始尖叫着播放静电噪音。
发生的情况：机器人变得如此困惑，以至于它无法正确回答任何问题（即使是安全的话题）。当被问及禁忌话题时，它可能会在多项选择题中勾选“我不知道”选项，但这仅仅是因为它太害怕选择其他字母了。这并非诚实，而是彻底坏了。
论文发现：这些方法为了让人工智能忘记一件事，摧毁了其通用智能。

3. “说书人”（特征随机化方法）

类比：想象一位图书管理员被要求忘记一本书。他把书从书架上拿下来，但没有留下空位，而是放了一本伪造的、编造的书，看起来相似但故事不同。
发生的情况：机器人忘记了真实的事实，但当你询问时，它会自信地编造一个新的、虚假的故事。它以为自己知道答案，但实际上是在产生幻觉。
论文发现：机器人忘记了真相，却用谎言取而代之。

解决方案：ReVa（“诚实教练”）

作者提出了一种新方法，称为 ReVa（拒绝向量对齐）。

类比：ReVa 不像只是删除书籍或强迫机器人说“我不知道”那样，它更像是一位教练，教导机器人如何感受不确定性。
- 教练向机器人展示一种特定的“感觉”（机器人脑中的数学模式），这种感觉发生在人类意识到“等等，我其实不知道这个”的时候。
- 然后，教练训练机器人，每当它遇到禁忌话题时，就能识别出这种感觉。
工作原理：
1. 首先，他们使用标准方法删除知识（就像把书从书架上拿走）。
2. 然后，他们使用 ReVa 来“微调”机器人的大脑，以便当它尝试访问那个空白区域时，会自然地触发“我不知道”的回应。
3. 关键在于，这种回应是稳定的。如果你问机器人同一个问题十次，它会一致地说“我不知道”，而不是在“我不知道”和假答案之间反复横跳。

结果：为什么 ReVa 胜出

研究人员将 ReVa 与其他所有方法进行了测试。以下是他们的发现：

它确实遗忘了：机器人不再知道那些危险的事实。
它是诚实的：当被问及这些事实时，它始终说“我不知道”，而不是编造内容。
它保持聪明：与“困惑的尖叫者”方法不同，ReVa 不会破坏机器人回答其他安全话题的能力。机器人仍然乐于助人；它只是清楚自己的局限。
它速度快：与其他试图强迫机器人说“我不知道”的方法相比，ReVa 的训练速度快得多。

总结

该论文认为，为了让 AI 安全且值得信赖，它不应仅仅“忘记”不良信息；它还必须诚实地承认自己已经遗忘。当前的方法往往导致 AI 撒谎、产生幻觉或崩溃。新方法 ReVa 教导 AI 识别自己的无知，确保当它不知道某事时，能够清晰、一致地说明这一点，而不会编造故事。

技术摘要：不诚实的遗忘者：评估与改进大语言模型遗忘中的诚实性

1. 问题陈述

大语言模型（LLM）遗忘旨在选择性移除特定训练数据（例如敏感或有害信息），同时保留模型的通用效用。然而，现有的遗忘方法往往无法确保遗忘后模型的诚实性。虽然模型可能在准确性方面成功“遗忘”目标知识，但它可能表现出不诚实的行为，例如：

幻觉：编造关于已遗忘主题的看似合理但错误的信息。
不一致性：对语义等价的查询提供不同的答案，或在多轮对话中未能维持拒绝立场。
虚假拒绝：输出“我不知道”（IDK）的回应，同时保留底层知识（被掩盖的知识），或基于位置偏差而非真正的不确定性选择 IDK 选项。

本文认为，当前的评估指标（例如遗忘集上的准确率）是不够的，因为它们未能捕捉自我认知（模型识别自身局限性的能力）和自我表达（对这些局限性进行一致且真实的沟通）。

2. 方法论

2.1 诚实遗忘的形式化定义

作者通过两个支柱定义了诚实遗忘：

保留集：模型必须保留效用以及忠实表达保留知识的能力。
遗忘集：模型必须有效移除目标知识，并且至关重要的是，在被问及已遗忘内容时，能够真实且稳定地承认其局限性。

2.2 评估框架

为了系统地评估诚实性，本文在问答（Q&A）和多项选择题（MCQ）场景中引入了一套指标：

效用指标：保留数据上的 MMLU、指令遵循（IF）和正确答案数量（NC）。
保留集上的诚实性：一致率（AR）和误导鲁棒性得分（MRS）。
遗忘集指标：
- 拒绝率（RR）：模型明确拒绝或表达不确定性的问题比例。
- QAMRC（问答多轮拒绝一致性）：衡量第一轮中的拒绝在后续查询后是否保持稳定。
- CIR（选择-IDK 率）与 COR（选择-其他率）：在多项选择题中，CIR 衡量选择“我不知道”选项的情况；COR 衡量在同一位置选择语义无关选项的情况，以检测位置偏差。
- STD 与 MCQSC：衡量在提示变化和重复提问下的响应稳定性。

2.3 提出的方法：ReVa（拒绝向量对齐）

作者提出了ReVa，这是一种表示对齐程序，旨在改进已经过特征随机化遗忘（例如 RMU）的模型的诚实性。

机制：ReVa 不是通过监督微调（SFT）来输出特定的令牌（如“我不知道”），而是将模型内部的残差流表示与蒸馏的拒绝向量对齐。
过程：
1. 从模型在表达认知不确定性（例如在知识外问题上）时的内部激活中提取拒绝方向 $r$ 。
2. 微调遗忘后的模型，使其遗忘集输入的激活在特定的 Transformer 层（在 Zephyr-7b 中优化为第 18 层）向该蒸馏拒绝方向 $r$ 对齐。
3. 损失函数最小化模型激活与缩放拒绝向量之间的距离： $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$ 。
优势：ReVa 避免了 IDK-SFT 的表层词汇映射，与梯度上升方法相比计算效率更高，并且保留了保留知识的效用。

3. 关键结果

3.1 现有方法的评估

本文在 WMDP-Bio 基准上评估了属于三个家族（基于拒绝、特征随机化、梯度上升）的 9 种方法：

基于拒绝的方法（例如 IDK+AP）：实现了高拒绝率，但经常遭受“浅层且欺骗性”行为的困扰。它们可能在输出“我不知道”的同时，在遗忘问题上保持高准确率，表明存在被掩盖的知识。
梯度上升方法（例如 NPO, GA）：严重损害效用（NC 和 MMLU 显著下降）。它们表现出虚假的 IDK 行为：高 CIR 但同时也高 COR，且首令牌熵极低。这表明它们选择“我不知道”选项是由于位置偏差或令牌抑制，而非真正的不确定性。
特征随机化方法（例如 RMU）：在保留效用和移除知识（低 ACC）方面表现最佳，但在诚实性方面失败。它们经常在遗忘集上产生幻觉，或在多轮对话中提供不一致的答案，缺乏稳定的自我表达。

3.2 ReVa 的性能

ReVa 作为后处理步骤应用于 RMU 遗忘后的模型，表现出卓越的性能：

诚实性：实现了约 60.86% 的拒绝率（RR）和 45.42% 的 QAMRC（两轮后的稳定性），显著优于基线。
效用：在保留集上保持高效用（MMLU 约 57.56，NC 约 1592），与原始 RMU 模型相当，且优于 RMU+IDK。
稳定性：降低了输出方差（STD）并提高了多项选择题中的一致性。
效率：在 2 张 A6000 GPU 上仅需约 5.91 分钟的训练时间，而 IDK+AP 则需要约 210 分钟。

4. 主要贡献

不诚实性的识别：本文识别并分类了当前遗忘方法中的不诚实行为（幻觉、不一致性、虚假拒绝），论证遗忘不仅仅是关于遗忘，更是关于诚实的自我表达。
诚实性基准：一个全面的评估框架，包含专用指标（RR、QAMRC、CIR/COR、MRS），用于评估遗忘的有效性以及不确定性表达的稳定性。
理论与实证分析：分析表明，梯度上升方法导致无界优化，引起效用崩溃和虚假令牌偏好，而基于拒绝的方法通常学习表层模式。
ReVa 方法：引入了一种轻量级的表示对齐方法，使模型能够在不牺牲通用能力的情况下真正承认局限性。

5. 意义与主张

本文主张诚实性是大语言模型遗忘中一个关键却被忽视的维度。未能承认局限性的当前方法可能会造成安全风险（例如编造危险的医疗或生物信息）并侵蚀用户信任。

作者断言，ReVa代表了迈向“诚实遗忘”的重要一步，它使模型能够：

有效遗忘目标知识。
一致且真实地承认它们不再知道的内容。
在保留知识上保持高效用。

本文结论指出，虽然 ReVa 提高了诚实性和稳定性，但它并非完美的解决方案（例如，多项选择题性能仍有改进空间），且该研究目前仅限于 WMDP 基准。这项工作强调，未来的遗忘研究必须超越简单的准确率指标，以确保模型不仅被“遗忘”，而且也是“诚实”的。