💬 NLP

LLM Ghostbusters: Surgical Hallucination Suppression via Adaptive Unlearning

本文介绍了自适应遗忘（AU），这是一种部署后框架，通过采用混合词元级目标和自适应发现循环，在无需人工标注或全模型重训练的情况下将幻觉率降低 81%，从而精准抑制大语言模型的幻觉，尤其是在代码生成中导致“垃圾 squatting"攻击的幻觉。

原作者： Joseph Spracklen, Pedram Aghazadeh, Farinaz Koushanfar, Murtuza Jadliwala

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joseph Spracklen, Pedram Aghazadeh, Farinaz Koushanfar, Murtuza Jadliwala

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、极具创造力的助手，它为你编写计算机代码。这位助手速度极快，精通完美的“计算机语言”，但它有一个危险的坏习惯：它有时会凭空捏造。

具体来说，当被要求编写程序时，它可能会发明一个根本不存在的软件工具。它会说：“你需要安装 super-fast-plotter 库，”并给出相应的安装命令。

问题在于：由于这位助手听起来如此自信，开发者可能会真的尝试去安装它。如果黑客发现助手编造了这个名字，他们就可以迅速在互联网上注册一个名为 super-fast-plotter 的虚假软件包，将其填充病毒，然后静候时机。当开发者（或自动化机器人）尝试安装助手推荐的“工具”时，他们反而会意外下载病毒。这被称为**“垃圾 squatting"（SlopSquatting）攻击**。

本文介绍了一种名为**自适应遗忘（Adaptive Unlearning, AU）**的新方法来解决这个问题。你可以将其想象为一把“手术橡皮擦”，它在消除助手的坏习惯的同时，不会让它忘记如何编写代码。

旧有修复方法的问题

通常，如果人工智能犯错，你只有两个糟糕的选择：

重新训练整个模型：这就像把助手送回学校，花一年时间重新学习一切。这不仅昂贵、缓慢，而且在这个过程中，你可能会失去它的其他技能。
仅仅告诉它们“不要那样做”：如果你只是说“停止编造库名称”，人工智能往往会感到困惑。它可能会停止编造名称，但同时也无法正确编写代码，或者开始编造其他错误的东西。

解决方案：自适应遗忘（“捉鬼敢死队”方法）

作者们创建了一个系统，充当人工智能想象力的**“捉鬼敢死队”**。他们不是试图删除人工智能的整个记忆，而是像手术一样精准地移除“鬼魂”（虚假软件包），同时保持“现实”（真实代码）的完整。

以下是其工作原理，采用一个简单的三步循环：

1. 侦探循环（自适应发现）

该系统不会仅仅猜测人工智能可能会在哪里出错。它像一名侦探，不断向人工智能提问：“为我编写 X、Y 和 Z 的代码。”

如果人工智能编造了一个虚假软件包，系统就会将其捕获。
如果人工智能停止编造那个特定的虚假软件包，系统就会稍微改变问题（进行“变异”），诱骗人工智能编造一个新的虚假软件包。
类比：想象一位老师不断变换数学题目。如果学生背下了"2+2"的答案，老师就会问"3+3"。目标是教会学生数学的规则，而不仅仅是某一道特定题的答案。

2. 手术面具（三重掩码）

这是本文最巧妙的技巧。当人工智能写出像“导入 real-lib 和 fake-lib"这样的句子时，系统会在这些词语上覆盖特殊的面具：

绿色面具（强化）：在 real-lib 上，它表示：“干得好！记住这是真实的。”
红色面具（抑制）：在 fake-lib 上，它表示：“停下！这是谎言。忘掉这个名字。”
灰色面具（忽略）：在句子的其余部分（代码结构、标点符号），它表示：“不要触碰这里。继续正常编写代码。”

类比：想象一位画家不小心在白墙上画了一个红点。系统不是重刷整面墙（这会毁掉整幅画），而是使用模板只擦除红点，同时保护画作的其余部分。

3. “练习”循环（嵌套训练）

系统不会只尝试修复一次错误就继续前进。它意识到，如果太快改变人工智能的想法，人工智能会感到困惑，甚至完全忘记如何粉刷墙壁。

因此，它利用找到的“错误”示例，让人工智能在寻找新错误之前，反复练习修正这些错误。
类比：这就像一位教练让运动员连续练习 10 次某个错误的动作，以建立肌肉记忆，而不是只说一次“别那样做”，然后立刻向他们扔一个新的球。

结果

本文在两个不同的人工智能编码模型上测试了这种方法。结果如下：

虚假软件包：人工智能编造的虚假、危险软件包名称数量下降了81% 至 88%。
真实代码：人工智能编写实际可用代码的能力保持不变（甚至略有提升）。
安全性：这些修改非常精确，以至于人工智能的“大脑”仅在“软件包名称”这一特定领域发生了变化。其关于如何编写代码的通用知识保持原封不动。

为什么这很重要

这是一种“部署后”的修复方案。这意味着公司无需关闭其人工智能，花数月时间重新训练，并冒着破坏它的风险。他们只需在他们现有的人工智能上运行这个“捉鬼敢死队”流程，像手术一样精准地移除编造虚假软件库这一特定安全风险，同时保持人工智能的有用性和智能。

简而言之：本文教导我们如何像手术一样精准地移除人工智能编造特定事物（虚假软件包）的倾向，而不会让它忘记如何完成实际工作（编写代码）。

技术摘要：LLM 捉鬼敢死队：通过自适应遗忘进行手术式幻觉抑制

1. 问题陈述

部署在代码生成领域的大型语言模型（LLM）经常产生幻觉：即语言流畅但事实错误的输出。在软件开发背景下，这表现为包幻觉，即模型编造不存在的软件库名称（例如，虚构的 Python 包）。

这种故障模式造成了一种关键的供应链漏洞，称为垃圾 squatting（slopsquatting）。攻击者可以主动在公共注册中心（如 PyPI）上注册这些被幻觉产生的包名，并植入恶意负载。当开发者或自主代理随后根据 LLM 的推荐安装这些包时，恶意代码就会被执行。

现有的缓解策略不足以支持部署后的优化：

全量重训练在计算上代价过高。
检索增强生成（RAG）和推理时验证增加了延迟和复杂性，却未改变模型底层的学习表征。
标准机器遗忘（例如梯度上升、NPO）通常需要一个预先指定的有限“遗忘集”。然而，诱发幻觉的提示空间是开放式的，模型将产生哪些具体幻觉直到被诱发出来之前都是未知的。
**部分模型崩溃（PMC）**提供了一种针对性内容移除的机制，但假设存在一个固定的、已知的遗忘数据集，这不适用于幻觉动态且无界的特性。

2. 方法论：自适应遗忘（AU）

作者提出了自适应遗忘（AU），这是一个闭环的、部署后框架，旨在手术式地抑制幻觉，同时保留模型的通用效用。AU 完全在模型自身生成的合成数据上运行，无需人工标注。

核心组件

自适应提示变异循环：
- 不依赖静态遗忘集，AU 持续发现新的诱发幻觉的上下文。
- 系统从当前模型生成样本。如果某个提示未能诱发幻觉，或已训练了设定的轮数，则被视为“耗尽”。
- 随后对该提示进行变异（语义变化），以诱发新的幻觉模式，确保模型学习抑制模式，而不是死记硬背特定的提示 - 输出对。
三掩码令牌路由：
- 一种新颖的三值梯度路由机制，将每个训练样本的令牌流划分为三个互不相交的群体：
  - 掩码 = 0（正则化）： 上下文令牌（提示、代码结构、标点符号）。这些令牌接收缩放的交叉熵（CE）损失，以锚定模型的分布并防止输出不连贯。
  - 掩码 = 1（强化）： 有效令牌（例如，经注册中心 oracle 确认的正确包名）。这些令牌接收标准 CE 损失，以强化正确的生成。
  - 掩码 = 2（抑制）： 幻觉令牌（例如，不存在的包名）。这些令牌接收**负偏好优化（NPO）**损失，将概率质量从这些令牌上推开。
- 这种三掩码机制确保强化和抑制梯度作用于互不相交的令牌集，防止在对同一令牌应用对立目标时通常出现的灾难性崩溃。
混合目标函数：
- 总损失结合了三个项：
  $L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$
- 这使得模型能够在同一序列中同时学习不生成什么（幻觉）和要生成什么（有效替代方案）。
嵌套训练循环：
- 为了稳定遗忘过程，AU 采用双时间尺度训练结构：
  - 外层轮次： 重新生成样本并检测幻觉，以更新三掩码。
  - 内层轮次： 基于外层轮次缓存的样本进行多步训练，然后再重新采样。这使模型能够巩固抑制信号，而不是不断“追逐”变化的样本。

3. 主要贡献

自适应遗忘框架： 第一种将自适应幻觉发现循环与混合令牌级目标相结合的遗忘方法，能够在没有预先指定遗忘集的情况下泛化到未见过的提示。
三掩码令牌路由： 一种机制，通过将令牌划分为有效、幻觉和上下文类别，实现在单个序列内进行手术式编辑，允许 CE 和 NPO 目标在不冲突的情况下运行。
自适应提示变异： 一种策略，将遗忘从有限集扩展到开放式提示空间，确保模型抑制幻觉模式，而不是过拟合到特定提示。
嵌套训练以实现稳定性： 一种缓存刷新方案，解决了先前基于崩溃的遗忘方法的不稳定性问题，对于稳定的幻觉减少至关重要。
系统联合评估： 对幻觉率、分布漂移和编码效用进行实证比较，证明有效的缓解需要平衡这三个维度。

4. 实验结果

作者在 DeepSeek-Coder 模型（7B 和 16B 参数）上评估了 AU，使用了旨在诱发包幻觉的代码生成提示数据集。

幻觉减少：
- 在 DeepSeek-7B 模型上，AU 将总包幻觉率从 21.2%（基线） 降低到 2.56%，减少了 88%。
- 在 DeepSeek-16B 模型上，该比率从 27.75% 下降到 6.13%，减少了 78%。
- 这显著优于基线方法：梯度上升（GA）、负偏好优化（NPO）和部分模型崩溃（PMC）。
效用保留：
- AU 在标准编码基准（HumanEval、MBPP 及其 EvalPlus 变体）上保持或略微提高了性能。
- 对于 DeepSeek-7B，平均编码基准得分提高到 68.57（基线模型为 66.98）。
- 对于 DeepSeek-16B，得分保持在 73.17 稳定（基线为 77.4，注：略有下降归因于 MoE 训练动态，但仍优于其他遗忘基线）。
分布漂移（KL 散度）：
- 分析表明，AU 引起的行为变化高度集中在包生成分布中（包查询的 KL 散度约为 1.4 nats），而在通用代码生成（KL 散度约为 0.08 nats）和指令遵循方面保持最小。
- 这证实了遗忘的“手术式”性质，避免了对模型能力的广泛附带损害。
消融研究：
- 损失组成： 仅 CE（强化）或仅 NPO（抑制）都不足以解决问题；两者均导致 >12% 的幻觉率。混合方法至关重要。
- 内层轮次： 没有内层轮次（单步重新采样）的训练无法有效减少幻觉。至少需要约 10 个内层轮次才能实现稳定的巩固。
- 提示变异： 自适应变异对于泛化至关重要。没有变异，幻觉率保持高位（约 10.7%）；经过 6 次变异后，比率降至约 3.9%。

5. 意义与主张

该论文声称，自适应遗忘为供应商提供了一条原则性、实用的路径，以在发布周期之间解决已部署 LLM 中的幻觉问题。

安全影响： 通过将包幻觉率降低 80% 以上，AU 直接缩小了**垃圾 squatting（slopsquatting）**攻击的攻击面，这是一种关键的供应链漏洞。
操作可行性： 与全量重训练不同，AU 在合成的自生成数据上运行，无需人工标注，也不依赖外部知识库或推理时验证的开销。
通用性： 虽然实验集中在 Python 包幻觉上，但作者认为该框架与生态系统无关，适用于任何具有确定性 oracle（例如 API 端点、引用、历史声明）的领域。
局限性： 作者谦逊地指出，当前的 oracle 仅验证字符串级别的有效性（注册中心是否存在），而非代码中的语义正确性。他们还承认，在更大规模（超过 16B）上进行全参数微调所需的资源超出了当前研究的范围，并且向通用（非代码）LLM 的泛化仍然是一个开放的扩展方向。

总之，该论文将 AU 呈现为一种成功驾驭抑制特定 unwanted 行为与保留模型通用效用之间权衡的方法，解决了由于幻觉的开放式性质而导致先前遗忘方法失败的空缺。