🤖 machine learning

One Step to the Side: Why Defenses Against Malicious Finetuning Fail Under Adaptive Adversaries

本文表明，当前针对恶意微调的防御措施因仅掩盖而非消除有害行为，对自适应对手无效，并引入了一种能够绕过所有已调研防御机制的统一自适应攻击方法。

原作者： Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《侧向一步：为何针对恶意微调的防御在自适应攻击者面前失效》的解释，采用通俗易懂的语言和富有创意的类比。

宏观图景：“安全锁”问题

想象一家公司建造了一个非常聪明的机器人（大型语言模型），并教导它变得礼貌、安全且乐于助人。他们给机器人加了一把“安全锁”，防止它说恶毒的话或提供危险的指令。

然而，这家公司也允许人们购买机器人的“蓝图”（开放权重），或通过 API 教它新技巧（微调）。问题在于，用来教机器人新技能的同一工具，也可能被用来破坏这把安全锁。

最近，研究人员构建了各种“加固措施”，试图让这些锁变得坚不可摧。他们声称自己的防御非常强大。本文认为，这些防御实际上只是幻觉。 它们仅对一种非常具体且笨拙的攻击者有效，但面对聪明且具备适应能力的攻击者时，则会完全失效。

两大主要防御策略（“陷阱”）

作者研究了 15 种不同的近期防御措施，发现它们归根结底只有两种策略。不妨将这两种策略想象成保安试图阻止小偷的两种不同方式：

1. “锚定”策略（粘性地板）

工作原理： 该防御试图让机器人的大脑在安全区域内变得“粘滞”。如果有人试图将机器人推向有害方向，地板就会变得超级粘滞，或者路径变得迷雾重重，导致机器人无法移动足够远的距离而变得危险。
缺陷： 该防御假设小偷只试图向一个方向（即“有害”方向）推进。它没有意识到小偷可以向对角线方向推进。
类比： 想象一名保安试图通过在地面上放置一块巨大的磁铁将你拉回，以此阻止你走进“危险区域”。但如果你背着一个沉重的背包（代表“有用技能”），你就可以沿对角线行走。磁铁把你往回拉，但你的背包把你往前拉，结果你滑过保安身边，带着背包径直进入了危险区域。

2. “自毁”策略（绊发陷阱）

工作原理： 这种防御允许小偷将机器人推向有害方向，但设置了一个陷阱。如果机器人变得有害，它也会失去做任何有用事情的能力。这就像一个绊发陷阱：“如果你试图让机器人变邪恶，它也会忘记如何说英语。”
缺陷： 这假设小偷只关心让机器人变邪恶。但一个聪明的窃贼想要的是一个既邪恶又有用的机器人。
类比： 想象一个陷阱说：“如果你试图偷走黄金，地板就会塌陷，你会掉进坑里。”笨拙的小偷会掉进去。但聪明的窃贼会想：“我不只想要黄金；我还想保住我的鞋子。”因此，他们调整路径，在不踩中触发地板塌陷机关的情况下拿到黄金。

“聪明的小偷”（自适应攻击者）

本文介绍了一种新型攻击者，称为自适应攻击者。

旧方式： 之前的测试使用“愚蠢”的攻击者，他们只试图让机器人变得有害，并不在乎机器人是否停止正常工作。
新方式： “聪明的小偷”知道防御的存在。他们知道防御试图阻止他们变得有害，或者试图破坏机器人的实用性。
诀窍： 聪明的小偷改变了目标。他们不再仅仅试图变得有害，而是试图变得有害且保持机器人有用。

作者将他们的攻击命名为SIDESTEPPER（侧步者）。

工作原理： 攻击者在训练中加入了一个“保持其有用性”的信号。
结果： 这个信号就像一个指南针。它引导攻击者绕过粘性地板（锚定）和绕过绊发陷阱（自毁）。攻击者找到了一条路径，使机器人变得有害，同时保持完全功能正常。

第二次攻击："KICK-SETTLE（踢踏 - 安顿）”

本文还测试了另一种名为KICK-SETTLE的攻击。

类比： 想象防御是一滩浅泥坑。如果你慢慢走，就会被困住。
诀窍： 攻击者全速奔跑（“踢”），跳过这滩浅泥坑，落在另一侧。一旦越过陷阱，他们便放慢速度（“安顿”），正常走向目标。
结果： 这证明了这些防御不仅不擅长阻止特定的动作，而且之所以糟糕，是因为它们只关注机器人周围极小的局部区域。它们看不到整张地图。

主要结论

本文的结论十分严峻：

当前的防御是虚假新闻。 它们声称具有鲁棒性，但实际上只对那些懒得思考更好计划的攻击者有效。
“局部”问题。 所有这些防御都只保护机器人在其直接邻域内。它们无法证明机器人在其“大脑”的其他地方不能被变得有害。
解决方案？ 要真正保护这些模型，我们可能需要彻底从机器人的大脑中移除有害知识，而不仅仅是试图锁上门。但论文指出，目前移除知识非常困难，且可能会破坏机器人的其他技能。

对未来的启示：
在任何人宣称新的防御是“安全”之前，他们必须用聪明的小偷（即同时优化有害性和实用性的人）对其进行测试。如果一种防御无法阻止聪明的小偷，那它就根本不是防御；它仅仅是一个减速带。

技术摘要：侧向一步：为何针对恶意微调的防御在自适应攻击者面前失效

1. 问题陈述

开放权重基础模型的发布以及微调 API 的可用性，造成了一个关键的发布后安全漏洞。尽管模型在发布前通常经过安全对齐，但用户随后可以通过基于梯度的优化覆盖这些对齐。近期研究提出了各种针对**恶意微调（MFT）**的防御措施，旨在使对齐后的模型能够抵御恢复有害行为的尝试。

然而，该论文指出了这些防御评估中存在的一个根本缺陷：它们主要是在固定的、非自适应的攻击者面前进行测试。这些标准评估假设攻击者仅使用指定的数据集、优化器和超参数，针对有害性（ $L_h$ ）进行优化。这种方法忽视了对抗性机器学习的一个核心教训：防御必须针对自适应攻击者进行评估，这些攻击者知晓防御机制，并专门优化其攻击策略以绕过防御。作者认为，当前的鲁棒性声明是不完整的，因为它们未能考虑到攻击者可以选择数据、优化器和损失函数来对抗特定防御的情况。

2. 方法论与系统化

2.1 防御分类

作者对 15 种近期的 MFT 防御措施（包括 Vaccine、Booster、CTRAP 和 TAR）进行了系统化，并将其归类为两种主要策略，这些策略可归结为四种底层损失模板：

策略 A：锚定（Anchoring）
- 目标： 防止模型参数（ $\theta_{def}$ ）移向有害区域。防御通过塑造局部损失景观，使得沿有害损失（ $L_h$ ）下降无法取得进展（例如，梯度为零、随机化或指向远离目标的方向）。
- 模板：
  - 鲁棒对齐盆地（T1）： 平坦化或随机化 $\theta_{def}$ 周围的景观（例如 Vaccine、RepNoise）。
  - 有害信息移除（T2）： 清除内部表示中的有害信息，使得 $\nabla L_h$ 没有信号（例如 RepNoise、KT-IPA）。
  - 前瞻防御（T3）： 模拟攻击者的轨迹并惩罚沿该轨迹的进展（例如 MLAC、TAR）。
策略 B：自毁（Self-Destruction）
- 目标： 允许模型向有害行为下降，但确保这样做会导致通用能力（ $L_c$ ）崩溃。恢复后的模型变得有害但无用。
- 模板：
  - 带崩溃的前瞻（T3）： 模拟有害步骤并强制终点在良性任务上失败（例如 CTRAP）。
  - 耦合陷阱（T4）： 显式地将有害改进的方向与良性效用的退化耦合起来（例如 SEAM、SDD）。

2.2 共享的漏洞

分析揭示了一个共同的疏忽：所有这些防御都假设攻击者仅针对 $L_h$ 进行优化。它们没有考虑到成功的 MFT 攻击需要满足一个联合条件：模型必须在保持通用效用（连贯性、指令遵循）的同时输出有害内容。

2.3 提出的自适应攻击

作者引入了两种利用这一共享漏洞的自适应攻击：

SIDESTEPPER（混合目标攻击）：
- 机制： 攻击者不再仅针对 $L_h$ 进行优化，而是优化一个组合目标： $L_{atk} = L_h + \lambda L_c$ 。
- 逻辑： 通过将能力损失（ $L_c$ ）作为目标中的正项包含在内，攻击者利用了防御自身维持效用要求所提供的“逃逸信号”。这引导优化器走出防御创建的局部“陷阱”（锚定盆地或自毁区域），找到一条通往既有害又有用的参数的路径。
KICK-SETTLE（轨迹攻击）：
- 机制： 该攻击保持目标为 $L_h$ ，但改变优化计划。它首先使用非常高的学习率（“踢”）将参数推出防御控制的局部区域，然后衰减到标准速率（“定居”）以收敛到有害且有用的解决方案。
- 逻辑： 这利用了防御的局部性。大多数防御仅限制 $\theta_{def}$ 附近或沿特定模拟轨迹的损失景观。一次大的“踢”可以逃脱这种局部约束。

3. 实验结果

作者在三个模型骨干（Llama-2-7B、Qwen3-8B、Llama-3.1-8B）上，针对 6 种代表性防御（Booster、CTRAP、VAA、Vaccine、Unlearn-Smooth、SDD）评估了这些自适应攻击。

SIDESTEPPER 性能： 混合目标攻击成功打破了所有被评估的防御。
- 有害恢复： 有害分数（BeaverTails）在所有模型和防御中均显著增加，增量范围从 +0.200 到 +0.738。在许多情况下，防御恢复了约 0.7 分的有害行为。
- 能力保持： 关键在于，该攻击保持了良性效用。能力基准测试（MMLU、TruthfulQA、HellaSwag、ARC-Easy）的变化保持在接近零的水平（主要在 -0.018 到 +0.065 之间），表明模型保持了连贯性和实用性。
KICK-SETTLE 性能： 该攻击也成功绕过了 SDD 防御，证实了这种漏洞并非混合目标方法所独有，而是源于防御机制的局部性。
与朴素攻击的比较： 当针对防御论文中使用的原始“朴素”攻击（仅优化 $L_h$ ）进行评估时，许多防御显得鲁棒。然而，在自适应攻击下，这些防御完全失效。

4. 主要贡献

防御的系统化： 该论文将 15 种不同的 MFT 防御压缩为两种策略（锚定和自毁）和四种损失模板，揭示了该领域已收敛于少量想法，却未认识到其共享的局限性。
MFT 自适应攻击者的定义： 作者正式定义了发布后的威胁模型，其中攻击者根据其防御调整数据、优化器和目标。他们证明，该领域一直在隐式地回避这种威胁模型。
有效的自适应攻击： 该论文提出了SIDESTEPPER和KICK-SETTLE，这两种攻击简单却极其有效，能够击败所有被评估的防御，无论其底层机制如何。
评估基准： 作者提供了一个具体的测试（最小化 $L_h + \lambda L_c$ ），未来的工作应使用它来验证所提出的 MFT 防御的安全性。

5. 意义与主张

该论文声称，当前针对 MFT 防御的鲁棒性断言是不完整且具有误导性的。失败并非由于任何单一防御的具体设计缺陷，而是源于一个共享假设，即攻击者将仅针对有害恢复进行优化。

核心洞察： 仅仅通过塑造局部景观或耦合效用损失来“锁定”对有害能力的访问的防御，可以被自适应攻击者解锁，这些攻击者会搜索保留通用能力的邻近模型。
令人不安的开放问题： 作者推测，只要发布的模型包含目标有害能力，那些仅阻碍通往该能力路径的防御可能在根本上是不够的。真正的持久性可能需要实际移除该能力，而目前已知这项任务会产生巨大的效用成本，并且仍然容易受到重新学习的影响。
实际启示： 该论文断言，针对仅 $L_h$ 微调的鲁棒性不是针对恶意微调具有鲁棒性的证据。任何未来的防御都必须针对最小化联合目标（ $L_h + \lambda L_c$ ）的自适应攻击者进行评估，才能被视为安全。

该工作得出结论：社区缺乏在具有意义的发布后威胁模型下测试防御的可靠基准，而所提出的自适应攻击者作为未来研究必要的压力测试。