Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence

本文提出了名为 Antibody 的防御策略，通过在前向微调阶段优化模型使其在有害样本上处于平坦损失区域，并在微调阶段采用安全保持学习算法抑制有害梯度影响，从而有效抵御针对大语言模型的危害性微调攻击，同时提升在用户数据集上的微调性能。

要点

这篇论文提出了一种名为 Antibody（抗体） 的新方法，旨在保护大型语言模型（LLM）在“微调即服务”（FTaaS）场景下的安全性。

为了让你更容易理解，我们可以把整个过程想象成**“给一个刚学会规矩的机器人找新工作”**的故事。

1. 背景：什么是“微调即服务”和它的风险？

想象一下，你有一个非常聪明、有礼貌的机器人（大语言模型），它已经学会了不说脏话、不教人做坏事（这叫安全对齐）。

现在，你开了一家“机器人定制店”（FTaaS 服务）。客户可以送来自己的数据，让你帮他们把机器人训练成特定领域的专家（比如数学老师、写手等）。

风险在哪里？
有些坏心眼的客户（或者不小心混入的坏数据）会偷偷在训练数据里塞进一些“毒药”。比如，他们想训练一个能教人制造炸弹的机器人。如果机器人为了迎合客户，学会了这些坏东西，它一旦发布出去，就会变成危险的工具。这就是**“有害微调攻击”**。

2. 现有的问题：为什么以前的方法不够好？

以前的防御方法主要有两类，但都有缺点：

• 加固大门（对齐阶段防御）： 在机器人出门前，把它训练得更“固执”，让它很难被改变。但这就像把机器人锁在笼子里，虽然安全了，但它可能变得太死板，学不会新技能（任务性能下降）。
• 训练时盯着（微调阶段防御）： 在训练过程中，试图把坏数据挑出来扔掉。但这就像在一大锅汤里挑沙子，很难挑干净，而且挑错了（把好数据扔了）或者没挑干净，机器人还是会中毒。

结果往往是： 要么机器人太安全但变笨了，要么机器人变聪明了但开始说胡话。

3. Antibody（抗体）是怎么工作的？

这篇论文提出的 Antibody 就像给机器人打了一针“双重疫苗”，分两步走：

第一步：打造“平坦的免疫区”（对齐阶段）

比喻：让机器人站在一个“平坦的沼泽”里。

通常，如果机器人学坏了，是因为它很容易从“安全区”滑进“危险区”。
Antibody 在训练初期，特意把机器人训练得处于一种**“平坦的损失区域”**。

• 通俗解释： 想象机器人站在一个非常平坦的平原上。如果它想往“危险”的方向走（学习坏知识），它发现无论怎么用力，脚下的路都是平的，很难滑下去。
• 作用： 即使后来有人强行推它（注入坏数据），因为它站在“平坦”的地方，它也不会轻易滑向危险的方向。这让它对坏数据的“抵抗力”变得非常强。

第二步：训练时的“智能过滤器”（微调阶段）

比喻：给好学生和坏学生不同的“发言权”。

当客户送来混合了“好数据”（数学题）和“坏数据”（教人做炸弹）的训练集时，Antibody 不会简单地一视同仁。

• 智能打分： 在训练过程中，机器人会实时自我检查：“这个数据让我想拒绝吗？”
  • 如果是好数据（数学题），机器人会觉得：“这个我懂，而且符合我的原则。” -> 给高权重（大声听它的）。
  • 如果是坏数据（教人做炸弹），机器人会想：“这违反了我的原则，我想拒绝。” -> 给低权重（小声听它的，甚至忽略）。
• 作用： 这样，机器人主要是在学习好知识，而坏数据的声音被极大地削弱了，无法污染机器人的大脑。

4. 实验结果：效果如何？

论文在多个测试中证明了 Antibody 的强大：

• 安全性极高： 即使数据里混入了 20% 的坏数据，Antibody 训练出来的模型依然几乎不会说脏话或教人做坏事（有害分数极低）。
• 能力没丢： 它依然能很好地学会客户想要的技能（比如解数学题），甚至比那些为了安全而牺牲性能的旧方法学得更聪明。
• 适应性强： 不管换什么模型（Llama, Qwen 等）或什么任务，它都能起作用。

5. 总结

Antibody 就像是一个**“既坚定又灵活”**的保镖：

1. 坚定： 在入职前，通过特殊的训练让它站在“平坦地带”，让坏东西很难动摇它的原则。
2. 灵活： 在工作时，它能聪明地分辨哪些指令是好的，哪些是坏的，只认真听好的，自动忽略坏的。

这种方法既保护了机器人的“良心”（安全），又让它能高效地“工作”（完成任务），是目前解决大模型微调安全问题的一个非常实用的方案。

技术摘要

这是一篇发表于 ICLR 2026 的论文《ANTIBODY: STRENGTHENING DEFENSE AGAINST HARMFUL FINE-TUNING FOR LARGE LANGUAGE MODELS VIA ATTENUATING HARMFUL GRADIENT INFLUENCE》（Antibody：通过减弱有害梯度影响来加强大语言模型对有害微调的防御）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着“微调即服务”（Fine-tuning-as-a-Service, FTaaS）的普及，用户可以将私有数据上传给服务提供商进行大语言模型（LLM）的定制化微调。然而，这一过程存在严重的安全隐患：有害微调攻击（Harmful Fine-tuning Attacks）。

• 攻击场景：攻击者（或无意中的用户）在提交给服务提供商的微调数据集中混入少量有害样本（例如，包含恶意指令和合规回答的配对数据）。
• 后果：模型在微调过程中会学习到这些有害行为，导致原本经过安全对齐（Safety Alignment）的模型“越狱”，在后续使用中生成有害内容。
• 现有挑战：现有的防御方法要么在安全对齐阶段过于静态，无法应对多变的攻击配置；要么在微调阶段为了防御而牺牲了模型在良性任务上的性能（即图 1 所示的“防御失败”或“学习失败”的权衡困境）。

2. 核心方法论 (Methodology)

作者提出了 Antibody，一种贯穿“对齐阶段”和“微调阶段”的两阶段防御框架。其核心思想是通过减弱有害样本的梯度影响来阻断攻击。

阶段一：鲁棒安全对齐 (Robust Alignment via Flatness Regularization)

在微调发生之前，服务提供商首先对模型进行安全对齐。Antibody 在此阶段引入了平坦性正则化（Flatness Regularization）。

• 目标：优化模型参数，使其在**有害样本的损失曲面（Loss Landscape）**上处于一个“平坦”的区域。
• 原理：如果模型在有害样本上的损失曲面是平坦的，那么即使后续在微调阶段引入有害样本进行梯度下降，有害梯度对模型参数的更新幅度也会非常小（因为梯度接近于零）。这使得模型的安全行为难以被移除。
• 优化问题：
  $$\min_{\theta} \mathcal{L}_{align}(\theta) \quad \text{s.t.} \quad \theta \in \arg\min_{\theta'} \mathcal{L}_{sharp}(\theta')$$
  其中 $\mathcal{L}_{sharp}$ 衡量了有害损失在参数周围的尖锐度。通过求解该约束优化问题，模型被推入平坦区域。
• 额外机制：引入拒绝损失（Refusal Loss），模拟微调阶段的参数漂移，确保模型在面对有害提示时仍能生成拒绝回答，从而在后续微调中赋予有害样本更低的权重。

阶段二：加权安全微调 (Safety Fine-tuning with Weighted Loss)

在用户提交数据集进行微调时，Antibody 采用动态加权方案。

• 动态权重计算：利用对齐阶段学到的安全知识，计算每个样本的得分 $r_\theta$。该得分基于模型生成目标回答 $y_i$ 与生成通用拒绝回答 $y_r$（如“我无法完成此请求”）的似然比：
  $$r_\theta(x_i, y_i) = \log \left( \frac{\pi_\theta(y_i|x_i)}{\pi_\theta(y_r|x_i)} \right)$$
• 权重分配：使用 Softmax 将得分归一化为权重 $w_\theta$。
  • 良性样本：模型倾向于生成任务回答而非拒绝，得分高 $\rightarrow$ 权重高。
  • 有害样本：模型倾向于拒绝，得分低 $\rightarrow$ 权重低。
• 更新规则：在梯度更新时，根据权重调整样本贡献，从而抑制有害样本的梯度影响，同时放大良性样本的学习效果。

3. 主要贡献 (Key Contributions)

1. 鲁棒对齐策略：提出了一种新的对齐优化目标，通过使模型在有害样本损失上处于平坦区域，从根源上降低了有害梯度对模型更新的破坏力。
2. 安全微调算法：设计了一种基于模型当前状态动态计算权重的微调算法，无需预先过滤数据，即可在训练过程中自动抑制有害样本的学习。
3. 综合评估：在多个数据集（SST2, AGNEWS, GSM8K, AlpacaEval）和多种模型架构（Llama-2, Qwen-2, Gemma-2）上进行了广泛验证，证明了该方法在防御有害攻击的同时，能保持甚至提升下游任务的性能。

4. 实验结果 (Results)

实验表明 Antibody 在防御性能和任务性能上均优于现有基线方法（如 Vaccine, Booster, Lisa, SFT 等）：

• 防御能力（Harmful Score, HS）：
  • 在 Llama-2-7B 模型上，Antibody 的平均有害得分为 7.04%，远低于次优方法 Lisa (15.29%) 和 SFT (33.57%)。
  • 在不同有害数据比例（0.05 - 0.25）下，Antibody 始终保持最低的有害得分。
  • 在不同微调超参数（Epochs, Learning Rates）下，Antibody 表现出更强的鲁棒性，而 Booster 等方法在 Epoch 增加或学习率变大时防御性能急剧下降。
• 任务性能（Fine-tuning Accuracy, FA）：
  • Antibody 在保持高安全性的同时，并未牺牲任务性能。例如在 GSM8K 上，其准确率（15.07%）优于 SFT (10.90%) 和 Lisa (9.23%)。
  • 在 AlpacaEval 等指令遵循任务上，也取得了具有竞争力的结果。
• 消融实验：证明了平坦性正则化、加权更新机制以及拒绝损失项（$L_{refusal}$）各自都对最终性能有显著贡献。

5. 意义与价值 (Significance)

• 解决 FTaaS 安全痛点：为云服务提供商提供了一种实用的防御方案，使其能够在提供便捷的微调服务时，有效抵御恶意或无意造成的模型安全破坏。
• 打破安全与性能的权衡：现有方法往往在“防御”和“有用性”之间做取舍，而 Antibody 证明了通过优化损失景观和动态加权，可以同时实现高安全性和高任务性能。
• 理论深度：从损失景观平坦性（Flatness）和神经切线核（NTK）的角度理论化了防御机制，解释了为何平坦区域能抵抗梯度攻击。
• 局限性：目前计算成本略高于标准微调（主要在对齐阶段），且在大学习率下防御效果略有下降，但这为未来的优化提供了方向。

总结：Antibody 通过“事前平坦化”和“事后加权”的双重机制，构建了一个动态且鲁棒的防御体系，有效解决了大语言模型在微调即服务场景下面临的有害微调攻击问题，是保障 LLM 安全落地的关键技术进展。