💬 NLP

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

本文提出了一种拒绝教师引导的微调框架，该框架通过直接使用安全引导对基座模型进行训练，而非依赖于预对齐权重所提供的微弱初始化，从而在遭受有害微调攻击时同时提升安全性与下游任务性能。

原作者： Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，一种强大的新能力已经出现：即利用用户自己的数据，将大规模通用语言模型进行定制化调整以满足特定需求。这种通常被称为“微调”（finetuning）的服务，允许公司和个人为专门的任务定制这些数字大脑，从编写代码到分析医疗记录。然而，这种灵活性也伴随着一个隐藏的危险。如果用于定制的数据包含有害指令——例如制造武器或生成仇恨言论的请求——模型可能会学会忽略其安全规则。这种被称为“有害微调攻击”的漏洞，威胁着要将有益的工具变成危险的工具。开发者的核心挑战在于，如何找到一种方法，既能让用户定制他们的模型，又不会在无意中教会它们变得不安全。

在一段时间内，解决这一问题的标准方案是一个两步走的过程。首先，开发者会拿取一个基础模型，并在安全数据上对其进行广泛训练，教导它拒绝有害请求。这创造了一个“经过安全对齐”的模型。然后，他们会拿取这个已经安全的模型，并在此基础上针对用户的特定数据进行进一步训练。来自韩国科学技术院（KAIST）的研究人员现在发现，这种传统方法是有缺陷的。他们发现，从一个已经经过大量安全规则训练的模型开始，实际上会使模型更难有效地学习新任务。安全训练改变了模型的内部设置，使其处于一种不利于学习新技能的状态，从而导致一种折中局面：模型要么在用户的任务上表现不佳，要么更糟的是，在接触到坏数据时会忘记其安全规则。

为了解决这个问题，研究人员提出了一个颠覆性的策略。他们不再从一个已经被强行要求安全的模型开始，而是从一个原始的、具有适应性的基础模型开始，并同时在用户数据和安全数据上直接进行训练。然而，仅仅将这两类数据混合在一起会产生一个新的问题：模型会感到困惑，因为“有用”的目标与“安全”的目标有时会朝着相反的方向拉扯。为了解决这种冲突，团队引入了一个“拒绝教师”（Refusal-Teacher）。这是一个独立的、经过安全训练的模型，充当引导者的角色。它本身并不进行学习，而是观察学习过程并提供两项关键服务。首先，它在主模型看到用户数据之前，过滤掉其中的有害指令，防止坏数据造成破坏。其次，它通过使用“软性示例”而非僵化的规则，温和地引导模型如何处理安全性，从而帮助模型平稳学习。

这种新方法的实验结果令人瞩目。在研究人员引入不同比例有害数据（从零到一半的训练集）的测试中，他们的方法始终优于现有方法。当训练数据包含50%的有害提示词时，传统方法无法保持模型的安全，在某些情况下，有害响应的比例激增至近80%。相比之下，新方法将有害响应控制在1%以下，同时仍能让模型以极高的准确度学习用户的任务。这种成功在不同类型的任务（如解决数学问题或分析新闻文章）中均成立，并且适用于多种不同的模型架构。研究人员还发现，这种方法减少了模型在尝试同时学习两个对立事物时所产生的内部“张力”或冲突，从而实现了更稳定、更高效的训练过程。

这项研究表明，安全定制的关键不在于预先通过安全规则使模型“硬化”，而在于保持模型的灵活性，并在学习过程中进行精细的引导。通过使用一位教师来过滤毒素并提炼安全教训，该系统实现了一种此前难以企及的平衡。研究人员证明，即使有害数据被伪装或来自不同来源，这种方法依然有效，展现出了目前防御手段所缺乏的鲁棒性。虽然这项工作是一个重要的进步，但它也强调了人工智能的安全并非一次性的设置，而是一个需要持续、智能引导的动态过程。这些发现为服务提供商提供了一条清晰的路径，使其能够在提供定制化服务的同时，不必牺牲所部署工具的安全性，确保随着这些模型变得更加专业化，它们依然值得信赖。

技术摘要：用于安全 FaaS 的拒绝教师引导微调

问题陈述

本文探讨了微调即服务（FaaS）在面对有害微调攻击时的脆弱性。在这种场景下，用户提交的定制数据包含混合了无害提示词和有害提示词（例如，生成不安全内容的指令）的数据。如果提供商基于这些数据对大语言模型（LLM）进行微调，模型的安全性对齐可能会退化，导致输出有害内容。

作者指出，现有的旨在缓解此类风险的两阶段流水线存在一个关键缺陷：

对齐阶段： 预训练模型通过安全性数据进行对齐。
微调阶段： 将得到的安全性对齐后的模型在用户数据上进行微调。

论文认为这种方法是次优的，因为安全性对齐后的权重为下游任务学习提供了弱初始化。这导致了一个权衡问题：模型要么在下游任务性能上表现不佳，要么在用户微调后失去安全性对齐。此外，直接在用户数据和安全性数据上同时对基座模型进行微调（若没有特定机制）会引入安全性目标与效用目标之间的梯度冲突，从而导致训练不稳定。

方法论：拒绝教师引导的微调

为了克服这些局限性，作者提出了一个范式转变：与其微调安全性对齐后的权重，不如提议在显式安全性教师的引导下微调基座权重。该方法通过 拒绝教师（Ref-Teacher）引导的微调框架 实现，该框架由两个阶段组成：

1. 教师准备阶段

目标是训练一个能够区分有害提示词与无害提示词，并生成软拒绝标签（soft refusal labels）的安全性对齐教师模型。

拒绝特征（Refusal Feature）： 该框架利用了“拒绝特征”，即编码安全性对齐 LLM 拒绝行为的一个向量。它被定义为在特定层 $l$ 处，有害提示词与无害提示词的特征表示之间的平均差异。
训练目标： Ref-Teacher 使用组合损失进行训练：
- 安全性对齐损失 ( $L_{align}$ )： 标准的有监督微调损失，将有害提示词与拒绝响应配对，将无害提示词与有益响应配对。
- 正则化损失 ( $L_{regul}$ )： 一个强制要求有害与无害提示词特征相对于拒绝特征具有更清晰分离度的损失项。它将有害特征的余弦相似度推向 1，将无害特征的余弦相似度推向 -1。
动态更新： 由于最初可能无法获得用于提取拒绝特征的预对齐模型，该框架通过在缓冲区中累积提示词特征来动态更新拒绝特征。

2. 微调阶段

在冻结的 Ref-Teacher 引导下，基座 LLM 在用户数据和安全性对齐数据上进行微调。该阶段采用了两种互补的机制：

对齐蒸馏（Alignment Distillation）： 该方法不使用硬标签，而是由 Ref-Teacher 生成软拒绝标签。基座模型通过使用 KL 散度损失，在安全性对齐数据上学习匹配 Ref-Teacher 的安全行为。这提供了更丰富的监督和更平滑的损失曲面，从而缓解了安全性与效用之间的梯度冲突。
数据过滤（Data Filtering）： Ref-Teacher 利用其拒绝特征来分类用户数据中的提示词。与拒绝特征余弦相似度较高（超过阈值 $\tau$ ）的提示词被识别为有害，并从有监督微调损失中排除（通过二值指示器 $\omega_i = 0$ 进行加权）。这防止了有害样本破坏训练过程。

总体的目标函数结合了用于用户任务的过滤后的监督损失和用于安全性的对齐蒸馏损失：
$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$

核心贡献

范式转变： 本文挑战了标准的两阶段流水线（安全性对齐 $\to$ 微调），证明了其会导致次优的安全性与效用表现。文章提出转向在教师引导下的基座权重微调。
Ref-Teacher 框架： 引入了一个能够同时进行对齐蒸馏（通过软标签）和数据过滤（通过拒绝特征）的动态训练教师模型的框架。
缓解梯度冲突： 通过结合软标签蒸馏和数据过滤，该方法有效地减少了安全性目标与效用目标之间的梯度冲突，从而实现了更稳定的训练。
无需预对齐要求： 教师准备阶段允许在单个训练过程中计算拒绝特征和判别性表示，消除了对现有安全性对齐模型的依赖。

实验结果

该框架在多种设置下进行了评估，包括不同的有害提示词比例 ( $p$ )、用户数据规模、下游任务（GSM8K, SST2, AGNEWS, AlpacaEval）以及模型架构（Llama3-8B, Gemma2-9B, Qwen2-7B）。

安全性与效用的权衡： 与基线模型（如 RepNoise, Vaccine, Booster, LDIFS, SafeInstruct）相比，该方法在所有有害比例下均一致实现了最低的有害得分 (HS) 和最高的微调准确率 (FA)。
鲁棒性： 即使在有害数据比例较高（ $p=0.5$ ）的情况下，该方法仍能保持较低的 HS（例如，Ref-Teacher 变体为 0.9%，而标准 SFT 为 71.3%），同时保持较高的任务准确率。
泛化能力： 该方法在不同的无害任务数据集和模型骨干网络上表现出良好的泛化性。
消融研究：
- 仅使用对齐蒸馏 (AD)： 减少了梯度冲突，但如果有害提示词仍然存在，则无法提高安全性。
- 仅使用数据过滤： 有效地移除了有害提示词并减少了冲突，但由于数据量减少，存在过拟合和准确率降低的风险。
- 结合使用： 两者的协同作用对于实现最优的安全性与效用是必要的。
损失平滑度： 对齐蒸馏降低了梯度 Lipschitz 估计值，表明损失曲面更加平滑，训练稳定性更高。

意义与主张

本文主张，当用户数据可能包含有害提示词时，安全性对齐权重不足以作为下游适配的初始化。作者认为，标准的两阶段流水线创造了一个瓶颈，使得安全性目标与效用目标相互干扰。

这项工作的意义在于证明了在显式安全性教师引导下微调基座权重是一种更优的范式。通过将安全性执行（通过教师）与基座模型的初始化解耦，该框架在保留基座模型适应性的同时，动态地实施安全性控制。这种方法有效地解决了维持安全性对齐与实现用户特定任务高表现之间的紧张关系，即使在存在有害微调攻击的情况下也是如此。作者强调，他们的方法不需要预先对齐的模型即可开始，这为 FaaS 提供商提供了一个实用的解决方案。