技术摘要：基于正交梯度投影的安全对齐作为持续学习

1. 问题陈述：对齐税与梯度干扰

大型语言模型（LLM）通过预训练获得广泛的通用能力，但需要通过安全对齐（例如，通过监督微调 [SFT] 或直接偏好优化 [DPO]）来遵循人类意图和安全约束（有益、诚实、无害）。然而，这种后训练过程通常会引发“对齐税”，即安全性的提升会导致通用效用（如真实性、推理能力或编码能力）出现可测量的倒退。

作者将这种税的主要机制识别为异质持续学习（CL）框架内的梯度干扰。与传统持续学习中任务共享同质目标不同，LLM 对齐涉及具有不同数据分布和优化目标的连续阶段（例如，预训练 $\to$ SFT $\to$ DPO）。在这种设定下，源自安全目标（$g_{safe}$）的梯度通常包含与维持预训练通用能力至关重要的参数方向重叠的分量。因此，沿 $g_{safe}$ 的朴素更新会无意中扰动这些支持能力的方向，导致灾难性遗忘。

现有的缓解策略，如数据回放（混合通用数据）或邻近正则化（KL 惩罚），往往引入显著的计算开销、复杂的超参数调整，或仅作为软约束起作用，未能显式地移除干扰的梯度分量。

2. 方法论：用于安全对齐的正交梯度投影（OGPSA）

本文提出了OGPSA，这是一种轻量级、即插即用的更新规则，旨在通过强制一阶能力保持约束来缓解梯度干扰。

核心概念

OGPSA 将安全对齐构建为一个约束优化问题。其目标是在下降安全损失景观的同时，确保更新步骤 $\Delta\theta$ 不会在一阶上增加所选通用能力参考目标的损失。

算法步骤

1. 子空间估计：OGPSA 不维护庞大的回放数据缓冲区，而是估计一个低秩的通用能力参考子空间（$S_{gen}$）。该子空间由代表关键能力（如有益性、真实性）的小型多样化参考数据集（$D_{ref}$）上计算的梯度构建而成。

   • 设 $\{g^{(i)}\}_{i=1}^M$ 为来自 $M$ 个参考损失的梯度。
   • 该子空间为 $S_{gen}(\theta) = \text{span}\{g^{(1)}, \dots, g^{(M)}\}$。
   • 使用 Gram-Schmidt 过程定期（每 $K$ 步）构建该子空间的正交基 $U$，以过滤线性依赖关系。

2. 正交投影：在安全对齐更新期间（例如，SFT 或 DPO），标准安全梯度 $g_{safe}$ 被投影到 $S_{gen}$ 的正交补空间上。

   • 投影后的梯度计算如下：
     $$\tilde{g}_{safe} = g_{safe} - U(U^\top g_{safe}) = g_{safe} - \sum_{j=1}^{M'} \langle g_{safe}, u_j \rangle u_j$$
   • 该操作移除了位于通用能力子空间内的安全更新分量，从而有效防止参考损失的一阶增加。

3. 参数更新：模型参数使用投影后的梯度进行更新：
   $$\theta \leftarrow \theta - \eta \tilde{g}_{safe}$$

理论依据

作者证明，在由参考梯度定义的局部线性化约束集内，投影梯度方向是安全目标的最陡可行下降方向。这确保了模型在尽可能快地向安全目标移动的同时，不违反参考能力的一阶保持。

3. 主要贡献

• 问题表述：本文将安全后训练重新表述为目标异质的持续学习问题，明确将梯度干扰识别为对齐税的具体、可测试的成因。
• 算法设计：引入了 OGPSA，这是一种在低秩参考子空间的正交补空间上运行的梯度投影方法。与基于回放的方法不同，它仅需定期计算少量参考梯度，避免了大规模数据存储和混合。
• 实证验证：该方法在多个模型系列（Llama3.1-8B、Qwen2.5-7B）和对齐流程（SFT、DPO 以及顺序 SFT$\to$DPO）中得到了验证，展示了在安全 - 效用权衡方面的一致改进。

4. 实验结果

作者在 Llama3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 上评估了 OGPSA，对比了标准基线（朴素微调）和缓解策略（权重合并、LoRA、通用数据回放）。

• 性能提升：OGPSA 在所有设定中始终实现了最高的综合“平均增益”（结合安全性和通用能力得分的指标）。
  • 在顺序 SFT$\to$DPO 流程中，与指令基线相比，Llama3.1-8B 的平均性能增益从19.74% 提升至 32.98%，Qwen2.5-7B 从33.98% 提升至 42.74%。
• 与先进基线的比较：在综合增益和特定能力指标方面，OGPSA 优于梯度投影持续学习基线（GPM）和最先进安全对齐框架（STAIR），同时保持了具有竞争力的安全得分。
• 鲁棒性：该方法表现出对基于优化的越狱攻击（I-GCG）的抵抗力，与标准 SFT 和 DPO 基线相比降低了攻击成功率（ASR）。
• 消融研究：
  • 子空间多样性：使用多样化子空间（例如，结合有益性和真实性梯度）比单维度投影产生了更好的整体平衡。
  • 数据效率：OGPSA 每个参考维度仅需 100–200 个样本即可超越 1 万样本的回放基线，展示了极高的数据效率。
  • 更新频率：子空间的定期更新（例如，DPO 每 5 步一次）至关重要；静态子空间随着训练的进行会导致性能下降。
• 可扩展性：该方法在从 0.5B 到 7B 参数的模型规模上均有效。

5. 意义与主张

本文声称，OGPSA 提供了一种简单的一阶机制，可在无需大规模回放的高昂计算成本的情况下，缓解安全对齐过程中的能力倒退。通过显式移除安全梯度的干扰分量，该方法使模型能够在获取新安全约束的同时，保持预训练通用知识的稳定性。

作者强调，他们的贡献是在保持约束下安全下降方向的局部一阶表征。他们并未声称能保证所有下游能力指标都被保留，也未声称该方法在评估设定之外是帕累托最优的。该方法被呈现为一个轻量级、模块化的组件，可集成到标准 SFT/DPO 流程中，以改善安全 - 效用前沿。

承认的局限性：

• 有效性受限于一阶局部近似。
• 性能依赖于参考数据的多样性和代表性。
• 由于定期计算参考梯度，存在轻微的计算开销，尽管远低于完整回放。
• 该方法不能保证对所有越狱或滥用场景具有鲁棒性；它应作为包括红队测试和监控在内的更广泛安全流程的一部分。