技术摘要：通过显式分布控制稳定大语言模型的监督微调

1. 问题陈述

通过监督微调（SFT）对大语言模型（LLM）进行后训练以适应新目标，经常引发灾难性遗忘，即在目标任务上的提升会损害先前获得的一般能力。最近的实证和理论研究指出，这种现象主要由优化过程中的过度分布漂移驱动。

虽然强化学习（RL）方法（特别是策略内 RL）隐式地约束了这种漂移，并且比 SFT 更好地保留了先前的能力，但它们依赖于成本高昂的数据收集和复杂的优化流程。相反，标准 SFT 缺乏调节分布漂移幅度或方向的显式机制，往往导致行为发生突变。现有的缓解策略，如静态 KL 正则化或固定的教师蒸馏，仅提供间接或全局调优的控制，无法与模型分布的局部几何结构对齐，通常导致在拟合新任务与保留基础模型之间出现持续的梯度冲突。

核心挑战在于：能否在纯离线 SFT 设置中，通过一种简单、显式的机制实现对分布更新的有效控制，从而结合 SFT 的效率与策略内 RL 的稳定性？

2. 方法论：锚定学习

作者提出了锚定学习（Anchored Learning），这是一个利用动态演进的移动锚点在离线微调过程中显式控制分布更新的框架。

核心机制

锚定学习不匹配固定的参考分布（例如基础模型 $p_{base}$），而是在每次迭代 $t$ 构建一个中间目标分布 $q^{(t)}$，该分布通过以下两者进行插值生成：

1. 当前可训练模型 $p_{\theta}^{(t)}$。
2. 一个冻结的 SFT 参考模型 $p_{sft}$（在目标数据上训练一次并保持固定）。

该框架在两个循环中运行：

• 外层循环（锚点选择）： 在迭代 $t$，通过插值算子 $I_\alpha$ 构建锚点分布 $q^{(t)}$：
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  该锚点从计算图中分离，作为内层循环的固定目标。
• 内层循环（锚点拟合）： 通过在目标数据集 $D$ 上最小化蒸馏目标（KL 散度）来更新模型参数，以逼近该锚点：
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

具体实现

插值算子 $I_\alpha$ 在两个空间中被具体化：

1. Logit 空间： 对 softmax 前的 logits 进行线性插值，随后进行 softmax 归一化。这对应于分布的几何平均（寻求模式的行为）。
2. 概率空间： 对预测分布直接进行线性插值。这对应于算术平均（覆盖模式的行为）。

理论保证

本文提供了理论证明，表明这种基于锚点的更新在每次迭代中 admit 一个线性的 KL 散度上界。

• 概率空间： 锚点与当前模型之间的 KL 散度被 $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$ 所界定。
• Logit 空间： 散度被 $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$ 所界定。

这些界限确保模型以稳定、受控的方式在分布间过渡，有效地将全局微调转化为一系列局部信任区域更新。理论分析表明，在精确投影下，模型会以几何级数收敛至 SFT 参考模型，同时保持有界的逐步偏差。

3. 主要贡献

1. 框架提出： 引入了锚定学习，这是一个简单的框架，通过移动锚点在离线微调中强制实施对分布更新的局部控制，无需在线交互或复杂的 RL 流程。
2. 理论稳定性： 推导了概率空间和 Logit 空间锚定的显式每迭代 KL 散度界限，为分布稳定性提供了形式化保证。
3. 实证验证： 证明了该方法在多个基准测试中实现了性能提升与稳定性之间的更优权衡，与强基线相比，始终位于帕累托前沿。

4. 实验结果

该方法在三个目标任务（iGSM、MedCalc、IFEval）上进行了评估，使用了 Qwen2.5（1.5B–14B）和 Llama-3.2-3B 模型。性能是与标准 SFT 以及各种遗忘缓解基线（如 Low-SFT、KL-SFT、Self-SFT、Iter-SFT）进行比较测量的。

• 增益 - 稳定性权衡： 标准 SFT 实现了较高的领域性能，但在一般能力上遭受严重退化（例如，在 iGSM 和 MedCalc 上性能下降超过 53%）。锚定学习将这种退化减少到5% 以下，同时保持了接近最优的增益（例如，iGSM 上为 75.2%）。
• 帕累托最优性： 在所有模型规模和任务中，锚定学习始终位于帕累托前沿附近，优于那些为了稳定性而牺牲领域性能的基线（如 Low-SFT），或未能防止遗忘的基线（如标准 SFT）。
• 扩展性： 锚定学习的优势在不同模型规模（1.5B 到 7B）中表现稳健，在保持领域准确性的同时，保留了比 Low-SFT 显著更高的一般能力。
• 超参数敏感性：
  • 插值系数（$\alpha$）： 中间范围的 $\alpha$ 提供了最佳权衡。
  • 更新调度： 研究强调，即使目标准确率达到饱和，随着训练迭代次数的增加，一般性能也表现出非单调的退化。这表明“更多训练”并不能保证稳定性，从而强化了对显式轨迹控制的必要性。
  • 插值空间： Logit 空间插值（几何平均）有利于稳定性和一般能力的保留，而概率空间插值（算术平均）有利于可塑性和领域适应。

5. 意义与主张

本文主张，锚定学习为策略内 RL 中发现的隐式稳定性机制提供了一种实用的替代方案。通过显式塑造中间目标分布，它将全局优化转化为一系列保守的局部更新。

作者强调，他们的方法：

• 在纯离线设置中运行，无需访问通用领域数据进行回放或联合训练。
• 提供分布稳定性的理论保证，针对遗忘的根本原因（过度漂移）而非仅仅是症状。
• 在目标任务上实现接近最优的性能，同时大幅减少灾难性遗忘，优于现有的静态正则化和蒸馏方法。

局限性： 作者承认，由于需要构建锚点以及为蒸馏进行额外的前向传播，与标准 SFT 相比，锚定学习会带来额外的计算开销（训练延迟和内存使用量约为 1.5 倍至 2 倍）。然而，他们指出，这远低于策略内 RL 的成本。