技术摘要：旋转保持监督微调（RPSFT）

1. 问题陈述

监督微调（SFT）是大语言模型（LLM）用于适配特定任务的标准后训练阶段。然而，先前的工作表明，SFT 会损害域外（OOD）泛化能力，这一现象通常归因于“灾难性遗忘”。最近的研究表明，这种损害与预训练权重矩阵中的几何漂移有关，具体表现为优势奇异子空间的过度旋转。这些优势方向与编码通用能力的高方差和高曲率结构相关联。

直接利用 Hessian 矩阵或 Fisher 信息来识别并保持对损失敏感的方向，在现代 LLM 的规模下计算成本过高。因此，需要一种高效的正则化方法，在 SFT 期间限制不必要的几何漂移，同时保留适应目标任务的能力，从而改善域内（ID）性能与 OOD 保留之间的权衡。

2. 方法：旋转保持监督微调（RPSFT）

作者提出了旋转保持监督微调（RPSFT），这是一种正则化技术，旨在锚定预训练权重矩阵的优势奇异子空间。

核心机制

RPSFT 基于以下假设：预训练权重矩阵的前 $k$ 个奇异向量与 Fisher 敏感方向（即更新会导致 OOD 损失大幅增加的方向）存在显著重叠。RPSFT 并非冻结参数或投影梯度（这可能过于僵化或昂贵），而是在标准 SFT 损失函数中添加一个惩罚项。

对于选定的权重矩阵 $W$，其预训练初始化为 $W_0$，该方法通过奇异值分解（SVD）预先计算前 $k$ 个左、右奇异向量基 $U^{(k)}_0$ 和 $V^{(k)}_0$。正则化项惩罚权重矩阵在该基内投影块的变动：

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

其中：

• $\mathcal{L}_{SFT}$ 是标准的负对数似然损失。
• $\lambda$ 是正则化强度。
• 项 $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ 衡量权重矩阵在前 $k$ 个奇异子空间内的漂移。
• $\mathcal{M}$ 是选定的层集合（在全参数微调中通常为所有层）。

设计原理

• 部分保护：与全秩锚定（相当于围绕初始权重的 $L_2$ 正则化）不同，RPSFT 仅锚定前 $k$ 个块。互补方向保持自由以适应，从而允许进行特定任务的学习。
• 计算效率：该方法需要预先计算并缓存奇异基（每层内存开销为 $O((m+n)k + k^2)$），并在训练期间计算投影块（每次评估的浮点运算量为 $O(mnk)$）。作者指出，与标准 SFT 相比，这增加了极小的开销，特别是当投影每 $s$ 步计算一次时。
• 理论依据：作者分析了损失的二阶局部展开。他们认为，一阶项驱动适应，而二阶项（曲率）驱动遗忘。由于 Fisher 信息（曲率的代理）计算昂贵，他们通过实证证明，预训练权重的前 $k$ 个奇异块捕获了 Fisher 投影梯度能量的很大一部分（约 20%），使其成为对损失敏感方向的有效且低成本的结构性代理。

3. 实验设置

作者在三个模型系列和规模上评估了 RPSFT：Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Qwen2.5-3B-Instruct。

• 训练数据：在 OpenR1-Math（数学推理数据）上执行监督微调。
• 基线：与标准全参数 SFT、动态微调（DFT）、重要性加权 SFT（IW）以及 $L_2$ 初始化锚定进行了比较。
• 评估：
  • 域内（ID）：数学基准（AIME、AMC、MATH-500 等）。
  • 域外（OOD）：通用推理、安全性和知识基准（GPQA、MMLU-Pro、TruthfulQA 等）。
  • 下游 RL：SFT 检查点作为强化学习微调（RLFT）的初始化，使用 DAPO（GRPO 的变体）。

4. 关键结果

域内与域外权衡

• RPSFT 一致地改善了 ID/OOD 权衡。在所有模型规模下，RPSFT 实现了最佳或具有竞争力的 ID 性能（Avg@k 和 Pass@k），同时与标准 SFT 相比显著减少了 OOD 遗忘。
• 与基线的比较：虽然 DFT 和 IW 显示出一定的 OOD 保留能力，但它们通常在 ID 任务上出现欠拟合。RPSFT 在保持强大 ID 适应能力的同时，比标准 SFT 更好地保留了 OOD 能力。例如，在 Llama-8B 上，RPSFT 将 OOD Avg@k 提高了 +1.83%，而标准 SFT 提高了 +1.73%，但在其他指标上的鲁棒性较差。
• 秩敏感性：改变受保护秩 $k$ 的实验表明，中间秩（例如 $k=768$）提供了最佳平衡。过大的秩（接近全秩锚定）会阻碍任务适应，而 $k=0$ 则退化为标准 SFT。

下游 RL 性能

• 更强的初始化：RPSFT 检查点作为下游 RLFT 的初始化表现更优。与使用标准 SFT 或其他基线初始化的模型相比，使用 RPSFT 初始化的模型在 ID 和 OOD 基准上均取得了更高的最终 RL 性能。
• 能力保留：SFT 阶段 OOD 保留的改进并未被随后的 RL 阶段冲淡；相反，它们被保留下来，导致最终得分持续更高。

几何与表示分析

• 减少旋转：对权重空间漂移的分析表明，与标准 SFT、DFT 和 IW 相比，RPSFT 显著减少了优势左奇异子空间的旋转。
• 隐藏状态稳定性：RPSFT 更好地保留了隐藏表示的几何结构。RPSFT 微调模型的隐藏状态质心在各种基准上仍更接近基础模型的质心，而标准 SFT 和 DFT 则表现出更大的漂移。这表明约束权重空间的旋转直接转化为保留模型的内部表示空间。

5. 意义与主张

该论文声称，RPSFT 提供了一种简单且计算高效的正则化器，能有效缓解监督微调期间通用能力的遗忘。

• 机制：该工作提供了实证和理论证据，表明保留主导的预训练奇异子空间可以减少几何旋转、保护隐藏状态表示，并改善遗忘与适应之间的权衡。
• 实用性：与需要 Hessian 估计或复杂梯度投影的方法不同，RPSFT 直接集成到标准的全参数 SFT 流程中，无需额外数据或任务边界。
• 通用性：该方法在不同模型架构（Llama 和 Qwen）和规模（3B 到 8B 参数）上均表现出一致的改进。

作者得出结论，控制预训练奇异子空间中的漂移是一种实用且有效的策略，能够在实现快速任务适应的同时维持 OOD 泛化能力，为后续的强化学习阶段提供更坚实的基础。

6. 局限性

作者承认，RPSFT 目前对所有权重矩阵应用统一的受保护秩规则。他们建议未来的工作可以研究层选择性正则化（例如，专注于早期的自注意力层），以进一步减少开销。此外，当前的实验侧重于数学训练数据集和 3B–8B 范围内的模型；扩展到非数学数据和更大的模型规模被确定为未来的研究方向。