技术摘要：GAC——面向混合 SFT-RL 后训练的噪声感知自适应混合

1. 问题陈述

大语言模型（LLMs）通常采用结合监督微调（SFT）与强化学习（RL）的混合范式进行后训练。SFT 利用专家演示稳定模型输出格式，而 RL 则通过在线策略 rollout 提升奖励寻求行为。然而，若无法完全解耦这些目标，将导致相互退化（Niu et al., 2026）。

当前的混合方法通常依赖固定混合调度或启发式规则来平衡 SFT 与 RL 梯度。这些静态方法无法在训练过程中两种信号的相对噪声发生变化时进行自适应。具体而言，它们无法应对：

• 策略漂移的演变：模型分布随时间的变化。
• 奖励噪声：RL 优势估计的变异性。
• 梯度分歧：SFT 与 RL 目标之间的冲突。

这种缺乏自适应性的情况可能导致熵崩溃、后期过度模仿或奖励黑客行为。尽管近期工作（如 CHORD、SRFT、HPT）引入了动态加权或冲突感知耦合，但尚无研究同时显式建模梯度噪声方差与 SFT–RL 分歧，以推导最优混合权重。

2. 方法论：GAC（引导自适应控制器）

所提出的方法GAC将混合问题重构为噪声感知控制任务。它包含一个理论闭式估计器和一个实用的引导控制器。

2.1 理论基础：闭式 $\mu^*$

核心贡献是通过最小化混合随机梯度与目标梯度之间的均方误差（MSE），推导出最优混合权重 $\mu^*$。

• 假设：设 $\hat{g}_s$ 和 $\hat{g}_r$ 分别为 SFT 和 RL 的梯度估计量，由无噪声梯度（$g^*_s, g^*_r$）和均值为零的噪声（$\varepsilon_s, \varepsilon_r$）组成，其方差分别为 $\sigma^2_s$ 和 $\sigma^2_r$。
• 目标：最小化 $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$，其中 $g^*$ 是由期望权衡比率 $\alpha_{tgt}$ 定义的目标梯度。
• 结果：在独立性假设下，唯一的最小化解为：
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  其中 $\Delta g^2 = \|g^*_s - g^*_r\|^2$ 表示梯度分歧。
• 解释：该公式体现了偏差–方差权衡。当分歧（$\Delta g^2$）较低时，权重趋近于逆方差加权；当分歧较高时，权重默认回用户指定的偏好 $\alpha_{tgt}$。

2.2 实际实现：代理信号与在线估计

由于在每个步骤计算真实的梯度统计量代价高昂，GAC 采用从现有训练张量中在线估计的计算可行代理信号：

1. RL 不确定性（$\sigma^2_r$）：通过序列级优势离散度进行估计。
2. SFT 不确定性（$\sigma^2_s$）：通过长度归一化且修剪后的负对数似然（NLL）方差进行估计。
3. 分歧代理（$\Delta \tilde{g}^2$）：通过 RL 与 SFT 梯度之间 z 归一化系数差值的方差进行估计。

这些代理信号被验证与真实梯度统计量具有高 Pearson 相关性（$r \approx 0.76\text{--}0.84$）。

2.3 稳定性驱动的设计指南

为防止突变并确保训练稳定性，原始估计器 $\mu^*$ 需经过具有三个保护步骤的引导自适应控制器处理：

1. EMA 平滑：$\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$，以抑制高频噪声。
2. 调度先验融合：$\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$，其中 $\mu_{prior}$ 为预热/余弦调度，确保控制器不会偏离合理基线过远。
3. 更新截断：步长变化 $\delta_t$ 被限制在小界 $\bar{c}$（例如 0.01）内，以防止破坏性跳跃。

此外，目标比率 $\alpha_{tgt}$ 利用 KL 控制的滞后规则动态调整为 $\alpha_{ctrl}$，以防止策略漂移。

3. 主要贡献

1. 噪声感知混合控制器（C1）：一种基于 MSE 最小化推导出的最优混合权重闭式解，平衡了梯度噪声方差与目标分歧。其实例化通过 z 归一化代理实现，并封装在具有<1% 计算开销的稳定性保障控制器中。
2. Token 级重加权集成（C2）：系统采用了来自 CHORD（Zhang et al., 2025）的 token 级重加权函数 $\phi(p) = p(1-p)$。作者证明该组件与全局控制器正交，可提供额外的 +0.4–1.4pp 增益。
3. 系统评估（C3）：在 1.5B、7B 和 14B 参数规模下，针对数学、代码、科学和逻辑基准进行了全面评估。

4. 实验结果

实验在 Qwen2.5-7B-Instruct 模型上进行（并扩展至 1.5B/14B），使用了 OpenR1-Math-220k 及其他基准（MBPP, HumanEval, GPQA, SciBench, BBH）。

• 性能提升：
  • 数学（AMC）：GAC + Token-φ 达到 67.2%，优于最佳混合基线（HPT, 63.4%）+3.8pp，优于仅噪声感知控制器（GAC w/o φ）及基于规则的控制器 +3.0pp。
  • 代码：GAC 在 MBPP 上达到 78.8%（比 CHORD 高 +3.4pp），在 HumanEval 上达到 83.5%。
  • 科学/逻辑：相比 HPT，GAC 将 GPQA 提升 +3.9pp，将 BBH 逻辑子集提升 +3.1pp。
• 稳定性改进：
  • KL 漂移：相比恒定混合，KL 漂移面积减少了 28%。
  • 大幅波动：大幅 $|\Delta \mu|$ 事件减少了 >70%。
  • 训练动态：与固定调度相比，GAC 保持了更高的 rollout 准确率、适度的响应长度（避免奖励黑客激增）以及更快的熵稳定化。
• 可扩展性：增益随模型规模扩大，在 1.5B 时提升 +2.2pp，7B 时提升 +3.8pp，14B 时提升 +3.3pp。
• 效率：该方法仅增加 3 个 EMA 标量，且墙钟时间开销<1%，无显著内存增加。

5. 意义与主张

本文主张 GAC 成功将 SFT–RL 混合重构为噪声感知控制问题，而非启发式调度任务。

• 主要驱动因素：因果归因分析证实，噪声感知估计器（MSE 导出的信号）是性能提升的主导贡献者（+3.7pp），而 EMA 平滑和调度先验提供必要的稳定性但增量增益较小。
• 鲁棒性：该控制器对弱或指定错误的先验调度具有鲁棒性；即使使用“糟糕”的恒定先验，GAC 也能有效校正混合权重。
• 局限性：作者指出，稳定性分析依赖于理想化假设（L-平滑损失、KL 有界更新），并提供设计指南而非严格的收敛保证。该方法目前仅在具有可验证奖励的任务上得到验证；扩展到使用学习奖励模型进行开放式对齐仍是未来工作。

总之，GAC 提供了一种理论扎实、低开销的机制，能够基于实时不确定性估计动态平衡 SFT 和 RL，在各类推理任务中显著优于固定调度和启发式控制器。