技術的概要：GAC – ハイブリッド SFT-RL 事後学習のためのノイズ認識適応混合

1. 問題定義

大規模言語モデル（LLM）は、通常、教師あり微調整（SFT）と強化学習（RL）を組み合わせたハイブリッドパラダイムを用いて事後学習されます。SFT は専門家のデモンストレーションを用いてモデルの出力形式を安定化させ、RL はオンポリシーロールアウトを通じて報酬追求行動を改善します。しかし、これらの目的は相互の劣化なしに完全に分離することはできません（Niu et al., 2026）。

現在のハイブリッド手法は、SFT と RL の勾配のバランスを取るために、固定された混合スケジュールまたはヒューリスティックなルールに依存することが多いです。これらの静的なアプローチは、トレーニング中に両方の信号の相対的なノイズが変化する際に適応できません。具体的には、以下の点を考慮できません：

• 進化するポリシードリフト： 時間経過に伴うモデル分布の変化。
• 報酬ノイズ： RL 優位性推定値の変動性。
• 勾配の不一致： SFT と RL の目的間の競合。

この適応性の欠如は、エントロピーの崩壊、後期段階での過剰模倣、または報酬ハッキングを引き起こす可能性があります。最近の研究（CHORD、SRFT、HPT など）は動的な重み付けや競合認識型の結合を導入していますが、勾配ノイズ分散と SFT-RL 不一致の両方を明示的にモデル化して最適な混合重みを導き出すものは存在しません。

2. 手法：GAC（ガイデッド適応コントローラ）

提案手法であるGACは、混合問題をノイズ認識型の制御タスクとして再定義します。これは、理論的な閉形式推定器と実用的なガイデッドコントローラで構成されます。

2.1 理論的基盤：閉形式 $\mu^*$

核心的な貢献は、混合された確率的勾配と目標勾配間の平均二乗誤差（MSE）を最小化することによる、最適な混合重み $\mu^*$ の導出です。

• 仮定： $\hat{g}_s$ と $\hat{g}_r$ をそれぞれ SFT と RL の勾配推定器とし、ノイズのない勾配（$g^*_s, g^*_r$）と平均ゼロのノイズ（$\varepsilon_s, \varepsilon_r$）から構成され、分散はそれぞれ $\sigma^2_s$ と $\sigma^2_r$ とします。
• 目的： $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$ を最小化します。ここで、$g^*$ は所望のトレードオフ比率 $\alpha_{tgt}$ によって定義される目標勾配です。
• 結果： 独立性の仮定の下、一意の最小化解は以下のようになります：
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  ここで、$\Delta g^2 = \|g^*_s - g^*_r\|^2$ は勾配の不一致を表します。
• 解釈： この式はバイアス - 分散のトレードオフを体現しています。不一致（$\Delta g^2$）が低い場合、重みは逆分散重み付けに近づきます。不一致が高い場合、重みはユーザーが指定した優先度 $\alpha_{tgt}$ にデフォルトされます。

2.2 実用的な実装：プロキシ信号とオンライン推定

真の勾配統計を各ステップで計算することは高コストであるため、GAC は既存のトレーニングテンソルからオンラインで推定される計算的に扱いやすいプロキシ信号を採用します：

1. RL 不確実性（$\sigma^2_r$）： シーケンスレベルの優位性分散を通じて推定されます。
2. SFT 不確実性（$\sigma^2_s$）： 長さ正規化されトリムされた負の対数尤度（NLL）分散を通じて推定されます。
3. 不一致プロキシ（$\Delta \tilde{g}^2$）： RL と SFT の勾配間の z 正規化係数差の分散を通じて推定されます。

これらのプロキシは、真の勾配統計との高いピアソン相関（$r \approx 0.76\text{--}0.84$）が検証されています。

2.3 安定性に基づく設計ガイドライン

急激なシフトを防ぎ、トレーニングの安定性を確保するために、生推定器 $\mu^*$ は 3 つのガードステップを持つガイデッド適応コントローラを介して処理されます：

1. EMA スムージング： $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ により高周波ノイズを減衰させます。
2. スケジュール事前分布ブレンド： $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$ であり、ここで $\mu_{prior}$ はウォームアップ/コサインスケジュールであり、コントローラが妥当な基準から大きく逸脱しないようにします。
3. キャップされた更新： ステップ変化 $\delta_t$ を小さな上限 $\bar{c}$（例：0.01）にクリップし、不安定化させるジャンプを防ぎます。

さらに、目標比率 $\alpha_{tgt}$ は KL 制御ヒステリシスルールを用いて $\alpha_{ctrl}$ に動的に調整され、ポリシードリフトを防ぎます。

3. 主要な貢献

1. ノイズ認識混合コントローラ（C1）： MSE 最小化から導出された最適な混合重みのための閉形式解であり、勾配ノイズ分散と目的の不一致をバランスさせます。これは z 正規化プロキシを通じてインスタンス化され、<1% の計算オーバーヘッドを持つ安定性保証付きコントローラにラップされています。
2. トークンごとの再重み付け統合（C2）： システムは CHORD（Zhang et al., 2025）からのトークンごとの再重み付け関数 $\phi(p) = p(1-p)$ を採用します。著者はこのコンポーネントがグローバルコントローラと直交しており、追加で +0.4–1.4pp の性能向上をもたらすことを実証しています。
3. 体系的な評価（C3）： 1.5B、7B、14B のパラメータ規模において、数学、コード、科学、論理のベンチマーク全体での包括的な評価。

4. 実験結果

実験は、OpenR1-Math-220k およびその他のベンチマーク（MBPP、HumanEval、GPQA、SciBench、BBH）を使用して、Qwen2.5-7B-Instruct モデル（1.5B/14B に拡張）で行われました。

• 性能向上：
  • 数学（AMC）： GAC + トークン-φ は 67.2% を達成し、最良のハイブリッドベースライン（HPT、63.4%）を +3.8pp、ルールベースコントローラに対するノイズ認識コントローラ単体（GAC w/o φ）を +3.0pp 上回りました。
  • コード： GAC は MBPP で 78.8%（CHORD より +3.4pp）、HumanEval で 83.5% を達成しました。
  • 科学/論理： GAC は HPT に対して GPQA を +3.9pp、BBH 論理部分集合を +3.1pp 改善しました。
• 安定性の向上：
  • KL ドリフト： 一定の混合と比較して KL ドリフト面積を 28% 削減しました。
  • 大きなシフト： 大きな $|\Delta \mu|$ イベントを >70% 削減しました。
  • トレーニングダイナミクス： GAC は、固定スケジュールと比較して、より高いロールアウト精度、適度な応答長さ（報酬ハッキングのスパイクを回避）、およびより迅速なエントロピー安定化を維持します。
• スケーラビリティ： 性能向上はモデルサイズとともにスケーリングし、1.5B で +2.2pp、7B で +3.8pp、14B で +3.3pp を示しました。
• 効率性： この手法は 3 つの EMA スカラーのみを追加し、<1% のウォールタイムオーバーヘッドを発生させるのみで、メモリ増加は測定できません。

5. 意義と主張

本論文は、GAC がヒューリスティックなスケジュールタスクではなく、ノイズ認識型の制御問題として SFT-RL 混合を再定義することに成功したと主張しています。

• 主要な駆動力： 因果帰属分析により、ノイズ認識推定器（MSE 導出信号）が性能向上（+3.7pp）の支配的な寄与者であることが確認されました。一方、EMA スムージングとスケジュール事前分布は必要な安定性を提供しますが、追加的な利益は较小です。
• ロバスト性： コントローラは、弱いか誤って指定された事前スケジュールに対してロバストです。「悪い」一定の事前分布であっても、GAC は混合重みを効果的に補正します。
• 限界： 著者は、安定性分析が理想化された仮定（L-滑らかな損失、KL 有界更新）に依存しており、厳密な収束保証ではなく設計ガイドラインを提供することを指摘しています。この手法は現在、検証可能な報酬を持つタスクで検証されています。学習された報酬モデルを用いたオープンエンドなアライメントへの拡張は今後の課題です。

要約すると、GAC はリアルタイムの不確実性推定に基づいて SFT と RL を動的にバランスさせる、理論的に裏付けられた低オーバーヘッドのメカニズムを提供し、多様な推論タスクにおいて固定スケジュールやヒューリスティックコントローラを大幅に上回ります。