技術要約：学習ポリシー最適化の蜃気楼 (MIPU)

1. 問題提起：LLM RLにおける目的関数の不整合

強化学習（RL）は、特に推論能力や指示従順性を高めるための、大規模言語モデル（LLM）のポストトレーニングにおいて重要なパラダイムとなっています。しかし、現代のLLM RLパイプラインは、しばしば**学習と推論のミスマッチ（training-inference mismatch）**に悩まされます。実際には、LLMは生成用エンジン（推論、例：vLLM, SGLang）と勾配計算用エンジン（学習、例：FSDP, Megatron）を別々に利用しています。モデルのパラメータが同期されていても、精度（例：FP8 vs FP16）、デコーディングの実装、およびサービングバックエンドの違いにより、学習ポリシー（$\pi$）と推論ポリシー（$\mu$）では、同じ軌跡に対して異なる確率を割り当ててしまいます。

既存の研究は、サンプラー側の比率を補正したり、不安定なサンプルをフィルタリングしたり、学習率を減衰させたりすることで、このミスマッチを軽減しようと試みています。しかし、著者らはこれらのアプローチは根本的な原因ではなく、症状に対処しているに過ぎないと主張しています。その根本原因は**目的関数の不整合（objective misalignment）**です。標準的なRLアルゴリズムは、学習ポリシー $\pi$ の改善（$J(\pi_{k+1}) - J(\pi_k) \ge 0$）が、デプロイされた推論ポリシー $\mu$ の改善を保証すると仮定して $\pi$ を最適化します。しかし、本論文は、ミスマッチが存在する条件下では、この含意が成立しないことを示しています：
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
その結果、学習側では有益に見える同期アップデートが、デプロイで使用される推論ポリシーの性能を実際に低下させてしまう可能性があります。

2. 手法：単調推論ポリシー更新 (MIPU)

これに対処するため、著者らは新しい最適化原理である**単調推論ポリシー改善（Monotonic Inference Policy Improvement: MIPI）**を提案します。これは、最適化の対象を学習ポリシーの改善から、推論ポリシーの単調な改善（$J(\mu_{k+1}) - J(\mu_k) \ge 0$）を保証することへとシフトさせるものです。彼らは、**単調推論ポリシー更新（Monotonic Inference Policy Update: MIPU）**と呼ばれる2段階のフレームワークを通じて、この原理を実現します。

MIPUの核心は、推論ポリシーの改善を以下の3つの項に分解することにあります：
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{項1: 更新後の推論ギャップ}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{項2: 学習側の更新}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{項3: 更新前の推論ギャップ}}$$

ステップ1：サンプラー参照型ポリシー更新

このステップでは、項2と項3を組み合わせたもの（$J(\pi_{k+1}) - J(\mu_k)$）を最適化します。

• メカニズム： 標準的なGRPO/PPOのように、代理目的関数の参照として標準的な学習ポリシー $\pi_k$ を使用する代わりに、MIPUは推論ポリシー $\mu_k$（サンプラー）をリファレンスとして使用します。
• 実装： 著者らは、更新前のミスマッチを考慮するために、**切断重要度サンプリング（Truncated Importance Sampling: TIS）**を採用しています。彼らは補正重み $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ を計算します。分散を抑えるために、この重みは切断されます。その後、現在の更新比率 $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$ に対してのみクリッピング制約が適用されます。
• 目的： これにより、理論的にサンプラー $\mu_k$ と整合した候補学習ポリシー $\pi_{k+1}$ を生成し、「中間的な」単調性 $J(\pi_{k+1}) - J(\mu_k) \ge 0$ を保証します。

ステップ2：推論ギャップを考慮した更新の受理

このステップでは、候補となる学習ポリシーと、その同期された推論の実体との間のギャップを表す項1（$J(\mu_{k+1}) - J(\pi_{k+1})$）を検証します。

• メカニズム： $\pi_{k+1}$ を推論エンジンに同期して $\mu_{k+1}$ を作成した後、システムは更新後の推論ギャップを評価します。
• プロキシ推定： $\pi_{k+1}$ の下での正確なアドバンテージは利用できないため、MIPUは逆恒等式を用いて、$\mu_{k+1}$ からのバリデーション・ロールアウトを使用してギャップを推定します。具体的には、$\mu_{k+1}$ から $\pi_{k+1}$ への分布シフトを補正する長さ正規化された重要度重み $\rho_i$ を用いて、プロキシ $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$ を計算します。
• 受理基準： アップデートは、$\hat{T}_{post} \ge -c$（ここで $c$ は許容パラメータ）を満たす場合にのみ受理されます。ギャップが負に大きすぎる場合（推論ポリシーが学習候補を下回っていることを示す場合）、アップデートは拒否され、システムは前のチェックポイントにロールバックされます。

3. 主な貢献

1. MIPI原理： 本論文は、LLM RLにおける目的関数の不整合を特定・定式化し、最適化のターゲットは学習用の代理関数ではなく、推論ポリシーの軌跡であるべきだと提案しました。
2. MIPUフレームワーク： 候補の構築（ステップ1）と推論ギャップの検証（ステップ2）を分離した、新しい2段階のRLフレームワークです。これにより、サンプラー参照型の更新と、推論を考慮した受理を柔軟に実装することが可能になります。
3. 実証的検証： 高いミスマッチ設定（具体的にはFP8量子化されたロールアウト）において、MIPUが標準的なGRPOや他の安定化ベースラインと比較して、推論性能と学習の安定性の両方を向上させることを示しました。

4. 実験結果

著者らは、顕著な学習・推論ミスマッチを誘発するためにFP8量子化されたロールアウトを用い、Qwen3-1.7BおよびQwen3-4Bモデルを用いてMIPUを評価しました。学習は数学的推論データセット（DAPO-Math-17, DeepMath-103K）で行われ、5つのベンチマーク（MATH-500, AIME24, AMC23, Minerva, OlympiadBench）で評価されました。

• パフォーマンス： MIPUは、両方のモデルスケールにおいて最高の平均精度（Qwen3-4Bで66.71%、Qwen3-1.7Bで53.97%）を達成し、標準的なGRPO、MIS（ミスマッチ・フィルタリング）、およびLR-decayなどのベースラインを上回りました。
• 安定性： ベースラインが中間的なピークに達した後に急激な性能低下や崩壊を示すことが多かったのに対し、MIPUはプロセス全体を通じて安定した学習ダイナミクスを維持しました。
• アブレーション研究：
  • ステップ1のみ： 候補の質は向上しましたが、ミスマッチ誤差の蓄積を防ぐことはできず、不安定性を招きました。
  • ステップ2のみ： 不適切なアップデートを拒否することで崩壊は防ぎましたが、基礎となるベースラインの候補自体にバイアスがある場合、性能を向上させることはできませんでした。
  • フルMIPU： 両方の組み合わせが必要でした。ステップ1が更新の方向を修正し、ステップ2が信頼できない候補をフィルタリングすることで、高いピーク性能と長期的な安定性の両方が実現されました。
• ステップ2の分析： 著者らは、ステップ2の成功が単に多くのアップデートを拒否しているためではないこと（「ランダム・ロールバック」制御は、より多くの拒否を行ったにもかかわらず失敗した）を検証しました。むしろ、その有効性は、推論ギャップの信号を用いて、有害な同期候補と無害な同期候補を区別できることに起因しています。

5. 意義と主張

本論文は、学習と推論のミスマッチを、単に最小化すべき低レベルのシステム上の差異としてではなく、ポリシー改善の目的における根本的なシフトとして捉えるべきだと主張しています。焦点を学習ポリシーから推論ポリシーへと移すことで、MIPUは、学習側の改善がデプロイ時の利得に結びつかないという「蜃気楼」の問題に対処しています。

著者らは、計算上の制約により、現在の実験が中規模モデルに限定されていること、およびステップ2が固定された実装ではなく柔軟な設計空間であることを控えめに述べています。彼らは、将来の研究として、更新後のギャップに対するより効率的な推定器の探索や、これらの原理をより大規模なモデルや多様なRLシステムに適用することを提案しています。核心となる貢献はパラダイムシフトです。すなわち、学習側の最適化が十分であると仮定するのではなく、デプロイで使用されるポリシーこそが最適化の対象であるようにすることです。