Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

技術的サマリー：オフポリシー学習による推論が機能する理由は、あなたが思っているよりもより悲観的であるため

問題定義

強化学習（RL）は、数学、コーディング、多段階問題解決などのタスクにおいて、大規模言語モデル（LLM）の推論能力を強化するための中心的なツールとなっています。しかし、現代の LLM に必要な規模において、トレーニングパイプラインは本質的にオフポリシーです。ロールアウト生成のコストが高いため、トレーニングデータは、現在最適化されているポリシーではなく、遅延した推論ワーカーや古いモデルチェックポイントによって生成されることがよくあります。

PPO や GRPO などの既存の手法は、トレーニングをほぼオンポリシーとして扱い、重要度重み、クリッピング、またはフィルタリングを使用して分布のシフトを補正することで、このミスマッチに対処しようとします。これらはニアオンポリシーの設定では効果的ですが、これらの補正は高い分散を導入し、ポリシーの遅延が顕著な場合に最適化を不安定化させる可能性があります。一方、最近の比率不要アプローチ（例：$A^\star$-PO、OAPL）は、重要度重みを除去し、行動ポリシーのデータ上で直接トレーニングします。これらの手法は経験的な成功を示していますが、その理論的基盤は完全には理解されていません。具体的には、これらの目的関数の名目上の導出は、実際の実装（優位性計算と正則化のために温度を分離することが多い）が達成するものとは異なるターゲット分布を示唆しています。本論文は、なぜこれらの比率不要手法が機能するのか、そしてそれらをさらに安定化させる方法を説明することを目的としています。

手法と理論的解析

著者は、重要度重みを使用することなく、学習されたポリシーの対数比をターゲット優位性へ回帰させる、比率不要のオフポリシー目的関数のクラスを分析します。彼らは、以下の形式の目的関数に焦点を当てます：
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
ここで、$\hat{A}_i$ はグループ相対優位性、$\beta$ は正則化パラメータです。

主要な理論的洞察：ランベルト温度付けターゲット
この目的関数の定常点を分析することにより、著者は誘発されるターゲットポリシーが標準的な指数分布（KL 正則化付き）ではなく、ランベルト温度付けポリシーであることを導き出しました：
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
ここで、$W_0$ はランベルト W 関数の主枝であり、$\tau_s$ は優位性基準によって決定される正規化乗数です。

ターゲットポリシーの挙動は、優位性がどのように正規化されるかによって制御される $\tau_s$ の符号と大きさに決定的に依存します：

1. 悲観的領域（$\tau_s > 0$）： ターゲットは指数更新よりも保守的です。ランベルト関数は大きな優位性に対して対数的に成長するため、ポリシーが少数の高報酬サンプルに指数関数的に過度にコミットするのを防ぎます。これによりエントロピーの崩壊が緩和されます。
2. 指数境界（$\tau_s = 0$）： ターゲットは標準的な指数傾きを回復します。この領域は脆弱であり、優位性基準のわずかな誤差でも目的関数を不安定な領域にシフトさせる可能性があります。
3. 不安定領域（$\tau_s < 0$）： ターゲットは指数更新よりも攻撃的になり、高優位性の応答を増幅し、エントロピー崩壊への感受性を高めます。

既存手法の分析（OAPL/$A^\star$-PO）
本論文は、OAPL で使用される名目上の優位性推定量（log-sum-exp 中心化された優位性）が、有限グループサイズにおけるジェンセンの不等式のバイアスにより、集団レベルで不安定領域（$\tau_s \le 0$）のターゲットを誘発することを示しています。OAPL 実装で観察される経験的な安定性は、優位性計算に正則化よりも大きな温度を使用するヒューリスティックな「温度の分離」に起因すると考えられます。これは暗黙的に優位性をより保守的な領域へシフトさせます。

提案される修正
ヒューリスティックな温度の分離に依存することなく安定性を達成するために、著者は$\beta$ 移動平均優位性を提案します：
$$\hat{A}_i = r_i - \bar{r} + \beta$$
この単純なシフトにより、誘発されるランベルト乗数が $\tau_s \ge 1$ を満たすことが保証され、ターゲットポリシーが構造的に悲観的ランベルト領域に留まることが保証されます。

主要な貢献

1. 比率不要目的関数の特徴付け： 著者は、比率不要のオフポリシー目的関数が、保守度の程度が優位性正規化によって制御されるランベルト温度付けターゲットポリシーを誘発することを証明しました。
2. 安定化メカニズムの説明： OAPL などの手法の成功は、実際の実装選択（温度の分離）によって誘発される暗黙的な悲観主義に依存しており、その名目上の理論的導出は実際には不安定なターゲットを示唆していることを説明しました。
3. 原理的な安定化： ターゲットが安定した悲観的ランベルト領域に存在することを保証する $\beta$ 移動平均優位性を提案し、ハイパーパラメータを多用する温度の分離の必要性を排除しました。

実験結果

著者は、DeepScaleR データセット上で Qwen3-8B モデルを用いて提案手法を OAPL と比較評価し、数学ベンチマーク（Minerva、AIME2025、AMC23、BRUMO）で評価を行いました。

• 正則化（$\beta$）への感度： 小さな正則化強度（小さな $\beta$）の下では、OAPL は急速なエントロピー崩壊と報酬の低下を示しましたが、提案されたランベルト手法は安定を維持し、改善を続けました。
• ポリシー遅延への頑健性： ポリシー遅延（古いロールアウト）が増加するにつれて（32 ステップから 256 ステップへ）、OAPL は極めて敏感になり、エントロピー崩壊または不安定なエントロピー増大のいずれかを示しました。ランベルト手法は、すべての遅延設定においてより高いエントロピーを維持し、より高い報酬に収束しました。
• 結論： 提案された修正は、攻撃的な正則化と大きなポリシー遅延の両方に対する頑健性を向上させ、悲観的ランベルト領域をターゲットにすることがオフポリシー学習を安定化させるという仮説を検証しました。

意義と主張

本論文は、LLM 推論におけるオフポリシー学習の有効性は、単に分布のミスマッチを無視しているためではなく、特定の優位性正規化が暗黙的な悲観主義の一種を誘発するためであると主張しています。この悲観主義は、ポリシーが古いポリシーによって生成された古い高報酬サンプルに対して過剰に最適化するのを防ぎ、ロールアウトが古いポリシーによって生成される場合に重要です。

著者は、最近のオフポリシーアルゴリズムにおける特定の実装選択がなぜ機能するのかを原理的に理解するものとして自らの研究を位置づけ、「トラストリージョン」ヒューリスティックを超え、ランベルト温度付けターゲットに基づくフレームワークへと移行させました。彼らは、シフト済み平均優位性を介して明示的に悲観的領域をターゲットにすることが、既存の手法、特に大規模で非同期な LLM トレーニングという困難な設定において、より安定した信頼性の高い代替手段を提供すると主張しています。論文は、この理論のトークンレベルのバリエーションが、オフポリシー推論アルゴリズムをより原理的にする有望な方向性を示唆して締めくくっています。