Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

以下は、「KL 正則化 RLVR に対する参照サンプリング・ボルツマン射影：ターゲット整合重み付き SFT、有限ワンショットギャップ、および方策ミラー降下」と題された論文の詳細な技術的要約です。

問題定義

検証可能な報酬を伴うオンライン強化学習（RLVR）は、数学的証明やコードの単体テストなど、検証可能な結果をスケーラブルな学習信号に変換します。しかし、PPO や GRPO などの標準的なオンライン手法は、ロールアウト生成、検証器によるスコアリング、参照方策の評価を、重要な最適化経路に保持するため、高い計算コストとメモリ使用量を招きます。

自然な代替案として、生成と最適化を分離し、検証済みロールアウトを一度サンプリングして重みを割り当て、静的な教師あり微調整（SFT）を通じて学習することが考えられます。しかし、本論文はこのアプローチに根本的な曖昧性があることを指摘しています。重み付き SFT は単一の目的関数ではありません。 重み付き SFT によって誘導される方策は、ロールアウトを生成したサンプリャとそれらに割り当てられた重みの両方に依存します。単に事前計算されたデータに重みを付与するだけでは、得られた方策が元のオンライン KL 正則化 RLVR 目的関数の最適解と一致するとは限りません。特定のターゲット整合条件がなければ、無限のデータと正確な最適化が存在する場合でも、静的な重み付き SFT は意図された RLVR 解とは異なる方策に適合してしまう可能性があります。

手法：ボルツマン射影理論

本論文は、静的な重み付き SFT と固定参照 KL 正則化 RLVR の間の正確な方策レベルの整合を特定するための理論的枠組みを開発しました。

1. ターゲット方策（固定参照ボルツマンターゲット）
論文は、KL 正則化 RLVR 目的関数（報酬の最大化と参照方策 $\pi_{ref}$ からの KL 発散の最小化）の最適解が、特定の条件付き方策、すなわちボルツマンターゲット $\pi^*$ であることを確立しています：
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
ここで、$r(x, y)$ は検証器による報酬、$\beta$ は温度パラメータです。このターゲットは、参照方策の指数関数的な傾き（tilt）です。

2. 誘導ターゲット恒等式
命題 1 を用いて、著者らは任意の重み付き SFT 目的関数が、サンプリャ $q$ と重み $w$ の積に比例するターゲット方策 $\tilde{\pi}_w$ を誘導することを示しました：$\tilde{\pi}_w \propto q(y|x)w(x,y)$。
オンライン RLVR を忠実に代替するためには、誘導された方策 $\tilde{\pi}_w$ がボルツマンターゲット $\pi^*$ と等しくなければなりません。

3. ターゲット整合法則
論文は、この整合に必要な条件（定理 4）を導出しました。固定されたサンプリャ $q$ に対して、重みは密度比 $\pi^*/q$ に比例しなければなりません。
特に重要なのは、ロールアウトが参照方策から生成される参照サンプリング部分クラス（$q = \pi_{ref}$）において、この条件が一意にプロンプト正規化ボルツマン重みに簡略化されることです：
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
ここで、$Z(x)$ は分配関数（正規化定数）です。この重みは、参照ロールアウトをターゲットロールアウトに変換するラドン・ニコディム微分そのものです。

4. BOLT アルゴリズム
この理論に基づき、著者らはBOLT（ボルツマン・ターゲット指向 SFT）を提案しました。これは 2 つのフェーズで動作します：

• フェーズ 1（事前計算）： 参照方策からロールアウトをサンプリングし、検証器で評価し、モンテカルロ推定を用いて $Z(x)$ を推定することで、経験的なプロンプト正規化ボルツマン重みを計算します。
• フェーズ 2（最適化）： この固定された重み付きデータセットを用いて、標準的なマルチエポック SFT でモデルを学習します。
  サンプリング、スコアリング、正規化といった重労働が事前計算されるため、最適化フェーズでは参照モデルのフォワードパスが不要となり、オンライン RLVR に比べてメモリと計算コストが大幅に削減されます。

有限ワンショット解析と限界

論文は、静的代替の誤りを異なる構成要素に分解する厳密な有限サンプル解析（セクション 5 および 6）を提供しています：

• サポート制限ギャップ： 参照方策 $\pi_{ref}$ が高報酬の完了を一度もサンプリングしない場合、いかなる重み付けや最適化によってもそれを回復させることはできません。論文は、値の損失に対する正確な下限 $\beta \log(1/\pi^*(S_N | x))$ を証明しています（ここで $S_N$ は保存されたサポートです）。これは、追加の SFT エポックが不足しているカバレッジを修復できない理由を説明します。
• 温度–カバレッジ–分散フロンティア： $\beta$ を低下させる（ターゲットを鋭くする）ことは、実効サンプルサイズ（ESS）のコストと正規化子の分散を増加させるトレードオフが存在します。参照通過確率が低い場合、推定が困難になります。
• 反復更新を KL 方策ミラー降下として： カバレッジが弱くてもゼロでない場合、論文は反復 BOLT（更新された方策を次のラウンドの新しい参照とする）が数学的に KL 方策ミラー降下（KL-PMD）と同等であることを示しています。このプロセスは報酬の傾きを蓄積し、将来のロールアウトカバレッジを改善しますが、静的なワンショット再利用では不可能です。

主要な結果と実証的証拠

著者らは、Qwen モデルを用いて GSM8K（数学）および HumanEval（コード）ベンチマークで理論を検証しました。実験は、リーダーボードでの優位性を主張するのではなく、特定の理論的メカニズムを分離して検証するように設計されています。

• ターゲット整合： 同じ参照ロールアウト上で、BOLT（ボルツマン重み）と「Refit」（生報酬重み）を比較した結果、BOLT は有意に高い精度を達成しました（GSM8K で +1.44、MATH で +3.60 など）。これは、単なるデータソースではなく、特定の密度比重みが誘導ターゲットを決定することを確認しました。
• 効率性： BOLT はオンライン GRPO と同等かそれ以上の精度を達成しつつ、オンラインループを排除することで、学習時間を約 75–85%、ピークメモリを約 18–31% 削減しました。
• ワンショット飽和と更新： 参照サポートが限られている場合、ワンショット BOLT は数エポック後に性能が飽和することが実験で示されました。しかし、サンプリャを更新する反復 BOLTは性能を向上させ続け、KL-PMD の解釈を裏付けました。
• 保持： 参照ロールアウトを使用する手法（BOLT、Refit）は、デモンストレーションのみの SFT に比べて、一般ベンチマーク（PIQA、HellaSwag）における破滅的な忘却が少なかったことから、参照ロールアウトが分布のアンカーとして機能することが示唆されました。

意義と主張

本論文は、学習損失のヒューリスティックな比較を超えて、静的 RLVR 代替のメカニズムレベルの理解を提供すると主張しています。主な貢献は以下の通りです：

1. ターゲットの特定： 静的な重み付き SFT が固定参照 RLVR の忠実な代替となるのは、サンプリャと重みの積が特定のボルツマンターゲットを誘導する場合に限られることを確立しました。また、参照サンプリングデータに対する一意の重みとして、プロンプト正規化ボルツマン密度比を特定しました。
2. 有限ギャップの分解： 不可避な「サポート価格」（不足しているカバレッジ）を、有限推定誤差（正規化子の分散、最適化のドリフト）から分離しました。これにより、静的手法が参照方策がサンプリングしなかったカバレッジギャップを修正できないことが明確になりました。
3. 反復的解釈： 反復的なサンプリングと重み付けを単なる「より多くの最適化」ではなく、カバレッジを積極的に改善する KL 方策ミラー降下の一種として再定義しました。
4. 実用的効率性： ターゲットを定義する量（重み）を事前計算することで、オンライン RLVR の理論的ターゲットと一致しつつ、計算オーバーヘッドを大幅に削減した静的 SFT プロシージャが可能であることを実証しました。

著者らは、結果が単一実行の実験と特定モデルサイズに基づいていることを謙虚に認めつつ、理論が静的代替が有効となる場合（カバレッジがある領域）と失敗する理由（サポートギャップ）を特定するものであり、すべてのオンライン手法に対する普遍的優位性を主張するものではないことを強調しています。この研究は、KL 正則化 RL の幾何学と、静的で重み付けされた教師あり学習の実践的実装との間の理論的架け橋として機能します。