💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

本論文は、G フローネットの分配関数を各プロンプトの精度信号として再解釈し、有益なプロンプトを優先してリプレイを最適化するポストトレーニングフレームワークである PACED-RL を導入するものであり、これにより追加の計算コストを伴うことなく、大規模言語モデルのサンプル効率と推論性能を大幅に向上させる。

原著者： Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。あなたは、非常に直感的だが文字通り受け取る学生（AI）に、数学の問題やコーディングの課題のような複雑なパズルの解き方を教えています。あなたは彼らの推論能力を向上させたい一方で、彼らの創造性を保ち、すべてを解決するたった一つのやり方を暗記するだけにならないようにも望んでいます。

この論文は、PACED-RLという新しい教授法を紹介しています。それがどのように機能するかを理解するために、既存の手法の問題点と、この新しいアプローチが巧妙なトリックを用いてそれらをどのように解決するかを見てみましょう。

問題：「過信する」学生

現在の教授法（PPO や GRPO など）は、厳格な教官のようです。彼らは学生にこう伝えます。「正解すれば素晴らしい！間違えたら、次はもっと頑張れ。」

結果： 学生は正解を出すのが非常に上手になりますが、硬直してしまいます。彼らは異なるアプローチを試すのをやめ、「安全」だと考える唯一の出力だけを生成するようになります。思考の多様性を失うのです。

以前の解決策：「フロー」手法

最近、研究者たちはGFlowNetsと呼ばれる手法を試みました。これは単に最高得点を追うのではなく、学生に答えの特定の「理想的な分布」に一致するように教える方法です。「たった一つの正解を見つけろと言っているのではなく、すべての可能な正解を、適切な割合で見つけろ」と言っているようなものです。

難点： これを機能させるためには、分配関数と呼ばれる複雑な数を計算する必要があります。これまで、誰もがこの数を退屈な電卓のボタンのように扱ってきました。数学を成立させるために押さなければならないものですが、結果をすぐに捨ててしまうようなものです。

大きな発想：分配関数は「難易度メーター」である

この論文の著者たちは「ひらめき」の瞬間を迎えました。彼らは、この「退屈な」数（分配関数）が実は秘密を秘めていることに気づいたのです。それは、特定の質問が学生にとって今どれほど難しいかを正確に教えてくれるのです。

分配関数を電卓ではなく、難易度スケジューラーとして考えてください。

その数値が高い場合、その質問は学生にとって易しいです。
数値が低い場合、その質問は難しすぎます。
数値が中間の場合、その質問は「ちょうど良い」（学習にとっての絶好の機会）です。

PACED-RL の仕組み：賢いチューター

この「難易度メーター」を捨て去るのではなく、PACED-RL はそれを使って超賢いチュータリングセッションを実行します。主に二つのことを行います。

1. 「ジャスト・ミート」な問題の選定（適応的プロンプト選択）
10,000 問の練習問題の山を持つ教師を想像してください。

従来の方法： 教師は問題をランダムに選びます。一部は難しすぎず（学生は退屈し）、一部は難しすぎます（学生はあきらめます）。
PACED-RL の方法： 教師は各問題の「難易度メーター」を確認します。そして、正解する確率が 50% のものだけを選びます。
- なぜか？ これが「ジャスト・ミート・ゾーン」だからです。難しすぎず、易しすぎません。学生が最も学ぶのに最適な課題です。
- 魔法のような点： 教師はこの情報を無料で得られます！問題の難易度を知るために学生に問題を解いてもらう必要はありませんでした。「メーター」（分配関数）がトレーニングプロセス中にすでに教えてくれたのです。

2. 「間違いレビュー」セッション（優先的再生）
学生が推測を行うと、システムはチェックします。「私たちの難易度メーターはこれを正確に予測しましたか？」

メーターが「これは易しい」と言ったのに学生が間違えた場合、それは大きな驚きです。
メーターが「これは難しい」と言ったのに学生が正解した場合、これも驚きです。
PACED-RL はこれらの「驚き」の瞬間を特別なノート（リプレイバッファ）に保存します。その後、学生の理解を修正するために最も価値があるため、これらの特定のケースを再度レビューします。

結果：より速く、より賢く

この論文は、数学とコーディングのタスクでこれをテストしました。以下が起きました。

速度： PACED-RL は最も有用な問題にのみ焦点を当てるため、はるかに速く学習しました。いくつかのテストでは、他の手法と比較して半分以上の時間未満で同じパフォーマンスレベルに達しました。
創造性： 学生を硬直させた「教官」のような手法とは異なり、PACED-RL は学生が多様な解決策を見つける能力を維持しました。問題の解決方法を一つだけ学ぶのではなく、多くの方法を学びました。
効率性： どの問題を選ぶかを判断するために、追加のコンピュータや追加の時間を必要としませんでした。すでに生成していた情報を利用したのです。

要約の比喩

マラソンのトレーニングを想像してください。

従来の方法： 気分に関係なく、毎日同じ 10 マイルを走ります。
GFlowNets（以前の手法）： 特定の混合の丘と平地を走るように試みますが、今日にとってどの混合が最適か分かりません。
PACED-RL： 心拍数や疲労度（分配関数）をリアルタイムで確認する賢いコーチがいます。コーチは言います。「今日は、退屈な平坦な道（易しすぎる）や、急な山（難しすぎる）は走るな。あなたを強くするのに十分なほど挑戦的な丘を走ろう。」

すでにそこにあった「難易度メーター」を使用することで、PACED-RL は時間やエネルギーを無駄にすることなく、AI をより賢く、より速く、より創造的に訓練します。

技術的サマリー：正規化を超えて：RLVR におけるパーティション関数を難易度スケジューラーとして再考する

問題定義
検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を向上させる上で有効であることが実証されています。しかし、PPO や GRPO などの標準的な報酬最大化手法は、出力分布を過度に鋭くし、生成の多様性を低下させる傾向があります。最近の GFlowNet を活用したアプローチは、方策を報酬によって誘発される目標分布に一致させることでこの問題を解決しますが、通常、学習されたパーティション関数（ $Z$ ）を単に学習の安定性に必要な正規化定数として扱っています。本論文は、この視点が $Z$ に符号化された情報を過小評価しており、追加の計算コストを伴わずにサンプル効率を向上させる機会を逃していることを主張します。

手法：PACED-RL
著者らは、GFlowNet のパーティション関数を単なる正規化器ではなく、プロンプトごとのオンライン精度のシグナルとして再解釈するポストトレーニングフレームワーク、**パーティション関数誘導型 RL（PACED-RL）**を提案します。この手法は以下の 3 つの中核コンポーネントで構成されます。

パーティション関数の理論的再解釈:
本論文は、最適なパーティション関数 $Z^*(x)$ と、更新前の方策における質問プロンプト $x$ のオンライン精度 $p_{old}(x)$ の間に理論的リンクを確立します。トラジェクトリバランス（TB）損失を修正し、固定された参照モデルではなく現在の方策（ $\pi_{old}$ ）に KL 発散をアンカーすることで、著者らは $Z^*(x)$ が直接精度情報を符号化することを導き出しました。具体的には、 $p_{old}(x) \approx \beta \log Z^*(x)$ であり、KL 発散項は標準的な学習ダイナミクス中において経験的に無視できることが示されています。これにより、すでに正規化のために学習されているパーティション関数が、無料のオンライン精度推定器として機能します。
適応的プロンプト選択:
$Z_\phi(x)$ から導出された精度推定値を活用し、PACED-RL は難易度を意識したプロンプト選択戦略を実装します。プロンプトを均一にサンプリングする代わりに、この手法は推定精度が目標値 $\tau$ （通常は 0.5）に最も近い上位 $m$ 個のプロンプトを貪欲に選択します。これにより、より情報量の多い学習シグナルを提供すると以前の研究で示唆されている「中間難易度」のサンプルに学習を集中させ、サンプル効率を最大化します。
精度推定誤差優先のリプレイ:
効率をさらに高め、パーティション関数を較正するために、フレームワークはリプレイ機構を導入します。バッファには正しい報酬（ $r=1$ ）を持つプロンプト - 出力ペアが格納されます。このバッファ内では、サンプルは精度推定誤差の大きさに基づいて優先順位付けされます： $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ 。これにより、パーティション関数の予測が観測された現実から最も大きく乖離するサンプルをモデルが再訪し、精度推定値と目標分布の正規化を精緻化することが保証されます。

重要なのは、プロンプト選択とリプレイの優先順位付けの両方が、標準的な GFlowNet 学習中に生成された情報を再利用し、計算オーバーヘッドを既存の最適化プロセスに償却している点です。

主な貢献

理論的洞察: 本論文は、LLM のポストトレーニングにおける GFlowNet のパーティション関数がオンライン精度と本質的にリンクしており、補助メカニズムなしに直接精度推定器として使用可能であることを実証しました。
PACED-RL フレームワーク: これらの精度推定値を適応的プロンプト選択と誤差優先リプレイに活用する新しいトレーニングフレームワークを導入し、GFlowNet の多様性メリットを維持しながらサンプル効率を向上させました。
経験的検証: 数学的推論とコード生成のベンチマークにおける広範な評価により、PACED-RL が過サンプリングに伴う計算オーバーヘッドなしに、強力なベースライン（GRPO、FlowRL）および適応的サンプリング手法（DS、LILO、MoPPS）に対して顕著な性能向上を達成することが示されました。

実験結果
実験は、コード生成（DeepCoder データセット、DeepSeek-R1-Distill-Qwen-1.5B）および数学的推論（DeepScaleR データセット、Qwen2.5-Math-1.5B/7B）で行われました。

性能向上: AIME 24 ベンチマークにおいて、PACED-RL は Qwen2.5-Math-7B モデルを使用し、GRPO よりも平均 pass@1 パフォーマンスを29.1%、FlowRL よりも**40.0%**向上させました。
サンプル効率: PACED-RL は、GRPO や FlowRL の最高性能を大幅に短い時間で達成しました（例：LiveCodeBench におけるトレーニング時間の 0.42 倍）。過サンプリングを必要とする手法（DS、LILO）とは異なり、PACED-RL は標準的なトレーニングに対するロールアウト比率を 1.0 倍に維持し、精度推定のための追加サンプル生成に伴う遅延ペナルティを回避しました。
多様性: pass@k メトリクスで測定された多様性において、PACED-RL は一貫してベースラインを上回り、GRPO よりも最大 14.2%、FlowRL よりも 9.1% の改善を示しました。これは、この手法が出力の多様性と探索能力を維持していることを確認しました。
アブレーション研究: 著者らは、精度推定器から KL 発散項を省略してもサンプリングダイナミクスへの影響は negligible でありながら計算を大幅に節約できることを確認しました。また、モデルが向上するにつれて学習が自然に難しい質問へシフトし、狭いデータセット部分集合への収束を防ぐことも示しました。

意義と主張
本論文は、PACED-RL が LLM 向けの分布マッチング学習を強化するための「原理的かつ実用的な方法」を提供すると主張しています。パーティション関数をオンライン精度シグナルとして再解釈することで、補助的な精度推定器や過剰なロールアウト生成の計算負担なしに、よりサンプル効率の良い学習を可能にします。著者らは、この研究をより効率的な RLVR ポストトレーニングへの一歩として位置づけ、パーティション関数の役割が正規化を超えて、動的な難易度スケジューラーとして機能するまで拡張されることを示唆しています。今後の研究としては、推論時の戦略（例：適応的自己整合性）の探求や、非同期 GFlowNet 設定へのフレームワークの拡張が提案されています。