🤖 machine learning

Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback

本論文は、固定された予算の下での最適なRLポストトレーニング戦略は普遍的なものではなく、モデルサイズ、探索深度、学習更新、およびフィードバックメカニズムの間の複雑な相互作用に依存することを実証するために、FLOP計上フレームワークとRACE診断プロトコルを導入し、研究者に対して単なる総FLOP数ではなく詳細な計算割り当てを報告することを促すものである。

原著者： Patrick Wilhelm, Odej Kao

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Patrick Wilhelm, Odej Kao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、世界で最も美味しいスープを作ろうとしているシェフだと想像してください。ただし、あなたの厨房のコンロが使える電気量には厳しい制限があります。大量のスープを一度に作れる巨大で高価な鍋に電気を使うこともできれば、小さな鍋を使って何時間もかき混ぜ続けることもできます。あるいは、塩が必要かどうかを確認するために、常にスープを味見することにエネルギーを割くこともできれば、野菜をより速く刻むことにエネルギーを割くこともできます。人工知能の世界、特にコンピュータプログラムに考え方や問題解決の方法を教える場面において、科学者たちは同様のパズルに直面しています。彼らには、コンピュータの計算能力（FLOPsという単位で測定される、コンピュータがどれだけの数学的計算を行えるかという数）という、固定された「予算」があります。大きな疑問は、もし一定量のパワーがあるなら、それをどこに使うべきか？ということです。AIにより大きく賢い脳を持たせるべきでしょうか？AIが学習する前に、より多くの推測を試行させるべきでしょうか？それとも、AIの成果を採点する「教師」により多くのパワーを割くべきでしょうか？このバランスを間違えると、たとえ十分なパワーがあっても、AIの学習が遅くなったり、全く学習できなかったりすることになります。

「Where Should RL Post-Training Compute Go?」と題されたこの論文は、まさにその問いを掘り下げています。著者であるパトリック・ウィルヘルムとオデジ・カオは、コンピュータのエネルギー予算を、3つの主要な要素に分割される限られた金額のように扱っています。それは、探索（AIに多くの異なる答えを試させること）、学習（それらの答えに基づいてAIの脳を実際に更新すること）、そしてフィードバック（別のプログラムを使用して、それらの答えがどれほど優れているかを採点すること）です。彼らは、唯一の「最善の方法」は存在しないことを発見しました。代わりに、完璧なレシピは、AIの脳のサイズ、採点を行う教師の種類、そして後にAIが合格させたいテストの種類によって変化します。

研究者たちは、単に「100単位のパワーを使用した」と言うだけでは、AIがどのように訓練されたかを理解するには不十分であることを発見しました。それは、シェフが100ワットの電気を使ったと言いながら、それをコンロに使ったのか、ミキサーに使ったのか、あるいは照明に使ったのかを伝えていないようなものです。AIの脳が小さい場合、多くの異なる答えを試すこと（探索）にパワーの大部分を投じることで、最良の結果が得られるかもしれません。しかし、もし巨大で強力な脳を持っているなら、同じ量のパワーではわずかな試行しか買えないかもしれないので、実際の学習ステップにより多くのパワーを割く必要があるかもしれません。彼らはまた、「教師」が非常に重要であることも発見しました。もし教師が単純なルールベースのチェッカー（数学の解答集のようなもの）であれば、ほとんどのパワーはAIの試行に回されます。しかし、もし教師が別の複雑なAIプログラムである場合、膨大な量のパワーが教師が仕事をするためだけに消費され、生徒であるAIが学習するためのパワーが少なくなってしまいます。

この論文は、「最善の」訓練方法は、何を達成しようとしているかに完全に依存すると示唆しています。もし特定の練習テストで高いスコアを取らせたいのであれば、探索と学習の特定の組み合わせが最適かもしれません。しかし、もし後で全く新しい問題を解かせたいのでたいのであれば、別の組み合わせが適しているかもしれません。科学者たちが何百万ドルもの試行錯誤に無駄な費用をかけずにこれを見つけられるように、著者らはRACEと呼ばれるツールを導入しました。RACEを、素早く安価な「味見」だと考えてください。これは、予算をどこに使うべきかの「スイートスポット」を予測するために、非常に低電力の実験を実行するものです。これにより、研究者はどのフルスケールの実験を行う価値があるかを知ることができます。著者らは、これがAIを賢くするための魔法の保証ではないことを注意深く述べています。それは、全リソースを投入する前に、正しい方向を選ぶための診断ツールに過ぎません。

結局のところ、主な教訓は「より多くのパワー」が唯一の答えではないということです。最も賢い動きは、慎重な会計士になることです。ロボットに歩かせようと、あるいはコンピュータに数学の問題を解かせようと、脳のサイズ、試行の回数、そして採点システムの間で、どのようにエネルギーを分配したかを正確に報告する必要があります。なぜなら、著者たちが示したように、同じ量のエネルギーであっても、その使い道次第で、全く異なる種類の知性を生み出すことができるからです。

技術的要約：RLポストトレーニングの計算資源はどこに投入すべきか？

問題提起
強化学習（RL）によるポストトレーニングは、基盤モデルを推論、計画、およびフィードバック駆動型のロボット学習パイプラインに適応させるために、ますます活用されている。しかし、現在のスケーリング分析は通常、これらのプロセスのコストを単一の集計指標である総FLOPsを用いて要約している。本論文は、このような報告は記述が不十分であると主張する。固定されたポストトレーニング予算の下では、計算資源の割り当ては、以下の4つの結合された次元を含む制約付きのリソース割り当て問題となる：

モデルサイズ： 学習対象となるポリシーの容量。
探索／ロールアウト（Search/Rollout）： 候補となる軌跡の生成。
学習／更新（Learning/Updates）： ポリシーの勾配ベースの最適化。
フィードバック／報酬評価（Feedback/Reward Evaluation）： 報酬モデルや検証器（verifier）の推論コスト。

対処される中心的な問いは、「固定されたFLOP予算の下で、性能を最大化するために計算資源をこれらのコンポーネント間でどのように分配すべきか？」である。著者らは、より大きなポリシーはトークンあたりの計算量をより多く消費するため、同じ予算下ではより少ないロールアウト数と更新ステップしか購入できないと仮定している。さらに、学習されたフィードバックメカニズム（例：プロセス報酬モデル（PRM））の導入は、ロールアウトや更新の予算と競合する新しい計算コストをもたらすが、このトレードオフは総FLOPsによる報告では隠蔽されてしまう。

手法
本研究は、GRPO（Group Relative Policy Optimization）のポストトレーニングに特化したFLOP計上フレームワークを導入する。総計算量（ $C_{total}$ ）は、以下の3つの項に分解される：
$C_{total} = C_{search} + C_{learning} + C_{reward}$
ここで：

$C_{search}$ : 自己回帰的なロールアウト生成。
$C_{learning}$ : ポリシーの最適化（LoRAアダプタのパラメータおよび凍結されたバックボーンのコストを考慮）。
$C_{reward}$ : 報酬または検証器の推論。

主要な割り当て変数である更新比率（ $\rho$ ）は、総計算量に対する学習計算量の比として定義される。著者らは、Qwen2.5のLoRA適応ポリシーを用い、Polaris-53K数学的推論データセットを用いて実験を行った。実験設計には以下が含まれる：

ステージA： 探索と学習の割り当てを研究するために、モデルサイズ（1.5B, 3B, 7B）を変化させる。
ステージB & D： 報酬システム（スパース、構造化、高密度、プロキシPRM、および実PRM）を比較し、フィードバックコストが割り当てのフロンティアをどのようにシフトさせるかを評価する。
評価： 指標には、ネイティブな学習報酬、GSM8KおよびMATH-500におけるダウンストリームのpass@1精度、および「共通の判定器（common judge）」によるプロセス品質スコアが含まれる。

膨大な探索コストに対処するため、著者らは**RACE（Reward-Aware Compute Allocation）**と呼ばれる診断用パイロット・グリッド・プロトコルを導入する。RACEは、局所的な報酬割り当てへの応答を推定し、設定が「探索重視」、「更新重視」、あるいは「報酬重視」のレジームのいずれに属するかを特定するための、小規模なIsoFLOPパイロット・グリッドを実行する。著者らは、RACEはレジーム特定のための診断ツールであり、ホールドアウト（未知のデータに対する）改善を保証するものではないことを明示している。

主な貢献

FLOP計上フレームワーク： RLポストトレーニングの計算を、ロールアウト、更新、および報酬評価のコンポーネントに形式的に分解することで、メカニズムが異なっていても同一の総FLOPsを持つ実行間の比較を可能にする。
モデルサイズと割り当ての結合： モデルの選択と学習の割り当ては不可分であるという経験的証拠。固定予算の下では、大きなポリシーは本質的に更新数とロールアウト数を減少させ、最適な割り当てフロンティアを変化させる。
報酬およびターゲット依存性： 「最適な」割り当ては、報酬システム（ルールベース vs PRM）および評価対象（ネイティブ報酬 vs ダウンストリーム精度 vs プロセス品質）に依存することを示す。例えば、PRMベースのフィードバックは、報酬モデルの推論によって予算の一部が消費されるため、最適な更新比率（ $\rho$ ）を低くシフトさせる。
RACEプロトコル： 小規模なパイロット・グリッドを通じて割り当てレジームを特定するための診断手法。これは検証実行を置き換えるものではなく、ガイドすることを目的としている。

結果

条件付き割り当てフロンティア： 最適な割り当ては固定された一点ではなく、条件付きのフロンティアである。探索重視の設定は学習能力を活用しきれず、更新重視の設定は探索が制限される。
報酬システムのインパクト： ルールベースの報酬（スパース、構造化、高密度）は、高い更新レジーム（ $\rho \approx 0.72$ ）を好む傾向がある。対照的に、PRMスタイルのフィードバック（プロキシおよび実）は、固定予算が報酬モデルの推論もカバーしなければならないため、ネイティブ報酬の最適フロンティアをより低い更新比率（ $\rho \approx 0.44–0.45$ ）へとシフトさせる。
ターゲット間の不一致： 異なる評価対象は、それぞれ異なる最適な割り当てを選択する。
- ネイティブ報酬： 学習中に使用された特定のフィードバック信号を最大化する割り当てを好む。
- ダウンストリーム Pass@1： 報酬システムに関わらず、しばしば高い更新レジーム（例： $a180$ 設定）を好む。
- 共通の判定器： 高密度およびPRM報酬に対して、しばしば中程度の更新レジーム（例： $a100$ ）でピークに達する。
  この不一致は、ある指標を最大化するレシピが、必ずしも別の指標を最大化するとは限らないことを示している。
RACEの性能： RACEは、検証設定において正しいレジーム（高更新 vs 低更新）を高い精度（同一レジーム率1.0）で特定できるが、ベースラインに対するホールドアウトのグローバルな改善を保証するものではない。

意義と主張
本論文は、RLポストトレーニングは単純なスケーリング則ではなく、制約付きのリソース割り当て問題であると控えめに主張している。著者らは、総FLOPsのみを報告することは、モデル容量、経験生成、およびフィードバック評価の間のメカニズム的なトレードオフを隠してしまうと論じている。

その意義は、コミュニティに対して**割り当てを考慮した計算量（allocation-aware compute）**を報告することを推奨することにある。すなわち、総FLOPsとともに、ロールアウト、更新、および報酬評価の具体的な内訳としてのFLOPs、および結果としての更新比率 $\rho$ を報告することである。この透明性は、ロボット学習システムにおいて極めて重要である。なぜなら、RLポストトレーニングを通じて推論またはフィードバックモジュールを改善する場合、限られたリソースを、より大きなモデル、より広範な探索、あるいはより強力なフィードバックメカニズムのいずれかに投資するかを決定する必要があるからである。本論文は、普遍的な「最良の」レシピは存在せず、最適な割り当ては、モデルサイズ、報酬設計、および最適化しようとしている特定の評価対象に共同で依存するという結論を下している。

技術的要約：RLポストトレーニングの計算資源はどこに投入すべきか？

関連論文