📊 statistics

Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling

本論文は、適応的バッチスケーリング（ABS）を提案することで、大規模バッチ学習と強化学習の両立を不可能とする従来の通説に挑戦し、方策の安定性に基づいてバッチサイズを動的に調整する手法により、大規模ネットワークと大規模バッチを効果的に組み合わせ、優れた性能を実現することを示す。

原著者： Jongchan Park

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jongchan Park

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「適応的バッチスケーリングによるスケーラブルなオンポリシー強化学習」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：AI 訓練における「ジャスト・ミドル」のジレンマ

あなたが犬に新しい芸を教える場面を想像してください。

小バッチサイズ: 犬に一度に一つのご褒美を与え、一つ一つの動きの直後にすぐに修正を加えます。これは犬が混乱しており、急速に学習しているときに最適です。犬が理解できていない場合は、即座に教え方を変えることができます。
大バッチサイズ: 犬が 1 時間練習するまで待ち、その後、大量のご褒美と修正を一度に与えます。これは効率的であり、犬が「平均的に」何をしているのかを非常に明確に示しますが、犬が突然奇妙な動きを始めた場合に素早く反応するのは遅くなります。

人工知能（特に強化学習、RL）の世界では、必ず「小バッチ」アプローチ（一度に一段階ずつ教えること）に固執しなければならないという長年の信念がありました。

なぜでしょうか？ AI は常に自分の考えを変えているからです。学習するにつれて、AI が目にする世界も変化します。もし feedback（フィードバック）を与えるのを待ちすぎると（大バッチを使用すると）、AI はすでに大きく変化しており、そのフィードバックは役に立たないか、あるいは混乱を招くものになっている可能性があります。まるで、もはや存在しない道路に対する運転指示を与えるようなものです。

新しいアイデア：「適応的バッチスケーリング（ABS）」

この論文の著者たちは、「待ってください。AI は常に同じ速度で自分の考えを変えているわけではありません」と言います。

彼らが提案するのは**適応的バッチスケーリング（ABS）**という手法です。これは、生徒の行動の安定性に応じて教え方を変える、賢い教師のようなものです。

初期段階（カオスモード）: AI が最初に始動するときは、荒々しく、探索を行い、大きな過ちを犯します。その行動は 1 秒ごとに劇的に変化します。
- 戦略: 小バッチを使用します。フィードバックを速く、頻繁に与え続けます。これにより、AI は柔軟性（可塑性）を保ち、自分の過ちに素早く適応できます。
後期段階（安定モード）: AI が上達するにつれて、荒々しい揺れ動きは止まります。良い習慣に落ち着き始めます。その行動は予測可能で安定します。
- 戦略: 大バッチに切り替えます。AI が安定している今、より多くのデータを収集するために待つことができます。これにより、AI のスキルを完璧にし、最高のパフォーマンスに到達するのを助ける、超精密で高品質な修正が可能になります。

秘密のツール：「行動の発散（Behavioral Divergence）」

AI は、いつ「カオスモード」から「安定モード」に切り替えるべきかを知るのでしょうか？それは行動の発散と呼ばれる新しい測定基準を使用します。

比喩: AI をダンサーだと想像してください。
- 高い発散: ダンサーは腕を振り回し、激しく回転し、1 秒ごとに動きを変えています。教師はこの様子を見て、「よし、すぐに止めて修正しよう！」と言います（小バッチ）。
- 低い発散: ダンサーは滑らかで一貫したルーティンを披露しています。教師はこの様子を見て、「素晴らしい、安定しているね。詳細な批評をする前に、1 分間あなたのダンス全体を見ていよう」と言います（大バッチ）。

この論文では、更新の間に AI の「ダンスの動き（行動）」がどの程度変化しているかを正確に測定する数学的な式を導入しています。動きが大幅に変化している場合はバッチサイズを小さく維持し、動きが安定している場合はバッチサイズを大きくします。

結果：ルールを破る

長らく、専門家は強化学習ではデータがあまりに散漫であるため、「大バッチ」を使用できないと考えていました。また、AI の「脳」（ニューラルネットワーク）を大きくすると訓練が難しくなるとも考えていました。

この論文は彼らの考えが間違っていることを証明しました。

彼らの「適応的バッチスケーリング」手法を使用することで：

限界の突破: 彼らは、通常 AI が失敗する原因となる、これまでにないはるかに大きなバッチを使用して AI エージェントの訓練に成功しました。
スケーリングの拡大: これらの大バッチと巨大な AI の脳（より大きなニューラルネットワーク）を組み合わせました。画像認識や言語モデルなど、AI の他のほぼすべての分野では、「大きな脳＋大きなバッチ＝より良い結果」ですが、RL ではこれが不可能だと思われていました。
結果: 彼らの手法は、標準的なビデオゲームテスト（Atari ゲーム）において、従来の「小バッチのみ」の手法よりも優れていました。初期段階ではより速く学習し、最終的にはより強力な結果を達成しました。

まとめ

この論文は、AI 訓練における「万能型」のアプローチは誤りであると主張しています。バッチサイズを永遠に小さく固定するのではなく、AI がより安定するにつれてバッチサイズを成長させるべきです。AI の行動がどの程度変化しているかを測定することで、システムは自動的に「速く柔軟な学習」と「遅く精密な磨き上げ」の間を切り替え、はるかに賢く巨大な AI エージェントを訓練する能力を解き放ちます。

技術的サマリー：適応的バッチスケーリングによるスケーラブルなオンポリシー強化学習

1. 問題定義

強化学習（RL）における通説は、大規模バッチ学習が本質的にこの分野と両立しないというものである。教師あり学習ではバッチサイズを増大させることで勾配推定が安定し、大規模モデルの訓練が可能となる（スケーリング則）のに対し、RL 実務者は通常、控えめなバッチサイズ（例：256–1024）に依存している。この制限は、RL におけるデータ分布の固有の非定常性に起因すると考えられている。方策（ $\pi_\theta$ ）が更新されるにつれてデータ分布がシフトし、バイアス - バラつきトレードオフが生じるためである。

支配的な見解では、臨界閾値を超えてバッチサイズを増大させることは、逓減するリターンや性能低下をもたらすとされている。大規模バッチは、訓練初期の不安定な段階において、エージェントが一時的で不安定な軌道に過剰適合（オーバーフィッティング）する原因になると考えられている。その結果、標準的な実践では、大規模アーキテクチャを使用する場合でも、モデルの可塑性を維持し、変化する分布に適応するために小規模バッチが好まれる。本論文は、この見解の静的な性質に挑戦し、非定常性の度合いは一定ではなく、訓練を通じて進化することを主張する。

2. 手法：適応的バッチスケーリング（ABS）

著者らは、学習方策の安定性に基づいて実効バッチサイズを動的に調整するフレームワークである**適応的バッチスケーリング（ABS）**を提案する。核心的な仮説は、RL 訓練は 2 つの明確な領域から構成されるというものである：

初期段階（高非定常性）： 急速な行動変化が特徴。可塑性を維持し、不安定な軌道への過剰適合を防ぐために小規模バッチが必要である。
後期段階（準定常性）： 方策が収束するにつれてデータ分布が安定する。勾配ノイズを抑制し、精密な収束を可能にするために大規模バッチが有益となる。

主要コンポーネント

行動発散（ $\delta_\pi$ ）： 方策の非定常性を定量化するために導入された新たな指標。参照バッチ上で、現在の方策（ $\pi_\theta$ $π_{θ}$ ）と直前の方策（ $\pi_{\theta_{old}}$ $π_{θ_{o l d}}$ ）の間で、優先される行動が変化する状態の割合を測定する。
- 形式的には： $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$ 。
- 高い $\delta_\pi$ は高い変動性（初期段階）を示し、低い $\delta_\pi$ は安定性（後期段階）を示す。
動的スケーリングスケジュール： 実効バッチサイズ（ $|B|$ $∣ B ∣$ ）は、行動発散に反比例してスケーリングされる。
- ロールアウト長さ（ $L_{adapt}$ ）は、正規化された発散に基づいて、最小値（ $L_{min}$ ）と最大値（ $L_{max}$ ）の間で対数的に調整される。
- $\delta_\pi$ が高い場合（急速な変化）、 $L_{adapt}$ は $L_{min}$ （小規模バッチ）に設定される。
- $\delta_\pi$ が低い場合（安定）、 $L_{adapt}$ は $L_{max}$ （大規模バッチ）までスケーリングされる。
統合： この手法は**並列化 Q ネットワーク（PQN）**アルゴリズムと統合される。行動発散の計算は順伝播（フォワードパス）のみに依存するため、逆伝播（バックワードパス）を必要とする手法（例：勾配ノイズスケール）と比較して計算効率が極めて高い。

3. 主要な貢献

RL 非定常性の定量化： 連続する方策更新間の行動レベルのシフトを測定するための実用的な順伝播指標として、行動発散を導入した。
適応的バッチスケーリングフレームワーク： 方策の安定性に応じ、バッチサイズ（ロールアウト長さ）を動的にスケーリングする、シンプルかつ効果的なアルゴリズム。初期訓練における可塑性の必要性と後期訓練における安定性の必要性の間のギャップを埋める。
スケーラビリティの検証： ALE ベンチマークにおいて、ABS が大規模バッチサイズによる性能向上を可能にすることを実証。特に大規模ネットワークアーキテクチャ（例：ResNet 様マルチスキップモデル）と組み合わせた場合、RL において以前は達成不可能と考えられていたスケーリング挙動を示した。

4. 実験結果

本手法は、PQN アルゴリズムを用いてAtari-57およびAtari-10ベンチマークで評価され、連続制御（MuJoCo）およびオフポリシー設定（BTR）にも拡張された。

性能 vs 固定バッチ： ABS は、ほとんどの環境において、バニラ PQN および固定された小規模/大規模バッチのベースラインを上回った。小規模バッチによる早期段階のスコア向上と、大規模バッチによる後期段階の分散低減を両立した。
GNS との比較： ABS は、サンプル効率と最終性能の両面で勾配ノイズスケール（GNS）アプローチを上回った。さらに、追加の逆伝播を回避するため、計算効率も著しく高かった。
大規模モデルとのスケーラビリティ： 大規模アーキテクチャ（PQN-L および PQN-XL）に適用された場合、ABS は一貫して性能を向上させた。重要なのは、固定された大規模バッチを使用すると大規模モデルの性能が低下するのに対し、ABS（小規模から大規模へのスケーリング）はこれらのモデルの可能性を解き放ち、最高の性能を達成した点である。これは、モデルの規模と適応的バッチングの有効性の間に正の相関があることを確認するものである。
汎化性：
- 連続制御： KL 発散を非定常性の代理として用い、MuJoCo における PPO に適用したところ、ABS はサンプル効率と最終性能を向上させた。
- オフポリシー RL： ロールアウト長さをバッチサイズ範囲に置き換えるという最小限の変更で BTR に適用したところ、5 つの Atari-5 環境のうち 4 つで性能が向上した。

5. 意義と主張

本論文は、大規模バッチ学習が RL と両立しないという「通説」に挑戦するものである。非定常性が固定された制約ではなく、進化していく性質であることを実証することで、著者らは大規模ネットワークと大規模バッチサイズが、適応的に管理されれば RL において最高の性能を達成しうることを示した。

この研究の意義は、強化学習のスケーリング可能性を解き放つ可能性にある。これにより、高容量の RL エージェントは、教師あり学習（例：LLM やビジョントランスフォーマー）の成功を牽引してきた大規模バッチ学習の利点を同様に活用できるようになる。著者らは ABS を、スケーラブルな RL に向けた基礎的なステップとして位置づけ、大規模スケールにおける RL と教師あり学習の性能ギャップを埋めるものとしている。

限界と将来の方向性：
著者らは、現在の研究がオンポリシーアルゴリズムに焦点を当てている一方で、将来の研究にはオフライン RL への ABS の拡張、トランスフォーマーベースのアーキテクチャでの検証、およびスケーラブルな RLHF に向けた大規模言語モデルの整列技術（例：GRPO）への手法の統合が含まれると指摘している。