🤖 AI

Scalable Option Learning in High-Throughput Environments

原著者： Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

原著者： Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑なダンジョンを、モンスター、罠、そして財宝で満たされた状態で、ロボットにナビゲーションを教えることを想像してください。これは、エージェントが試行錯誤を通じて学習する**強化学習（RL）**における古典的な問題です。

問題は、そのダンジョンが巨大であることです。もしロボットに「左足を動かし、次に右足を動かし、そして頭を回せ」と指示すれば、ロボットは圧倒されてしまいます。これは、ページ上のすべてのピクセルを一つずつ決めて小説を書くようなもので、ロボットは局所的なループ（例えば、同じ場所をぐるぐる回るなど）に陥り、全体像を学ぶことができません。

**階層的強化学習（HRL）**は、この課題をタスクを層に分解することで解決しようとする考え方です。ロボットは足を直接制御するのではなく、「モンスターと戦え」と指示する「マネージャー」と、実際にその指示に従って足を動かす方法を考える「ワーカー」を持っています。

しかし、これまでこれらの「マネージャー - ワーカー」システムは遅く、不器用でした。真に複雑なタスクを学習するために必要な膨大なデータを処理できませんでした。それらは、都市全体にパンを焼こうとする小さなパン屋のようであり、単に規模を拡大することができませんでした。

解決策：スケーラブルなオプション学習（SOL）

この論文の著者たちは、**スケーラブルなオプション学習（SOL）**と呼ばれる新しいシステムを構築しました。SOL は、その小さなパン屋を巨大で自動化された工業工場へとアップグレードしたものだと考えてください。

以下に、彼らがどのように行ったかを、簡単な比喩を用いて説明します。

1. 「万能型」の脳（アーキテクチャ）

従来の階層システムは、マネージャー用の脳と、各ワーカーごとに個別の脳を持っているようなものでした。ワーカーが 100 人いれば、101 個の脳が必要となり、それらは絶えず互いに通信しなければなりません。これは遅く、厄介です。

SOL の工夫： 彼らは、マネージャーとしても、あるいは任意のワーカーとしても機能できる単一の脳を構築しました。

比喩： スイスアーミーナイフを想像してください。これは一つの道具ですが、どの「フラグ」（小さなスイッチ）を切り替えるかによって、ドライバー、ナイフ、またはコルク抜きになります。
SOL では、ニューラルネットワーク（脳）は同じですが、小さな「インデックス」が「今は次の行動を決定するマネージャーだ」あるいは「今は足を動かす『戦闘』ワーカーだ」と指示します。これにより、コンピュータは数千のシナリオを同時に処理でき、処理速度が劇的に向上します。

2. 「柔軟なシフト」（適応的な長さ）

従来のシステムでは、ワーカーに「ちょうど 10 ステップ戦って、その後停止せよ」と指示されることがありました。しかし、戦闘が 3 ステップで終わったり、50 ステップ必要になったりしたらどうでしょうか。硬直したアプローチは問題を引き起こします。

SOL の工夫： マネージャーは「何を」行うかだけでなく、「どのくらいの長さ」行うかも選択します。

比喩： 建設現場の監督を想像してください。「この壁を 10 分間建てよ」と言うのではなく、監督は壁を見て、「壁が完成するか、5 分が経過するまで、どちらが先かによって建てよ」と指示します。
SOL は、隅を確認するような短いバーストか、部屋全体を探索するような長いスパンかを学習して選択し、状況に応じて自動的に適応します。

3. 「即時フィードバック」ループ（ブートストラッピング）

通常、これらのシステムでは、ワーカーはマネージャーが一日の終わりに最終スコアを与えるまで、自分の仕事がうまくいったかどうかを知ることができず、混乱します。これは、学期末まで成績がわからない状態でテストを受ける学生のようです。

SOL の工夫： 彼らは、ワーカーが特定のタスクを完了した直後に、エピソード全体が終わっていなくても「練習の成績」を得られる仕組みを作りました。

比喩： これは、最後のボスを倒すまで上手にプレイしたかどうか分からないビデオゲームではなく、敵を倒した直後に「コンボスコア」が即座に表示されるようなものです。これにより、ワーカーははるかに速く学習できます。

結果：速度と知性

著者たちは、SOL をNetHackでテストしました。NetHack は、古くからある非常に難易度の高いビデオゲームであり、本質的には巨大でランダムに生成されるダンジョンです。その複雑さゆえに、トップクラスの AI モデルさえも苦戦します。

速度： SOL は、従来の階層手法よりも35 倍から 580 倍速く動作しました。以前はこの種のシステムでは不可能だった「フラット（非階層的）」エージェントに匹敵する速度でデータを処理できました。
規模： 彼らは SOL を300 億フレームの経験で訓練しました。これを理解しやすくするために言えば、従来のほとんどの階層エージェントは数百万フレームで訓練されていました。これは、本の数ページを読むことと、議会図書館全体を読むことの差です。
性能： SOL は、「フラット」エージェント（すべてを一度に学習しようとするロボット）や他の階層手法を大幅に上回る性能を発揮しました。
- ゾンビと戦い、回復するために撤退する必要がある「ZombieHorde」というテストでは、SOL は「傷つくまで戦い、その後回復のために走る」という戦略を学習しました。一方、フラットエージェントは死ぬまで戦い続けました。
- 金貨を拾うか出口に向かうかを選択する必要がある「TreasureDash」では、SOL は金貨を集め、適切なタイミングで退出するという完璧なバランスを学習しました。

なぜこれが重要なのか（論文によると）

この論文は、長らく階層的 RL が「小規模データ」の時代にとどまっていたと主張しています。それは有望なアイデアでしたが、現代の AI に必要な巨大な規模を処理できませんでした。

SOL は、階層的学習をスケーリングできることを証明しました。賢い「単一脳」アーキテクチャと柔軟なタイミング、そして優れたフィードバックループを組み合わせることで、数十億の例を用いて複雑で多層化されたエージェントを訓練する能力を解き放ちました。

要約すれば： 彼らは、ワーカーのチームを管理しようとしていた遅く、不器用なシステムを、数十億ページに及ぶ経験を読みながら複雑な戦略を学習できる、高速で自動化された工場へと変えました。その際、「マネージャー」と「ワーカー」の役割は明確に区別され、効果的に機能し続けています。

技術的概要：高スループット環境におけるスケーラブルなオプショントレーニング

問題定義

階層強化学習（HRL）は、問題を上位コントローラーが管理するサブタスク（オプション）に分解することで、長期的な時間スケールにわたる意思決定タスクを解決するための有望な枠組みを提供する。しかし、既存の階層的手法は、フラットな強化学習（RL）や他の機械学習分野の進展を牽引してきた大規模トレーニングの恩恵をほとんど実現できていない。フラットなエージェントやビジョンモデルが数十億のサンプルで日常的にトレーニングされるのに対し、階層型エージェントは重大な計算ボトルネックにより、通常は数百万のサンプルに制限されている。

HRL をスケーリングする際の主な課題は、階層型実行の並列化の難しさである。軌道セグメントのバッチにおいて、異なる時間ステップはしばしば異なる方策（コントローラーまたは各種オプション）に対応し、それぞれが固有の報酬関数と終了条件を持つ。この不均一性は、均一なバッチ処理に依存する高スループット RL ライブラリ（例：IMPALA、Sample Factory）の直接的な適用を妨げる。その結果、現在の階層型手法はしばしば単一の軌道を逐次的に処理し、スループットを制限するとともに、AI の他の分野で観察される「スケーリング則」を活用することを阻害している。

手法：スケーラブルなオプショントレーニング（SOL）

著者は、パフォーマンスと計算スループットの両方を最適化するように設計された階層型方策勾配アルゴリズムである**スケーラブルなオプショントレーニング（SOL）**を提案する。SOL は、特定のアルゴリズム的およびシステムレベルの革新を通じて、スケーリングのボトルネックに対処する。

1. アルゴリズム的貢献

バーストストラッピングによる価値関数を用いた共同最適化: SOL は、コントローラーとすべてのオプションに対するアクター・クリティック目的関数を共同で最適化する。重要な革新は、オプションの切り替え時にオプションの価値関数をバーストストラップすることである。オプションが自然に終了するのを待ってリターンを計算する代わりに、アルゴリズムは、状態 $s_t$ におけるオプション $\omega$ の価値を、 $K$ ステップのリターンと、切り替え点（ $s_{t+K+1}$ ）におけるバーストストラップされた価値推定値の和として近似する。これにより、オプション方策は、混合された行動方策によって生成された軌道でトレーニングされている場合でも、独立した内在的報酬（ $R_\omega$ ）を最適化できる。
適応的オプション長さ: コントローラーは次のオプション $\omega$ を選択するだけでなく、指数関数的に間隔を空けた値の集合（ $L = \{2^i\}$ ）から実行長さ $l$ も出力する。これは、オプション選択ヘッド alongside してトレーニングされる softmax ヘッドを介して実装される。このメカニズムにより、エージェントは現在の観測に基づいてサブタスクの時間的抽象度を動的に調整でき、コントローラーが長さ 1 のオプションのみを選択するようになる「オプションの退行」問題を回避できる。
非定常性の低減: 目的関数は、特定のオプションのアドバンテージ関数と価値関数が、他のオプションやオプション終了後のコントローラーの特定の方策ではなく、その独自の報酬とシステムによって誘発される状態分布のみに依存するように設計されている。これにより、相互依存性が制限され、トレーニング中の非定常性が低減される。

2. システムレベルの貢献

高スループットを達成するために、SOL は GPU 上での大規模な並列化を可能にするようトレーニングパイプラインを再構成する：

統合ニューラルネットワーク: 単一のニューラルネットワークがすべての方策（コントローラーとすべてのオプション）を表す。ネットワークは、観測とアクティブな方策を示すワンホットベクトルを入力として受け取り、環境の行動、オプション、およびオプション長さに関する分布を出力する。これにより、すべての方策に対して同時にバッチ処理されたフォワードパスが可能になる。
環境ラッパー: アクター側のラッパーはアクティブな方策インデックスを追跡し、終了条件に基づいて方策の切り替えを処理し、オプション固有の報酬を計算する。コントローラーが呼び出されたときに観測を複製し、選択されたオプションが正しい状態入力を受け取るようにする。
並列化されたリターン計算: ラーナーワーカーは、テンソル化された操作を使用して、すべての方策に対するアドバンテージと価値ターゲットを同時に計算する。時間次元を逆方向に反復し、方策インデックスを使用して報酬をルーティングすることで、システムは混合方策バッチのリターンを単一のパスで計算する。非同期アクターからのオフポリシーデータを処理するために、V-trace 補正が適用される。

主要な結果

著者は、MiniHack、NetHack、および Mujoco（PointMaze）の 3 つの環境で SOL を評価した。

スループット: NetHack 学習環境（NLE）において、SOL は1 秒あたり 43,000 ステップのスループットを達成し、既存の階層型手法（HIRO、Option-Critic、MOC、Hierarchical RLLib）と比較して35 倍から 580 倍の高速化を実現した。フラットな APPO エージェントのスループットの 86% を維持している。
NetHack パフォーマンス: 300 億フレームでトレーニングされた SOL は、フラットなエージェント（APPO）や他の階層型ベースラインを大幅に上回る。
- NetHackScore環境において、SOL は着実に改善し、フラットなエージェントを上回る。
- Motif（LLM ベースの内在的報酬合成器）と組み合わせると、SOL+Motif は NetHackScore において新たな最先端（state-of-the-art）を確立する。
- 除去実験により、階層構造と特定のオプション報酬の両方が必要であることが確認された。タスク報酬のみでトレーニングされた階層型エージェント（SOL+HiPPO）は、フラットなベースラインを上回ることができなかった。
MiniHack におけるクレジット割り当て: ZombieHorde（治療と戦闘のトレードオフを必要とする）およびTreasureDash（ゴールド収集と脱出のバランスを必要とする）において、フラットなエージェントおよびオプション報酬を付与したフラットなエージェントは局所最適解から脱出できなかった。SOL は、（治療用の「Health」オプションや戦闘用の「Score」オプションなど）異なるオプションを調整することを成功裡に学習し、ほぼ最適なパフォーマンスを達成した。
連続制御: 欺瞞的な報酬ランドスケープによりエージェントを局所最適解に閉じ込めるように設計されたカスタムG-maze（PointMaze）において、SOL は進歩を遂げた唯一の手法であり（約 70% の成功率を達成）、フラットなエージェントや他の階層型手法はゼロの成功率のままだった。
自動報酬発見: 本論文は、SOL がDIAYNのような自動報酬合成手法と互換性があることを実証している。SOL+DIAYN はハードコードされたオプション報酬なしで効果的な方策を学習するが、手作りの報酬を持つバージョンに比べて収束がわずかに遅い。

意義と主張

本論文は、数十億のサンプルにスケーリング可能な最初のオンライン階層型 RL アルゴリズムを提示すると主張している。その意義は、階層の理論的利点と、現代の大規模トレーニングの実際的な要件との間のギャップを埋める点にある。

スケーラビリティ: この研究は、階層型 RL を、スループットの面でフラットな RL と競争できるほど計算効率的にできることを実証しており、以前は HRL では不可能だった桁違いに大規模なデータセットでのエージェントトレーニングを可能にする。
階層と報酬の必要性: 実験は、困難なクレジット割り当て問題に対しては、階層だけでは不十分であることを示唆している。パフォーマンス向上を解き放つためには、有用な内在的報酬（手作りのものか学習されたものか）と組み合わせる必要がある。
汎用性: この手法は、離散的でオープンエンドな環境（NetHack）と連続制御タスク（Mujoco）の両方で効果的であることが示されており、長期的な意思決定のための汎用枠組みとしての可能性を示している。

著者は、このシステムがビデオゲームやシミュレーターのようなサンプルに富む領域における計算効率のために最適化されているが、データが不足する環境におけるサンプル効率については現在最適化されていないと指摘している。今後の研究として、オプション報酬を学習するための一般的な手法の探求、およびこれらのスケーラブルな設計をモデルベースの RL 枠組みに統合することが提案されている。