🤖 machine learning

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

本論文は、方策最適化を検索された軌跡上の拡散プロセスとして再定式化することにより、世界モデル内での検索と方策学習を統合し、構造的な不一致を解消してスケーラブルかつ一貫した強化学習を可能にするモデルベース拡散方策最適化（MBDPO）という枠組みを導入する。

原著者： Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩行させたり、ビデオゲームをプレイさせたり、物体を操作させたりすることを想像してみてください。これを効率的に行うためには、ロボットは世界の仕組みをシミュレートする「夢」や精神的なシミュレーションが必要です。AI の世界では、これをワールドモデルと呼びます。これはロボット脳内のシミュレーターのようなもので、そこでロボットは実際の足を折ったり、実際の車を衝突させたりすることなく、数百万回も練習することができます。

長年、研究者たちはこれらのシミュレーターをより大きく、より賢くしようと試みてきました。より大きな脳があれば、自動的により優れたロボットが生まれると期待してのことです。しかし、彼らは壁にぶつかりました。共有された論文**「Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization (MBDPO)」**は、なぜその壁が存在するのか、そして彼らがそれをどのように突破したのかを説明しています。

以下に、彼らの発見の物語を簡単に解説します。

問題：「昼夢見る者」と「採点者」

チェスを学ぶ学生を想像してみてください。

昼夢見る者（探索）： この学生は、グランドマスターと対戦する様子を頭の中で想像します。頭の中で未来をシミュレートし、どの手が勝利に導くかを確認するために、さまざまな手を試みます。これが現在の AI 手法の仕組みです。彼らは未来をシミュレートすることで「探索」を行い、最善の手を見つけ出します。
採点者（価値関数）： これは過去のレッスンに基づいてすべての手にスコアを与える教師です。教師はこう言います。「その手は過去に機能したから、良さそうだね」。

不具合： 以前の手法では、「昼夢見る者」と「採点者」が同期していませんでした。

採点者は、単にランダムに推測していた（あるいは非常に保守的にプレイしていた）学生のデータで訓練されていました。
昼夢見る者は、グランドマスターのようにプレイしようとしており、大きなリスクを取り、奇妙で新しい手を試みていました。

昼夢見る者が奇妙で新しい手を試みると、採点者はその手が紙の上では良さそうに見えたため、高いスコアを与えました。しかし、採点者は実際にはその手が現実で機能したことを一度も見ていませんでした。昼夢見る者は過信し、ミスを犯し、システム全体がクラッシュしました。この論文ではこれを**「ミスマッチ（不一致）」**と呼んでいます。ロボットは、その教師が理解していない未来を夢見ていたのです。

解決策：MBDPO（「拡散」による修正）

著者の程小源（Xiaoyuan Cheng）氏と共同研究者たちは、MBDPOと呼ばれる新しい手法を導入しました。彼らは単にシミュレーターを大きくしただけではなく、ロボットが動く「方法」そのものを変えました。

彼らは拡散という概念を使用しました。これは、ぼやけた雲を鮮明な猫に変えるなど、リアルな AI 画像を生成するために使用されるのと同じ数学です。

比喩：粘土の塊から像を彫る
ロボットの戦略は単一の動きではなく、一連の動き（ダンスの振り付けのようなもの）であると想像してください。

従来の方法（探索）： ボードにダーツをランダムに投げて、完璧なダンスの振り付けを推測しようとするものです。幸運な場所に命中すれば、それを維持します。ボードが少しずれていれば、悪い振り付けになってしまいます。
MBDPO の方法（拡散）： ロボットは、単なるランダムなノイズ（静電ノイズ）の塊から始めると想像してください。
1. ロボットは「ワールドモデル（水晶玉）」を持っており、想像するどんなダンスの動きの未来も視ることができます。
2. ロボットはノイズを少しずつ、段階的に削り取り、粘土を像へと磨き上げていきます。
3. 各ステップで、ワールドモデルはこう言います。「腕をこのように動かせば、高いスコアが得られる。あのように動かせば、転倒する」。
4. ロボットはこのフィードバックを使用して、粘土を「最良の」ダンスの振り付けへと優しく誘導します。

このプロセスは**拡散方策最適化（Diffusion Policy Optimization）**と呼ばれます。推測と確認を繰り返すのではなく、ロボットは自分の戦略からノイズを取り除き（デノイズ）、混沌を完璧で高スコアの計画へと徐々に変えていきます。

これが重要な理由

この論文は、主に 3 つの主張を行っています。

「ミスマッチ」を修正する： この拡散プロセスを使用することで、ロボットの「探索（未来の想像）」と「学習（脳の更新）」が同じループ内で発生します。ロボットは、実際にシミュレートしていない手について過信することはありません。まるで「採点者」と「昼夢見る者」が同じ人物になり、絶えず互いに話しかけ合っているかのようです。
スケーラビリティ： 通常、AI モデルを大きくする（より多くの「ニューロン」を追加する）と性能が向上しますが、前述のエラーのために最終的には頭打ちになったり、悪化したりします。MBDPO は、モデルを大きくする（170 万パラメータから 3 億 4000 万パラメータへ）につれて、ロボットが一貫して向上したことを示しています。壁にぶつかることなく、登り続けていました。
どこでも機能する： 彼らは、ロボット犬を歩かせたり走らせたりすることから、ロボットアームでブロックを積み上げるまで、複雑なビデオゲームをプレイすることまで、121 の異なるタスクでこれをテストしました。ほぼすべてのケースで、MBDPO は以前の最良の手法（TD-MPC2 や DreamerV3 など）を上回りました。

「秘密の調味料」：エネルギー・アンカー

MBDPO の巧妙なトリックの一つに、**「暗黙のエネルギー関数（Implicit Energy Function）」**と呼ばれるものがあります。

これは安全なリードのようなものです。

ロボットは探索を許され、新しいリスクのある手を試すことができます（「探索」）。
しかし、「エネルギー関数」は、安全で実証済みの行動（「方策」）に繋がれたリードのように機能します。
ロボットが既知の安全な領域から遠く離れすぎようとすると、リードがそれを引き戻します。これにより、ロボットが自分の昼夢の中に迷い込むのを防ぎ、現実の地に足をつけていることを保証します。

結果

オフライン学習： 彼らは過去の膨大な動画データセット（何千時間ものスポーツ映像を見るようなもの）でロボットを訓練しました。ロボットは以前のどの手法よりも優れたプレイを学び、モデルが大きいほど、より良くプレイしました。
オンライン学習： ロボットがゼロから始め（事前の動画なし）、競合他社よりも速く、より安定して学習しました。
視覚的証拠： 研究者たちがロボットの「夢」（内部で想像した経路）を見ると、MBDPO の夢は滑らかで論理的、かつ物理的に現実的であることが分かりました。一方、従来の手法の夢は乱雑で混沌としていました。

まとめ

この論文は、真に賢い AI ロボットを構築するためには、単に脳を大きくするだけでは不十分であると主張しています。脳の「考え方」を修正する必要があります。MBDPOは、ワールドモデルによって導かれる**拡散プロセス（ノイズからの彫刻のようなもの）**を使用することで、「計画」と「学習」の間の断絶を修正します。これにより、ロボットはこれまで以上に速く、安全に、効果的に複雑なスキルを学習できるようになり、数学が正しければ、より大きなモデルは確かにより賢いロボットにつながることを証明しました。

技術的サマリー：拡散方策最適化による世界モデル強化学習の拡張

1. 問題定義

世界モデルを利用したモデルベース強化学習（RL）は、エージェントが学習された内部環境内で「夢見」を行い計画することを可能にすることで、サンプル効率の高い計画のための有望なパラダイムを提供する。しかし、これらのアプローチのスケーラビリティは本質的に制限されたままだ。先行研究では性能の格差をモデルのバイアスと累積的な予測誤差に帰因してきたが、本論文はより重要かつ未探索のボトルネック、すなわち探索と価値学習の間の構造的な不一致を特定している。

既存の世界モデルアプローチ（TD-MPC シリーズなど）では、方策改善は通常、学習された世界モデル上で動作するサンプリングベースのプランナー（モデル予測経路積分：MPPI など）に依存している。これに対し、価値関数は、別の探索を行わない方策（多くの場合、行動方策またはリプレイバッファの方策）によって生成された軌跡に基づいて訓練される。これにより分布の不一致が生じる：

価値反復のギャップ：価値関数は方策 $\beta$ からのデータで訓練されるが、探索方策 $\pi$ によって問い合わせられる。 $\pi$ が $\beta$ から大きく逸脱する場合、価値推定は信頼できなくなり、しばしば誤った過大評価につながる。
方策改善のギャップ：探索手順はこれらの過大評価された価値を利用し、誤りを強化して分布のシフトと誤差増幅の悪循環を引き起こす。その結果、探索は従来の意味での真の方策最適化を構成せず、単調な改善や最適方策への収束を保証しない。

2. 手法：モデルベース拡散方策最適化（MBDPO）

これらの制限に対処するため、著者らは潜在世界モデル内で拡散方策表現を通じて探索と方策最適化を統合するフレームワークである**モデルベース拡散方策最適化（MBDPO）**を提案する。

コアフレームワーク

MBDPO は、MPPI のような明示的なプランナーに依存するのではなく、潜在空間内の想像された軌跡上の拡散過程として方策最適化を再定式化する。このプロセスには以下が含まれる：

潜在世界モデル：エージェントは、コンパクトな潜在空間 $Z$ で動作するためのエンコーダ $E$ 、潜在ダイナミクス $F$ 、および報酬予測器 $R$ を学習する。
暗黙的エネルギー関数：方策更新を固定し分布のシフトを防ぐため、MBDPO は対照的目的関数を通じてバッファデータセットから暗黙的エネルギー関数 $E_\theta$ を学習する。この関数は行動方策 $\beta$ の対数密度を近似し、実質的に KL 制約として機能する。
想像された軌跡によるスコアマッチング：前方拡散過程の代わりに、スコア関数 $\phi$ $ϕ$ は学習された世界モデル内で想像された軌跡から直接推定される。
- アルゴリズムは提案分布からクリーンな動作シーケンスの候補をサンプリングする。
- これらのシーケンスは潜在ダイナミクス $F$ 経由でロールアウトされ、エネルギー正則化された累積リターン $\tilde{G}$ が計算される。
- サンプルは $\tilde{G}$ に基づいて再重み付けされ、逆拡散過程を導くスコア関数を推定する。

理論的統合

本論文は、拡散モデルにおけるスコアマッチング条件と KL 制約付き方策最適化問題の解との間の理論的同等性（定理 1）を確立する。

目的は、行動方策に対する KL 発散の制約条件下で期待リターンを最大化することである： $\max_{\pi_\phi} \mathbb{E}[G] \text{ s.t. } D_{KL}(\pi_\phi \| \beta) \leq \epsilon$ 。
MBDPO は、この制約付き問題に対する最適方策がギブス分布に従うことを示す。
この分布に一致するようにスコア関数を学習することにより、逆拡散過程は暗黙的に制約付き最適化を実行し、これによって探索（軌跡生成）と方策学習（価値最大化）を単一の整合的なフレームワークに統合する。

実用的アルゴリズム

MBDPO は共同訓練パラダイムを採用する：

世界モデルと価値反復：エンコーダ、ダイナミクス、報酬、価値関数（ $\hat{Q}$ ）、および暗黙的エネルギー関数は、リプレイバッファからの軌跡セグメントを使用して更新される。
拡散方策最適化：スコアネットワークは、リターンで重み付けされた想像された軌跡のモンテカルロサンプリングを用いてスコア関数を予測するように訓練される。推論中、スコアネットワークは効率的な動作シーケンス生成のための償却解として機能する。

3. 主要な貢献

構造的な不一致の特定：本論文は、既存の世界モデルアプローチにおける探索と価値学習の分離が、最適性の欠如と単調な方策改善の妨げとなることを示す理論的分析（問題 1 と 2）を提供する。
MBDPO フレームワーク：探索と方策最適化を拡散過程として定式化する統合フレームワークの導入。このアプローチは、方策を行動分布に固定するために暗黙的エネルギー関数を利用し、価値反復のギャップと分布のドリフトを軽減する。
スケーラブルな性能：多様な設定（マルチタスクオフライン事前学習、オンライン学習、オフラインからオンラインへの微調整）において、モデル容量の増加（170 万から 3 億 4000 万パラメータ）に伴い一貫した単調な性能向上を示すスケーラブルな拡散 RL アルゴリズムの開発。
実証的検証：4 つのベンチマーク（DMControl、MetaWorld、ManiSkill2、MyoSuite）の 121 タスクにわたる広範な評価により、最先端のベースライン（SAC、DreamerV3、TD-MPC、TD-MPC2）に対する優れた性能を実証。

4. 実験結果

オフライン事前学習：MBDPO は明確な単調なスケーリング挙動を示す。モデルパラメータが 170 万から 3 億 4000 万に増加するにつれて、80 タスクおよび 30 タスクデータセットにおける正規化スコアが一貫して向上し、特に小規模モデルスケールにおいて TD-MPC2 を大幅に上回る。
オンライン学習：ゼロから開始するオンライン設定において、MBDPO は全 121 タスクで優位か競争力のある結果を達成する。初期訓練段階においてベースラインと比較して分散が低く、方策改善が加速されることを示す。
ボトルネックの軽減：実証的分析により、MBDPO は TD-MPC2 に比べて時差（TD）誤差と動作ドリフトを大幅に減少させることが示された。拡散方策は安定しており滑らかに収束するのに対し、ヒューリスティック探索手法は高い変動性と深刻な方策ドリフトを示す。
一般化：オフラインからオンライン（O2O）の転移実験において、70 タスクで事前学習された汎用エージェントは、タスクあたり 4 万回の相互作用のみで 10 の未見タスクに微調整され、ゼロから訓練した場合を上回る性能を発揮した。
効率性：MBDPO はオンライン訓練において無視できるオーバーヘッドしか生じず、ほとんどのドメインで 1 ステップあたりの訓練時間は TD-MPC2 と同等かそれ以上である。

5. 意義と主張

本論文は、MBDPO が探索と価値学習の間の構造的な不一致を解決することにより、世界モデル内の方策学習における新たなパラダイムを確立すると主張する。主要な洞察は以下の通りである：

拡散のスケーラビリティ：拡散モデルは世界モデルと方策最適化を橋渡しする内在的なインターフェースとして機能し、想像された軌跡を通じて継続的な価値反復と方策改善を可能にする。
表現の重要性：学習された潜在表現の品質は決定的である。MBDPO の共同最適化は、物理的直感と整合する潜在空間を構築するのに役立ち、周期的タスクには構造化された閉ループ軌跡を、操作タスクには目標指向の経路を生み出す。これらはヒューリスティック探索手法によって生成されるものよりも物理的に意味がある。
原理的な基盤：この研究は、方策学習のスケーリングにはより複雑なヒューリスティック探索パイプラインが必要ではなく、むしろ世界モデルを KL 制約付き目的関数を通じて基礎的な RL パラダイム（特に）に本質的に結びつける原理的な基盤が必要であることを示唆している。

著者らは、現在の焦点がシミュレーション環境に限定されていること、および計算上の制約により極めて大規模なファウンデーションモデルサイズへの拡張がなされていないことなどの限界を指摘している。今後の方向性としては、MBDPO の実世界ロボットへの展開や、より豊かな事前学習済み視覚表現またはマルチモーダル表現との統合が含まれる。