🤖 AI

DWM: Separating World Effects from Actions in Latent World Models

本論文は、潜在的な世界モデルにおいて、行動に起因する遷移と行動に依存しない世界の効果を明示的に分離することで、重力や慣性のような持続的なダイナミクスが存在する環境におけるプランニングの成功率を向上させる、監督レベルのフレームワークであるDWM（Decomposed World Model）を提案する。

原著者： Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットにビリヤードの遊び方を教えていると想像してください。あなたは、ロボットが手玉を打って、8番ボールをポケットに落とせるようにしたいと考えています。しかし、一つ問題があります。テーブルが完全に平らではないのです。わずかに傾斜しており、たとえロボットが何もしなくても、重力が常にボールを斜面の下へと滑らせようとしています。優れたプレイヤーになるためには、ロボットは二つのことを同時に理解しなければなりません。すなわち、自分自身のキューがボールの軌道をどう変えるか、そしてテーブルの傾斜が自律的にボールをどう動かしているか、です。これは「エンボディドAI（身体化されたAI）」の核心であり、コンピュータが世界の動き方のメンタルマップを構築することで、物理的な世界の中でどのように行動するかを学ぶ分野です。

コンピュータが先読みを行うために、「潜在世界モデル（latent world model）」と呼ばれるものを使用します。これは、ロボットの脳内にある「夢見る機械」のようなものだと考えてください。ロボットは現実の世界をフレームごとに観察する代わりに、未来の簡略化された目に見えないスケッチを作成します。そして、「もし私がボールをこのように押したら、何が起こるだろうか？」と問いかけるのです。問題は、現在の夢見る機械は、未来におけるあらゆる変化を一つの混沌とした塊として扱ってしまうことです。それらは、動きのどの部分がロボットの押しによるもので、どの部分がテーブルの傾斜によるものなのかを区別できません。ただボールが動いている様子を見て、その全体を一度に推測しようとするのですが、環境が独自の頑固な癖を持っている場合、それは非常に混乱を招きます。

「DWM: Separating World Effects from Actions in Latent World Models（DWM：潜在世界モデルにおける世界の効果とアクションの分離）」と題されたこの論文は、この混乱に正面から取り組んでいます。北京大学の研究者である著者らは、ロボットをより賢くするためには、その夢見る機械に、未来を二つの明確な要素、すなわち「アクションの効果（Action Effect）」（ロボットが引き起こすもの）と「世界の効果（World Effect）」（重力や風のように、環境が自律的に行うもの）に分割することを教える必要があると主張しています。彼らは、DWM（分解された世界モデル）と呼ばれる新しい学習手法を導入しました。ロボットに未来のすべてを一気に推測させるのではなく、DWMは、ロボットが何もしなくても起こる事象のみを予測するように学習する特別な「ワールド・ヘッド（World Head）」を与えます。そして、別の「アクション・ヘッド（Action Head）」が残りの部分を学習します。これら二つのヘッドに、協力しながらも明確に区別して機能するように強制することで、ロボットは因果関係のより明快なイメージを学習できるのです。

研究者たちは、このアイデアを、重力によってブロックが斜面を滑り落ちるバージョンのプッシング・ゲームを含む、いくつかのロボットタスクでテストしました。その結果、彼らの新しい手法であるDWMは、従来の「モノリシック（一塊の）」な方法よりもプランニングにおいて優れていることがわかりました。これらのトリッキーで重力の影響を受けるタスクにおいて、DWMはロボットの成功率を平均で13.1%向上させました。例えば、「PushT-W」と呼ばれるタスクでは、従来の方法の成功率はわずか32%でしたが、DWMはそれを44%まで引き上げました。この論文は、ロボットのアクションと世界の自然な漂流を解きほぐすことで、ロボットが未来をより正確に想像し、環境が自律的に物を動かそうとしている場合でも、より良い意思決定ができるようになることを示唆しています。重要な点は、この向上は、重力が要因ではない平坦で簡単なタスクにおけるロボットのパフォーマンスを損なうことなく、単に世界が独自の動きを見せている時にロボットをより賢くさせたという点です。

技術要約: DWM: 潜在世界モデルにおける世界効果とアクションの分離

問題提起

潜在世界モデルは、ピクセル観測から直接プランニングや方策学習を可能にする、現代のモデルベース制御の基礎となるものである。しかし、現在の行動条件付きの定式化は、監督レベルの限界に直面している。すなわち、次状態を単一の未分化なターゲットとして予測してしまう点である。これにより、モデルは、エージェントのアクションによって誘発される変化と、環境固有のダイナミクスから生じる変化の両方を、単一のモノリシックな学習信号へと吸収することを強いられる。

現実世界の物理システムにおいて、遷移はしばしば2つの異質なソースから発生する：

アクション駆動の効果: エージェントの制御によって誘発される変化。
世界の効果: ヌルアクション（無操作）の下でも持続する、アクションに不変な変化（例：重力による滑り、慣性、接触による反動、または持続的なドリフト）。

これらを一つのターゲットに融合すると、潜在遷移の中でこれら2つのコンポーネントが絡み合ってしまう。その結果、モデルは観察された変化をその根本的な原因へと明示的に帰属させることができなくなる。この限界は、静的なベンチマーク（例：平坦なテーブル上のプッシング）では隠れていることが多いが、持続的な自律ダイナミクスを持つ環境では決定的な問題となり、不正確なマルチステップ・ロールアウトや不適切なプランニングを引き起こす。

手法: 分解された世界モデル (DWM)

著者らは、基礎となるアーキテクチャや推論パイプラインを変更することなく、世界効果とアクション効果の分離を運用可能なものとする学習フレームワークであるDWM (Decomposed World Model) を提案する。

コア・アーキテクチャ

DWMは、標準的な行動条件付き潜在世界モデルの構成要素（エンコーダ $\phi$ 、行動条件付き予測器 $g$ 、およびプロジェクション・ヘッド）を維持する：

予測ヘッド ( $h_p$ ): ベースラインから継承。完全な次状態の潜在表現 $\hat{z}$ を予測し、推論時にはこのヘッドのみが使用される。
世界ヘッド ( $h_w$ ): 予測器の状態 $r_t$ に並列にアタッチされた、軽量な補助MLP。これは遷移のアクション不変成分（ $\hat{z}_w \approx z_t + \Delta z^{world}_t$ ）を捉えるように訓練される。
アクション駆動コンポーネント: 残差 $\hat{z}_a := \hat{z} - \hat{z}_w$ として定義される。

モデルは、 $\hat{z} = \hat{z}_w + \hat{z}_a$ という恒等式を強制し、予測される遷移を、アクション不変な世界コンポーネントと、補完的なアクション駆動コンポーネントへと明示的に分解する。

学習目的関数

全損失関数は、標準的な世界モデルの損失に、2つの補助項を組み合わせたものである：
$L = L_{WM} + \lambda_{wc}L_{wc} + \lambda_{orth}L_{orth}$

世界対照学習損失 ( $L_{wc}$ ): 世界ヘッドに適用されるInfoNCE目的関数。同じ状態履歴に対して異なる現在の行動（アクション摂動）を入力することで正例ペアを構築する。これにより、 $\hat{z}_w$ がアクションに対して不変でありながら、異なる状態に対しては識別性を保持するように強制する。
直交性制約 ( $L_{orth}$ ): $|\cos(\hat{z}_w, \hat{z}_a)|$ と定義され、アクション不変なコンポーネントとアクション駆動コンポーネントが潜在空間内で独立した方向を張るように促し、アクションの効果が世界表現に吸収されるのを防ぐ。

重要な点として、補助的な世界ヘッドは訓練後に破棄されるため、推論時のパイプラインはベースラインと同一のままとなる。

主な貢献

監督レベルの限界の特定: 潜在世界モデルにおける単一ターゲットの監督は、エージェントによる変化と自律的な環境ダイナクスを区別できず、表現の絡み合いを招くことを特定した。
新しいベンチマーク・スイート (W-Variants): 著者らは、標準的なタスクに持続的なアクション不変ダイナミクス（重力による滑り、垂直面内の重力、および一定のドリフト）を注入した、3つの標準的ベンチマーク（PushT-W、Reacher-W、TwoRoom-W）の制御されたバリアントを導入した。また、状態依存の振動ダイナミクスを持つBall-in-Cupについても評価を行った。
DWMフレームワーク: 既存の潜在世界モデルに補助的な世界ヘッドと補完的な分離目的関数を付加する学習フレームワークであり、バックボーンや推論に変更を加える必要がない。
実証的検証: DWMが、世界効果が存在する設定においてプランニングの成功率と潜在ダイナミクスの精度を向上させる一方で、標準的なタスクにおける性能を維持することを実証した。

実験結果

著者らは、CEM（Cross-Entropy Method）プランニングを用いて、提案されたベンチマークにおけるDWMをLeWMベースラインと比較評価した。

プランニング成功率: Wバリアントのタスクにおいて、DWMはCEMプランニングの平均絶対改善率 13.1% を達成した：
- PushT-W: 32.0% $\to$ 44.0% (+12.0 pp)
- Reacher-W: 60.0% $\to$ 70.7% (+10.7 pp)
- TwoRoom-W: 60.0% $\to$ 76.7% (+16.7 pp)
- Ball-in-Cup: 36.8% $\to$ 42.8% (+6.0 pp)
ベースラインの性能: 世界効果のないオリジナルの「平坦な」対応タスクにおいて、DWMは単一ヘッドのLeWMベースラインと同等の性能を維持しており、補助損失が世界効果が無視できる場合に性能を低下させないことを示している。
表現の診断: 分析により、世界ヘッドがほぼアクション不変（アクション摂動下で分散が数桁減少）になった一方で、予測ヘッドはアクションへの感度を保持していることが示された。
予測の質: DWMは、1ステップおよびホライゾン20の自己回帰的予測誤差を大幅に減少させた（例：PushT-Wでのオフライン損失 -89.8%）。これは、分解が潜在ダイナミクスのより正確な学習につながっていることを示している。
分布外 (OOD) 汎化: 重力ベクトルがシフトしたPushT-Wにおいて、DWMは高いプランニング成功率（44.0%）を維持したが、ベースラインは性能が低下した（30.0%）。また、学習されたアクション駆動コンポーネントは重力のシフトに対して安定していた（コサイン類似度 $\approx$ 0.999）。

意義と主張

本論文は、アクションによる変化とアクションに不変な世界効果を、学習信号のレベルで分離することが、物理的に現実的な制御設定における行動条件付き潜在世界モデルにとって有用な帰納バイアスとして機能することを主張している。

著者らは、DWMのアプローチが、アーキテクチャの大規模な変更を必要とせずに、現在の監督戦略における根本的な限界に対処できることを強調している。エージェントの行動とは独立して存在する「世界が自律的に行うこと」と「エージェントが変化させること」を明示的に分離することで、DWMはより正確な潜在ダイナミクスの学習を可能にし、それがマルチステップ・プランニングの向上と、エージェントのアクションに関わらず持続する環境ダイナミクスに対する堅牢性に直結することを示している。これらの結果は、この分解が、エージェントの行動なしに環境が進化するタスクにおいて特に重要であることを示唆しており、これは標準的なベンチマークでは見落とされがちなシナリオである。