🤖 AI

Physically Native World Models: A Hamiltonian Perspective on Generative World Modeling

本論文は、観測データを構造化された潜在位相空間に符号化し、ハミルトニアンに着想を得たダイナミクスを用いてそれを進化させることで、具身的意思決定のための物理的に意味があり、行動制御可能かつ長期的に安定した予測を生成する新規フレームワークであるハミルトニアン・ワールド・モデルを提案する。

原著者： Sen Cui, Jingheng Ma

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sen Cui, Jingheng Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Physically Native World Models: A Hamiltonian Perspective on Generative World Modeling（物理的にネイティブな世界モデル：生成的世界モデリングへのハミルトニアン的視点）」を、平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「見た目が良い」こと vs「現実的」であること

ロボットにボール投げを教える場面を想像してください。現在、多くの AI システムはファンタジー映画の監督のように振る舞います。次の動画フレームがどのように見えるかを予測する能力は驚くほど優れています。あなたがボールを投げれば、AI はボールが空中を美しく弧を描く動画を作成できます。

しかし、ここに落とし穴があります。AI は実際には物理学を理解していません。AI が知っているのは、「赤いぼかしは通常、手の後に現れる」ということだけです。

欠点： もし AI に「ロボットが重い箱を押したらどうなるか」を予測させると、AI は（映画ではかっこいいので）箱が永遠に滑り続ける動画を生成するかもしれません。現実には、摩擦によって箱は止まります。ロボットがこの「映画」に基づいて行動しようとした場合、予測が物理的に真実ではなかったため、見た目がリアルであっても、衝突したり失敗したりします。

著者らは、ロボットや自動運転車にとって、単に綺麗な動画を作るモデルが必要なのではなく、世界が実際にどのように機能するかを理解するモデルが必要だと主張しています。

現在のアプローチ（3 つの誤った道）

この論文によると、現在の研究は 3 つの別々のレーンに閉じ込められており、いずれも問題を完全に解決していません。

動画制作者たち： 未来がリアルに見えること（映画のように）に焦点を当てています。問題点： 物理学が間違っている可能性があります。
3D 建築家たち： 部屋の完璧な 3D マップの構築に焦点を当てています。問題点： 静止画の作成には優れていますが、物体の移動や衝突の予測は苦手です。
抽象的思考者たち： 世界を単純な「概念」や要約に圧縮しようとしています。問題点： これらの要約は、物体を動かすために必要な力の量を把握するために必要な具体的な詳細を失うことが多いです。

解決策：「ハミルトニアン」エンジン

著者らは、物理学の概念であるハミルトニアン力学を用いて、これらの世界モデルを構築する新しい方法を提案しています。

比喩：ジェットコースター vs 魔法の杖

古い方法（魔法の杖）： AI はパターンを見て未来を推測します。これは、トランプのデッキから次のカードを当てるマジシャンのようです。しばらくは機能しますが、いずれトリックが尽きて間違いを犯します。
新しい方法（ジェットコースター）： 著者らは、AI がジェットコースターの軌道のように振る舞うことを望んでいます。
- 物理学において、ジェットコースターは「次はどこに行くか」を推測するわけではありません。それはエネルギーに基づく厳格な規則に従います。位置エネルギー（高さ）と運動エネルギー（速度）を持っています。軌道（数学）は、エネルギーが保存されるように車を動かすことを強制します。
- 著者らは、ロボットのための「潜在位相空間（隠れた心の地図）」を構築したいと考えています。この地図において、ロボットは単に「画像がどのように見えるか」を保存するのではなく、位置（物体がどこにあるか）と運動量（物体がどのくらいの速さで動いているか）を保存します。

仕組み（レシピ）

論文は、この新しい「ハミルトニアン世界モデル」のための 4 段階のプロセスを概説しています。

翻訳機（エンコーディング）： ロボットはカメラを通じて現実世界を観察し、ごちゃごちゃの動画を整理された「エネルギー地図」に変換します。それは「あの物体は位置 X にあり、運動量 Y で動いている」ということを特定します。
物理エンジン（ハミルトニアン力学）： 次のステップを推測する代わりに、モデルは数学的な「エネルギー関数」を使用します。「もしこの物体を押したら、総エネルギーはどのように変化するか？」と問いかけます。モデルはこれらのエネルギー規則に基づいて未来の経路を計算します。
- 重要な詳細： 著者らは、現実世界は完璧ではないと認めています。摩擦やブレーキが存在します。したがって、真空中のようにエネルギーが完全に保存されると仮定しないよう、数学に「散逸（摩擦）」と「制御（ロボットの押し力）」を追加します。
投影機（デコーディング）： モデルが物理学を用いて未来の経路を計算したら、その「エネルギー地図」を動画に戻し、ロボットがそれがどのように見えるかを視覚化できるようにします。
プランナー（意思決定）： ロボットは、この物理エンジンを用いて異なる行動（「左に押すか右に押すか」）をシミュレートします。シミュレーションが物理的に信頼できることを知った上で、最良の結果につながる行動を選択します。

なぜこれが優れているのか

安定性： モデルはエネルギー規則に従うため、数秒後には nonsensical（ナンセンス）な方向に逸脱しません。ジェットコースターは軌道が壊れない限り突然軌道から飛び出すことはできないのと同様に、このモデルも物理的に不可能な予測を簡単には行いません。
データ効率： ロボットは「重いものは落ちる」ことを学ぶために、百万本の動画を視聴する必要はありません。物理学の規則は組み込まれているため（プリインストールされたオペレーティングシステムのように）、学習が速くなります。
解釈可能性： ロボットが間違いを犯した場合、私たちは「エネルギー地図」を見て、物理学の計算がどこで間違えたかを正確に確認できます。単に推測する「ブラックボックス」とは対照的です。

課題（論文が認めていること）

著者らは、これがまだ魔法の弾丸ではないことを率直に認めています。

現実はごちゃごちゃしている： 実際のロボットは、粘着テープ、柔らかいクッション、突然の衝突（コリジョン）に対処します。純粋な物理学の数学は、これらの「ごちゃごちゃ」したものには適用しにくいです。
学習が困難： AI に、ピクセルを見るだけで、隠れた「運動量」や「位置」の数値を正しく推測させることは非常に困難です。
完璧ではない： このモデルは世界を完璧なシミュレーションではなく、「構造的な骨格（スケルトン）」として扱います。これは法則ではなく、ガイドです。

まとめ

この論文は、ロボットを真に賢くするためには、単に動画を予測することを教えるのをやめ、物理学をシミュレートすることを教える必要があると主張しています。「ハミルトニアン」アプローチ（エネルギー、位置、運動量に焦点を当てる）を用いることで、より安定しており、学習に必要なデータが少なく、単に次のフレームがどのように見えるかを推測するのではなく、物理世界が実際にどのように動くかを理解する世界モデルを構築できます。

論文「Physically Native World Models: A Hamiltonian Perspective on Generative World Modeling（物理的にネイティブな世界モデル：生成的世界モデルに対するハミルトニアン的視点）」に基づき、問題、手法、主要な貢献、結果、および意義を網羅した詳細な技術的サマリーを以下に示す。

1. 問題定義

具象的知能、ロボティクス、自動運転の中核をなす現在の世界モデルは、視覚的な妥当性と物理的な妥当性の間のギャップという決定的なボトルネックに直面している。

既存アプローチの限界: 既存のアプローチは一般的に以下の 3 つのカテゴリーに分類される。
1. 2D 動画生成モデル: 現実的な未来フレームの合成に焦点を当てる（例：GAIA-1, Genie）が、長期にわたって運動量保存や接触の一貫性などの物理法則に違反することが多い。
2. 3D シーン中心モデル: 幾何学的再構成に焦点を当てる（例：NeRF, 3D Gaussian Splatting）が、行動条件付きの動的進化の処理に苦慮する。
3. JEPA 型の潜在モデル: 抽象的な予測表現に焦点を当てるが、位置、速度、エネルギー、運動量といった明示的な物理量との整合性が欠如している。
核心的な課題: これらのモデルは、表現力が高いが制約の弱いニューラル系列モデル（ $z_{t+1} = f_\theta(z_t, a_t)$ $z_{t + 1} = f_{θ} (z_{t}, a_{t})$ ）に依存している。柔軟性はあるものの、安定した物理的ダイナミクスではなく、短期的な統計的相関を学習する。これにより以下の問題が生じる。
- 長期のドリフト: 小さな予測誤差が急速に蓄積する。
- 低いデータ効率: モデルは基本的な物理法則をゼロから再学習しなければならない。
- 解釈性の欠如: 失敗が知覚によるものか、ダイナミクスによるものか不明確である。
- 行動と効果の不一致: 生成された未来は現実的に見えるが、計画には動的に実行不可能な場合がある。

2. 手法：ハミルトニアン世界モデル（HWM）

著者らは、世界モデルを物理的に根ざした生成ダイナミカルシステムとして扱うハミルトニアン世界モデル（Hamiltonian World Models）を提案する。ピクセルや抽象ベクトルを直接予測するのではなく、このモデルは構造化された潜在位相空間を進化させる。

A. 中核的なアーキテクチャ構成要素

HWM アーキテクチャは、知覚、ダイナミクス、生成、計画を分離する。

構造化された潜在エンコーディング（ $E_\theta$ ）:
- 観測値（ $o_{\le t}$ ）は、構造化された潜在位相状態 $z_t$ にエンコードされる。
- 平坦なベクトルとは異なり、 $z_t$ はエンティティレベルの変数から構成される： $z_t = \{(q_t^i, p_t^i)\}_{i=1}^N$ 。ここで、 $q$ は一般化座標（位置）を、 $p$ は一般化運動量を表す。
ハミルトニアンダイナミクスの進化（ $T_H$ ）:
- 状態進化は、システムのエネルギーランドスケープを表す学習されたハミルトニアン関数 $H_\phi(z)$ によって支配される。
- ダイナミクスはハミルトンの方程式に従う： $\dot{z} = J \nabla_z H_\phi(z)$ 。ここで、 $J$ はシンプレクティック行列である。
- 分解: ハミルトニアンは、運動エネルギー（ $K$ ）、ポテンシャルエネルギー（ $U$ ）、相互作用項（ $V$ ）を分離するようにパラメータ化される。
制御された散逸拡張:
- 現実世界のロボティクスには摩擦、減衰、非保存力が含まれることを認識し、純粋なハミルトニアンフローを拡張する。
  $\dot{z}_t = (J - R_\psi(z_t)) \nabla_z H_\phi(z_t) + G_\psi(z_t)a_t + \epsilon_\psi(z_t, a_t)$
  - $R_\psi$ : 散逸行列（摩擦/減衰）。
  - $G_\psi a_t$ : 行動条件付き制御入力。
  - $\epsilon_\psi$ : 未モデル化の現象（例：接触の不連続性）に対する残差項。モデルが一般的なブラックボックス・ネットワークに退化しないよう制約される。
生成的デコーディング（ $D_\theta$ ）:
- 予測された潜在軌道 $\hat{z}_{t+1:t+H}$ は、未来の視覚的観測（動画フレーム）にデコードされる。
計画インターフェース（ $U$ ）:
- 候補となる行動シーケンスが HWM 内でロールアウトされる。Utility 関数 $U$ はこれらのロールアウトを評価し、最適な行動 $a^*_t$ を選択する。

3. 主要な貢献

パラダイムシフト: 本論文は、世界モデルの次の段階が「視覚的生成」から「物理的構造モデル」へと移行すべきであると主張する。世界モデルを、核心が物理法則によって制約された潜在ダイナミクスであり、動画生成は単にその状態進化のレンダリングに過ぎないシステムとして再定義する。
ハミルトニアンの帰納的バイアス: 潜在空間にハミルトニアン力学を埋め込むことで、モデルは構造的な事前分布としてエネルギー保存（または制御された散逸）を強制する。これは、任意のベクトル場の学習を、エネルギーランドスケープの学習に置き換える。
構造化された位相空間表現: 状態を $(q, p)$ のペアとしてエンコードする提案は、具象的エージェントのニーズ（位置と速度/運動量に関する推論）に整合する、自然で解釈可能な潜在空間を提供する。
アーキテクチャの分離: このフレームワークは、物理的進化エンジン（ハミルトニアンモジュール）と知覚的レンダリングエンジン（動画生成器）を明示的に脱結合する。これにより、計画は単なる視覚的一貫性ではなく、物理的に整合したダイナミクスに依存することが保証される。

4. 結果と期待される成果

注記：これは新しいフレームワークを提案するプレプリントであるため、本論文は SOTA に対する広範な経験的ベンチマークではなく、主に理論的論拠とアーキテクチャ設計を提示している。「結果」とは、示された理論的優位性である。

長期安定性: シンプレクティック積分と構造保存ダイナミクスを使用することにより、HWM は標準的な RNN/Transformer ベースの潜在モデルと比較して、累積誤差の影響を理論的に受けにくい。
データ効率: 物理的事前分布（エネルギー関数）の導入は仮説空間を縮小し、純粋なデータ駆動アプローチと比較して、モデルがより少ないデータサンプルで複雑なダイナミクスを学習することを可能にする。
解釈性: 潜在変数には明確な物理的意味（座標、運動量、エネルギー）がある。これにより、モデルの失敗の診断（例：知覚エラーとダイナミクス違反の区別）が向上する。
行動の制御性: 制御項（ $G_\psi a_t$ ）の明示的な含めにより、生成された未来はエージェントの行動と因果的に結びつき、モデル予測制御（MPC）に対して信頼性が高まる。

5. 意義と将来の方向性

ギャップの埋め合わせ: HWM は、動画生成の知覚的豊かさ（perceptual richness）と物理ベースシミュレーションの信頼性を統合するための原理的な道筋を提供する。
具象的 AI の基盤: 安全性と物理的実行可能性が最優先されるロボティクスや自動運転において、単に現実的に見えるモデルよりも、動的実行可能性を保証するモデルが優れている。
スケーラビリティ: このアプローチは、特定の視覚シーケンスを記憶するのではなく、再利用可能な物理的メカニズム（エネルギーランドスケープ）を学習することで、未見の物体やタスクに一般化できる「物理的世界基盤モデル」への道筋を示唆する。
課題: 著者らは、高次元のピクセルから意味のある $(q, p)$ を推論することの難しさ、非剛体/変形可能物体の処理、滑らかなハミルトニアンフローに違反する複雑な接触ダイナミクスのモデル化など、重大な障壁を認識している。

要約すると、本論文は、具象的エージェントにおける学習、計画、意思決定の中核的な帰納的バイアスとしてハミルトニアン力学を活用することで、「生成的動画」から「物理的にネイティブなシミュレーション」へと移行する、世界モデルの根本的な再考を提案している。