🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World は、長期計画を安定化し分布外動的変化に対する頑健性を大幅に向上させるために、Mamba ベースの選択的メモリと分解されたソフトハミルトニアン潜在空間を統合する構造化された世界モデルを導入する。

原著者： Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

原著者： Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑なゲーム、例えばジャグリングやポールバランスをロボットに教えることを想像してみてください。これを上手に行うためには、ロボットは「世界モデル」、つまり実際に行動を起こす前に特定の行動を取った場合に何が起こるかを想像できる内部シミュレーションが必要です。

本論文は、これらの精神的なシミュレーションを、特に長期間にわたる場合やゲームのルールがわずかに変化する場合に、より安定し正確にするように設計された新しいタイプの世界モデル「HaM-World」を紹介します。

以下に、これを単純な概念とアナロジーに分解して説明します。

1. 問題点：「昼下がり」が霞む

現在の世界モデルは、一文ずつ読んで物語を暗記しようとする学生のようなものです。物語が短ければ、完璧に覚えます。しかし、100 歩先の未来の物語を想像しようとすると、詳細がぼやけ、物語は崩壊してしまいます。

問題点: ロボットがより先を見据えて計画を立てるにつれ、その予測は不安定になります。また、環境が変化した場合（例えば、床が滑りやすくなったり、ロボットの腕が重くなったりした場合）にも苦労します。
原因: 本論文は、既存のモデルが「脳」内であまりにも多くのものを混同していると主張しています。それらはロボットの位置（どこにいるか）、運動量（どれくらい速く動いているか）、そして文脈（目標が何か、または床が濡れているかどうか）を混同しています。この混同により、誤差が急速に蓄積します。

2. 解決策：3 つの部屋を持つ専門的な「脳」

HaM-World は、ロボットの内部状態を 1 つの大きな散らかった部屋ではなく、3 つの明確な「部屋」または区画に整理することでこの問題を解決します。

部屋 A: 物理エンジン（q と p）
この部屋は、位置（ $q$ ）と運動量（ $p$ ）という純粋な物理を処理します。著者らはここでハミルトニアン力学と呼ばれる数学的概念を使用します。
- アナロジー: これはビリヤード台だと考えてください。ビリヤード台ではエネルギーが保存され、ボールは予測可能な方法で互いに跳ね返ります。HaM-World は、ロボットの位置と運動量がビリヤードのボールのように振る舞うようにします。これにより、シミュレーションの安定した「背骨」が作られ、ボールが理由もなく突然加速するなど、不可能な物理をロボットが想像することを防ぎます。
- 「ソフト」な捻り: 現実は完璧なビリヤード台ではなく、摩擦があり、ロボットにはモーターがあります。そのため、HaM-World は**「ソフト・ハミルトニアン」**アプローチを使用します。安定したビリヤード台の構造を維持しつつ、摩擦やモーター制御といった、現実世界の厄介なものを学習する「残差」層を許容します。
部屋 B: 文脈ルーム（c）
この部屋は、ビリヤード台のルールに従わない情報を保持します。
- アナロジー: これはロボットのノートです。「指を回転させるのが目標である」「床が滑りやすい」「慎重になる必要がある」といったことを書き留めます。これらは位置や速度という純粋な物理には当てはまらない意味的な詳細ですが、何を行うべきかを知るために不可欠です。
部屋 C: 記憶ルーム（Mamba）
これはロボットの短期記憶です。
- アナロジー: 時々、ロボットはすべてを見ることができません（部分的観測性）、または移動を決意してから実際に移動するまでの間に遅延があります。標準的なモデルは、5 秒前に何があったかを忘れるかもしれません。HaM-World は、Mambaと呼ばれる特別な記憶システムを使用します。これは選択的なフィルターのように機能し、今すぐ意思決定をするために必要な過去の重要な部分を記憶し、ロボットが自らの「昼下がり」の中で「迷子」にならないようにします。

3. 連携の仕組み

ロボットが動きを計画する際、単に推測するわけではありません。頭の中でシミュレーション（「ロールアウト」）を実行します。

現在の状態を確認します。
記憶ルームを使用して、過去の欠落した詳細を補完します。
モーター制御で微調整された安定したビリヤード台のルールを用いて、物理ルームを更新します。
目標や環境に関する新しい情報で文脈ルームを更新します。
どの行動が最良の結果をもたらすかを確認するために、これを未来の多くのステップにわたって繰り返します。

物理部分が非常に安定しており（ビリヤード台のように）、記憶部分がギャップを埋めるのに優れているため、ロボットの「昼下がり」は、長期の計画期間であっても鮮明で正確に保たれます。

4. 結果：すべてにおいて優れている

著者らは、チーターが走るような、または指が物体を回転させるような、4 つの標準的なロボットタスクで HaM-World をテストしました。

精度: 他のトップモデルと比較して、未来を想像する際の誤りがはるかに少なくなりました。実際、その長期予測誤差は、次に良いモデルの半分以下でした。
堅牢性: 研究者がゲームのルールを変更した際（例えば、ロボットを重くしたり、動作を遅くしたり、視界の一部を隠したりした場合）、HaM-World は良好なパフォーマンスを維持しました。すべての困難なテスト条件において最高スコアを維持した唯一のモデルでした。
効率性: 他の手法よりも早く、かつ少ないトレーニング試行回数でロボットの制御を学習しました。

まとめ

HaM-Worldは、ロボットにより良い内部マップを与えるようなものです。ぼやけ、混同したスケッチの代わりに、安定した物理的基盤（ビリヤード台）、重要なメモのための場所（文脈）、そして信頼できる記憶（フィルター）を持つ構造化されたマップをロボットに提供します。これにより、ロボットは周囲の世界が変化しても、混乱したり道に迷ったりすることなく、複雑で長期的な行動を計画できるようになります。

技術的サマリー：HaM-World

1. 問題定義

世界モデルは、潜在ダイナミクスを学習して想像上のロールアウトを実行することで、モデルベースの計画を可能にします。しかし、計画の時間範囲が延長されるか、環境のダイナミクスが変化すると、これらの想像上のロールアウトはしばしば不安定になります。著者らは、この不安定性は、計画者向けの潜在表現に欠けている 2 つの構造的コンポーネントに起因すると主張しています：

近似マルコフ完全性：部分的観測性と行動の遅延により、単一フレームの潜在変数はマルコフ状態として不十分となりますが、既存のモデルはこれを解決するための履歴条件付きメモリを欠いていることが多いです。
幾何学的組織化：単一の潜在表現は、配置、運動量、タスク意味論が絡み合っています。この絡み合いは、構造的制約がないまま多ステップ予測誤差が増大する原因となり、擾乱された制御条件下での物理構造の外挿性能を低下させます。

現在のアプローチは、主に基礎となる生成構造（不変性や保存則など）ではなく、統計的相関を捉えるものであり、その結果、長期的な一貫性と分布外（OOD）汎化において計画が困難に直面しています。

2. 手法：HaM-World

著者らは、潜在状態をダイナミクス予測、報酬/価値推定、想像上のロールアウト、および交差エントロピー法（CEM）による行動探索のすべてで共有される統一インターフェースに分解する構造化された世界モデル HaM-World（HMW） を提案します。アーキテクチャは 3 つの中核コンポーネントから構成されます：

A. 潜在因数分解（ $q, p, c$ ）

潜在状態 $z_t$ は明示的に以下に分割されます：

標準部分空間 $(q, p)$ ：配置と運動量を表します。この部分空間はソフトハミルトニアン事前分布によって支配されます。
コンテキスト部分空間 $c$ ：エネルギー保存則を厳密に満たさない、接触スイッチ、摩擦、タスク意味論などの意味論的、散逸的、非保存的要因を捉えます。

B. ソフトハミルトニアンダイナミクス

摩擦や接触を伴う制御システムに対しては、厳密なエネルギー保存則の強制が過度に制限的であるため、HaM-World は $(q, p)$ 対に対して「ソフトハミルトニアン」更新を採用します：
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ ：学習可能なエネルギー場。
$\alpha$ ：データ駆動型のネットワーク更新とハミルトニアンベクトル場とのバランスを取る混合係数。
$G_t a_t$ ：運動量更新に明示的に追加される学習された制御駆動力。
メカニズム：この設計により、モデルは安定性のためのエネルギー組織化された幾何学的バックボーンを維持しつつ、残差ダイナミクスと制御駆動を通じて接触、摩擦、タスク目的に適合する柔軟性を保持できます。

C. 選択的メモリ（Mamba）

部分的観測性と行動遅延に対処するため、HaM-World は Mamba 選択的状態空間モデル を潜在ダイナミクスへの履歴条件付き入力（ $h_t$ ）として統合します。

並列再帰的ロールアウトモデルとは異なり、Mamba は計画者が使用する同じ潜在ダイナミクスに対して、単一の履歴条件付き入力を提供します。
これにより、計画者インターフェースは、トレーニング、想像上のロールアウト、および CEM 探索全体で統一されたまま保たれ、計画者用の別個の再帰状態を必要としません。

D. 訓練目的

モデルは、以下の複合損失関数を用いて訓練されます：

多ステップロールアウト一貫性（ $L_{roll}$ ）：計画範囲にわたる誤差蓄積を制約します。
ハミルトニアン整合（ $L_{ham}$ ）：ネットワークブランチをハミルトニアンベクトル場と整合させるソフトな方向性バイアス。
行動フリーエネルギー正則化（ $L_{energy}$ ）：行動がない場合のエネルギードリフトを抑制します。
標準的目的：JEPA 様式の表現整合、単一ステップダイナミクス一貫性、および報酬/価値回帰（symlog 2-hot ターゲットを使用）。

3. 主要な貢献

構造化された計画者向けダイナミクス：Mamba 選択的メモリとソフトハミルトニアン $(q, p)$ ダイナミクスを結合する $q/p/c$ 潜在因数分解の導入。これにより、CEM 計画、報酬推定、ダイナミクス予測のための単一潜在インターフェースが提供されます。
メカニズム意識的評価：標準的な制御性能、長期的ロールアウト一貫性（ $k \in \{3, 5, 7\}$ における MSE）、および 12 種類の OOD 擾乱（ダイナミクスシフト、遅延、マスキング）を含む包括的な評価プロトコル。
実証的優位性：長期的安定性と OOD 頑健性において特に顕著な性能向上を複数の指標で実証。エネルギードリフトの有界性と制御誘起エネルギー転移の整合性を示すメカニズム診断によって裏付けられています。

4. 実験結果

DeepMind Control Suite (DMC) の 4 つのタスク（Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup）で、10 万ステップのサンプル予算を用いて評価されました：

制御性能：HaM-World は平均曲線下面積（Avg. AUC）で 117.9 という最高値を達成し、TD-MPC2（+9.5%）、SAC（+66.3%）、DreamerV3（+101.2%）を上回りました。Finger Spin と Reacher Easy では最終リターンでも最高を記録しました。
長期的安定性：HaM-World は長期的ロールアウト誤差を強力なベースライン（TD-MPC2）の 45%、DreamerV3 の 14.3% に削減しました。 $k \in \{3, 5, 7\}$ に対して、12 個の MSE セルのうち 11 セル で勝利しました。
OOD 汎化：質量変化、減衰、摩擦、行動遅延、観測マスキングを含む 12 種類の OOD 擾乱下において、HaM-World はすべての条件で最高リターンを達成しました。
- Finger Spin では、TD-MPC2 に対して平均 OOD リターンが 10.2% 向上しました。
- Reacher Easy では、TD-MPC2 に対して平均 OOD リターンが 13.6% 向上しました。
メカニズム診断：
- エネルギードリフト：行動のないロールアウトにおいて、学習されたハミルトニアンエネルギーはほぼ安定（約 1% のドリフト）しており、ソフトハミルトニアンの構造を確認しました。
- 制御結合：分析により、行動の「押し」（ $\nabla_p H$ への制御の射影）がエネルギー層の交差と一貫して相関していることが示され、制御付きハミルトニアン設計が妥当であることが検証されました。
- アブレーション：幾何学的構造（A1）またはメモリ（A2）を除去すると、性能が著しく低下しました。特に、メモリは部分的観測下での実用性にとって支配的な前提条件であり、ソフトハミルトニアン構造はロールアウトの頑健性の上限を押し上げました。

5. 意義と主張

本論文は、マルコフ完全性（選択的メモリを通じて）と幾何学的一貫性（ソフトハミルトニアン構造を通じて）を統合された潜在ダイナミクスの結合段階として扱うことが、計画者の性能を大幅に向上させることを HaM-World が実証していると主張しています。

構造的対統計的：この優位性は、統計的相関の適合に依存するのではなく、物理的規則性（エネルギー組織化）を組み込むモデルの能力に起因します。
統一インターフェース：予測、価値推定、計画によって共有される単一の潜在状態が、保存ダイナミクス（ $q, p$ ）と非保存コンテキスト（ $c$ ）の分離を尊重すれば、長期的タスクに対して安定かつ効果的に機能し得ることが示されました。
頑健性：この手法は、想像上のロールアウトの不安定性に対する構造的解決策を提供し、別個の再帰的計画状態を必要とせずに、分布シフトや擾乱下でのより良い外挿を可能にします。

限界：著者らは、現在の研究は 4 つの DMC タスクにおける状態ベースの観測に限定されていると指摘しています。ピクセル入力、より広範な形態、および不連続な接触シナリオへのスケーリングは、依然として未解決の課題です。診断は学習されたインターフェースを支持しますが、ダイナミクスが全球的にハミルトニアンであることを証明するものではありません。