🤖 machine learning

MOSH-WM: Mask-Grounded Soft-Hamiltonian Dynamics for Object-Centric World Models

MOSH-WMは、スロットが所有する画像マスクの空間モーメントを用いてオブジェクトのダイナミクスを明示的に制約する、マスクに基づいたソフト・ハミルトニアン・ワールドモデルを導入しており、OBJ3DおよびCLEVRERデータセットにおいて、既存のオブジェクト中心型ベースラインと比較して、長期的なビデオ予測精度と誤差蓄積の面で大幅な改善を実現している。

原著者： Zhekai Wang, Haoxiang Huang, Xiang Liu, Zhikang Chen, Yueqing Sun, Qi Gu, Shiji Zhou, Miao Liu, Sen Cui

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhekai Wang, Haoxiang Huang, Xiang Liu, Zhikang Chen, Yueqing Sun, Qi Gu, Shiji Zhou, Miao Liu, Sen Cui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータがどのように世界を「見る」ことを学習できるかを理解するためには、まず、現在のコンピュータがいかにそのことに苦戦しているかを理解しなければなりません。人工知能がビデオを視聴するとき、それはしばしば、場面を時間の経過とともに変化する単一の平坦な画像として扱います。それは、言葉のリズムを聞いて文章を完成させる方法を学ぶ子供のように、ピクセルのパターンを見つけ出すことで次のフレームを予測することを学習します。しかし、このアプローチは、場面が複雑になったり、コンピュータがはるかに遠い未来に何が起こるかを推測しなければならなくなったりすると、しばしば失敗します。システムは、転がるボールが突然別の色に変わったり、消滅したりすると予測してしまうかもしれません。なぜなら、コンピュータは物体がどのように動き、相互作用するかというルールを真に学習していないからです。それは表面を見てはいますが、構造を見落としているのです。より信頼性の高いビジョンを構築するために、研究者たちは「オブジェクト中心型」学習へと目を向けています。これは、コンピュータに、場面を「赤いボール」「青い箱」「緑のテーブル」といった明確に区別された個別のものへと分解し、それぞれを個別に追跡することを教える手法です。その目標は、「世界モデル」、すなわち、単に次の画像を推測するのではなく、物理法則に従ってこれらの個別のオブジェクトを進化させることで、将来の出来事を想像できる精神的なシミュレーションを作り出すことです。

ある研究チームが、これらのオブジェクトベースのモデルにおける特定の弱点を解決しようとする、MOSH-WMと呼ばれる新しいシステムを発表しました。従来のシステムは物体を追跡することはできましたが、物体の物理的な位置と視覚的な外見を混同してしまうことがよくありました。車の動きを、その車の塗装だけに注目して説明しようとする場面を想像してみてください。もし塗装が変われば、システムは車自体が移動したか、あるいは形が変わったと判断してしまうかもしれません。この新しいモデルは、これら二つの概念を完全に分離します。それは各オブジェクトに対して、その物体がどこにあり、どのくらいの速さで動いているかのみを追跡する、外見を無視した独自の「物理状態」を作成します。この物理状態は、「マスク」に基づいています。マスクとは、ビデオ内のどのピクセルがその特定のオブジェクトに属しているかを示すデジタルな輪郭のことです。この輪郭を使用して位置と速度を計算することで、システムは、色の変化や質感の変化に惑わされることのない、安定した幾何学的な理解を構築します。

研究者たちは、動く物体のビデオを用いてこのアプローチをテストし、コンピュータに6フレームの短いシーケンスを視聴させた後、次の30フレームを予測させました。これらのテストにおいて、この新システムは既存の最高水準の手法を大幅に上回りました。予測された画像が実際の将来のフレームとどの程度一致しているかを測定したところ、新しいモデルは視覚的なエラーを25パーセント、物体の物理的な配置におけるエラーを33パーセント減少させました。この改善は一時的な成功ではありませんでした。古いモデルは予測が進むにつれて誤差が蓄積し、物体が形を失ったり色が変わったりし始めましたが、この新システムは30フレームのシーケンス全体にわたって精度を維持しました。この安定性の鍵は、物理学に触発されたテクニックにあります。そこでは、システムが「ソフト」なガイドを用いることで、物体を現実的な方法で動かし続け、数学的なルールと学習されたパターンを融合させています。このガイドは、ビデオに不完全な詳細が含まれている場合に壊れてしまうような硬直した公式を強制することなく、予測を運動の法則へと優しく押し戻す「穏やかな手」のように機能します。

決定的なことに、このシステムは視覚的な詳細を動きの計算から切り離して保持しています。コンピュータが物体がどこにあるかを予測した一度、過去の外見を記録した別のメモリバンクを使用して詳細を補完し、赤いボールが赤であり続け、青い箱が青であり続けることを保証します。この二部構成のプロセスにより、モデルは物理的に正確であり、かつ視覚的に豊かなものとなります。研究者たちは、物理的なガイドまたは視覚的なメモリのいずれかを取り除くとシステムが失敗することを発見し、モデルが機能するためには両方が必要であることを証明しました。衝突や複雑な相互作用を含むテストにおいても、モデルは持ちこたえ続け、これは「物体がどこにあるか」を「物体がどのような見た目か」から分離する方法が、機械に物理的世界を理解させるための堅牢な方法であることを示唆しています。この研究は、ビデオ予測のすべての問題を解決したと主張するものではありませんが、コンピュータの動きの理解を単なる視覚的特徴ではなく、物体の実際の形状に根ざさせることで、より安定し信頼性の高いシミュレーションを作成できることを実証しています。

技術要約: MOSH-WM

問題提起

オブジェクト中心のワールドモデルは、一連のエンティティ・スロットを変化させることで将来のビデオを予測することを目指している。しかし、既存のアプローチは、ダイナミクス（動態）の教師あり学習において、制約のない視覚的特徴に依存することが多い。これらのモデルでは、スロットが幾何学、外観、アイデンティティ、およびデコーダー固有のセマンティクス（意味論）を混同してしまう傾向がある。その結果、スロット予測器が直近の将来フレームには一致したとしても、長期間のクローズドループ・ロールアウトにおいては、オブジェクトのレイアウトや外観が著しくドリフト（漂流）してしまう。核心となる課題は、高精度なデコーディングに必要な個別の視覚情報（外観/アイデンティティ）を保持しつつ、オブジェクトがどこに支持されているか（幾何学）に明示的に基づいた物理状態を維持することである。

手法

MOSH-WM（Mask-Grounded Soft-Hamiltonian World Model）は、表現を「幾何学的フェーズ状態」と「因果的な視覚コンテキスト」に分解することで、この問題に対処する。アーキテクチャは、主に3つの段階で動作する。

1. マスクに基づいたフェーズ状態の分解（Mask-Grounded Phase-State Factorization）

ダイナミクスのために生のスロットベクトルを使用する代わりに、MOSH-WMはオブジェクトの空間的支持に基づいた標準的な状態 $(Q, P)$ を抽出する：

入力: 凍結されたSAViインターフェースが視覚的スロットとソフトマスクを提供する。
位置 ( $Q$ ): 各スロット $n$ について、モデルは「所有された」マスク支持体（ $M^{own}$ ）を勝者総取り（winner-take-all）の割り当てによって特定する。モデルはこの支持体上で固定された空間基底関数をプーリングし、位置のような座標 $Q_{t,n}$ を計算する。これにより、幾何学を外観から明示的に分離する。
運動量 ( $P$ ): 運動量のような変数は、位置状態の時系列的な有限差分から直接導出される（ $P_t = (Q_t - Q_{t-1})/\Delta t$ ）。
視覚コンテキスト ( $C_t$ ): 並行して、因果的な時空間エンコーダがスロット特徴の履歴を保持し、外観とアイデンティティを保持する。これはフェーズ状態抽出器からは除外される。

2. ソフト・ハミルトニアン・クローズドループ・ダイナミクス（Soft-Hamiltonian Closed-Loop Dynamics）

モデルは、厳密なハミルトニアン・ソルバーではなく、「ソフト」な物理バイアスを用いてフェーズ状態を伝播させる：

エネルギー関数: 学習されたエネルギーヘッド $H_\vartheta(Q_t, P_t)$ が構造的な事前分布を提供する。
ハイブリッド更新: 遷移は、学習された残差場（増分 $DQ_t, DP_t$ を予測するもの）と、エネルギー関数の勾配をブレンドする。更新ルールは以下の通りである：
$Q_{t+1} = Q_t + (1-\alpha)DQ_t + \alpha \cdot \text{clip}_\gamma(\nabla_{P_t} H_t)$
$P_{t+1} = P_t + (1-\alpha)DP_t - \alpha \cdot \text{clip}_\gamma(\nabla_{Q_t} H_t)$
ここで、 $\alpha$ はブレンドを制御し、クリッピングは不安定性を防ぐ。これにより、モデルは物理的構造に導かれながら、残差ダイナミクスを捉えることが可能になる。

3. 物理と外観の調和（Physics–Appearance Reconciliation）

物理的な更新の後、モデルはデコーダー互換のスロットを再構成する必要がある：

ゲート付きコンポーザー（Gated Composer）: 正規化されたフェーズ変位と因果的な視覚コンテキスト $C_t$ を組み合わせ、物理的なスロットの提案を作成する。
有界残差（Bounded Residual）: 因果的な推論モジュールが、デコーダー空間における小さな有界な補正を適用し、提案を洗練させる。
出力: 最終的なスロットは次のフレームへとデコードされ、次のステップのためのコンテキスト履歴に追加される。

主な貢献

本論文は、3つの具体的な貢献を述べている：

マスクに基づいたフェーズ状態抽出器: 各スロットが所有するマスクと固定された空間基底から幾何学的座標（ $Q$ ）を計算し、生の時間差分から運動量（ $P$ ）を算出するメカニズムであり、外観を伴うスロット特徴をダイナミクスの入力から明示的に排除する。
ソフト・ハミルトニアン・ダイナミクス・モジュール: エネルギー勾配の方向と有界な学習済み場をブレンドしてフェーズ状態を伝播させるクローズドループ遷移であり、正確なシステム同定を主張することなく、構造的な事前分布として機能する。
デコーダー調和インターフェース: 因果的コンテキスト、ゲート付き組成、および有界残差補償を用いて、伝播されたフェーズ状態からデコーダー互換のスロットを復元する手法。

実験結果

モデルは、OBJ3D、CLEVRER、Physionのベンチマークにおいて、SlotFormer、SAVi-dyn、PredRNNなどのベースラインと比較評価された。

OBJ3D (6観測 $\to$ 30予測):
- MOSH-WMは、最も強力なオブジェクト中心ベースラインであるSlotFormerに対し、LPIPSを25.0%、空間MSEを**33.7%**削減した。
- PSNRを2.43 dB向上させ、SSIMを0.8916に達させた。
- オブジェクト状態の指標も大幅な改善を示した。重心ADEは15.4%、FDEは9.5%、ペア間距離誤差は14.9%減少した。
- 長期間の安定性: 30フレームにわたる誤差の蓄積はベースラインよりも著しく緩やかであり、ロールアウトのホライゾンが長くなるにつれてその差は拡大した。
CLEVRER (6観測 $\to$ 10予測):
- 衝突や遮蔽を含むシーンへの転移性を実証し、5つの視覚的指標（LPIPS、PSNR、SSIM、MSE、FG-MSE）すべてにおいてSlotFormerおよびSAVi-dynを上回った。
Physion (転移テスト):
- スロットの次元と解像度が異なる、異なる凍結されたオブザーバー（STEVE）を用いて評価された。
- フルモデルは、35ステップのロールアウト全体を通じて、「物理のみ」または「残差のみ」のバリアントよりも低いSlot MSEを維持し、フェーズ/コンテキスト分解の堅牢性を確認した。
アブレーション研究:
- 物理コンポーネントを除去すると、LPIPSがほぼ倍増した。
- 因果的コンテキストを除去すると、大幅な視覚的劣化が生じた。
- 物理とコンテキストの組み合わせは、いずれか一方のコンポーネント単独よりも優れた性能を示した。
- キャパシティのスイープにより、単に容量を拡大するのではなく、特定のアーキテクチャ（アテンションブロック2、MLP比率2）が表現力と安定性の最適なバランスを提供することが示された。

意義と主張

MOSH-WMは、オブジェクトの幾何学的な進化をその視覚的な外観から分離することに成功したと主張している。フェーズ状態をマスクに支持された空間モーメントに接地することで、モデルはより構造的に解釈可能で安定した長期間の予測を実現している。「ソフト・ハミルトニアン」のアプローチは、方向的なバイアスを提供して、純粋なデータ駆動型スロット予測器に共通するドリフトを防ぐ一方で、分離された因果経路は、デコーダーに外観とアイデンティティの情報が必要であることを保証する。

著者らは、モデルが正確な真の機械的エネルギーを同定することを主張しているのではなく、ハミストニアン場をフェーズ進化を整理するための構造的な事前分布として使用していることを強調している。結果は、この分解が、オブジェクト中心のクローズドループ予測を、特にオブジェクトのレイアウトとアイデンティティの一貫性が求められるシナリオにおいて、より堅牢にすることを示唆している。本研究は、視覚的な忠実度を犠牲にすることなく、物理的な規則性を尊重する、より解釈可能なワールドモデルへの一歩として提示されている。