テクニカル・サマリー：ビデオ生成モデルにおけるニュートン力学の評価：実世界の物理システムを用いたアプローチ

問題提起

SORA、COSMOS、Veo3といった近年のビデオ生成モデル（VGM）は、前例のない視覚的忠実度を達成しており、物理的なダイナミクスを理解し予測する「ワールドモデル」としての可能性に注目が集まっている。しかし、現在の評価パラダイムは、主観的な人間による判断、視覚言語モデル（VLM）による評価、あるいは正解（グラウンドトゥルース）に対する軌跡のマッチングに大きく依存している。これらの手法には以下のような重大な限界がある：

• 主観性： 人間やVLMによる評価は定性的であり、幻覚（ハルシネーション）を起こしやすく、物理法則の微細な違反（例：質量分布の誤りや力の結合の不備）を見逃す一方で、視覚的にはもっともらしくても物理的には誤っている動きに対して高い評価を与えてしまう傾向がある。
• 軌跡マッチングの曖昧さ： 生成された軌跡を単一の正解軌跡と比較することは、物理的に曖昧である。異なる初期条件（例：質量の違いや摩擦の違い）から、それぞれ異なるが等しく妥当な物理的軌跡が導かれる可能性がある。軌跡マッチングの指標は、特定の参照パスから単に逸脱しただけの、妥当な物理的実現をペナルティとして課してしまうことが多い。
• 定量的物理推論の欠如： 既存のベンチマークは、知覚的な指標（視覚的一貫性、時間的一貫性）に焦点を当てており、支配的な物理方程式や保存則への準拠については考慮されていない。

その結果、VGMが真にニュートン力学をエンコードしているのか、それとも単に物理的な動きの外見を模倣しているだけなのかを厳密に定量化する上で、決定的なギャップが存在している。

手法：Morpheusフレームワーク

これらのギャップに対処するため、著者らは、制御された剛体設定においてVGMがニュートン力学を理解する能力を測定するために設計された、物理情報に基づいた評価フレームワークであるMorpheusを導入する。このフレームワークは、以下の3つのコアコンポーネントで構成されている。

1. データセットとコンディショニング

• 実世界データ： 著者らは、落下、放物運動、転がり、滑り、ホロノミック振り子、二重振り子、跳ね返り、衝突、およびバネ振動という9つの異なる物理現象を捉えた、約130本の実世界のビデオを精選した。
• 制御された条件： 特定の物理法則（例：エネルギー保存、運動量保存、周期運動）を分離して検証するために、制御された条件下で実験が行われる。
• 拡張（オーグメンテーション）： 特定の視覚的セットアップに対する堅牢性を確保するため、オブジェクトマスクに導かれたスタイル転送（Cosmos-Transfer1）を用いてデータセットを拡張した。これにより、基礎となる物理ダイナミクスを維持したまま多様な視覚的バリエーションを作成し、コンディショニングのシナリオを10倍に拡大した。
• プロンプティング戦略： 入力の精度が物理的忠実度にどのように影響するかを評価するため、テキストプロンプト、単一画像プロンプト、およびマルチフレーム（ビデオ）プロンプトの3つのコンディショニングレベルでモデルを評価する。

2. 軌跡の抽出と前処理

• セグメンテーション： オブジェクトマスクは、SAM-2（Segment Anything 2）と深度検証のためのDepth Anythingを使用して抽出される。
• 状態推定： 重心を追跡して2D軌跡を生成する。速度と加速度は中央差分法を用いて推定され、その後、トラッキングの不完全さに起因するノイズを低減するために、Savitzky-Golay平滑化およびスライディングウィンドウ内での線形回帰が適用される。
• フィルタリング： オブジェクトの消失、重複、または不十分な運動を含むビデオを除外するための破棄率（discard rate）指標を算出し、有効な軌跡のみがスコアリングされるようにする。

3. 物理情報に基づく評価指標

Morpheusは、ピクセルレベルの比較を超え、物理的不変量および支配方程式への準拠を評価する：

• ダイナミカル・スコア（Dynamical Score）： 物理情報ニューラルネットワーク（PINN）を利用して、抽出された軌跡を特定の物理システム（例：自由落下における $\ddot{y} + g = 0$）の既知の常微分方程式（ODE）に適合させる。スコアは、PINNが学習した軌跡とデータの間の正規化平均二乗誤差（NMSE）から導出され、スケール不変となるよう正規化される。
• 物理的不変量スコア（Physical Invariance Score）： 時間経過に伴う保存量（例：全エネルギー、角運動量、振動周期）の安定性を定量化する。スコアはこれらの不変量の標準偏差に基づいて計算され、完璧なスコア（1.0）は一定の保存を示し、高い分散は物理法則の違反を示す。

主な貢献

1. Morpheusフレームワーク： 主観的または純粋に幾何学的な指標を超え、物理情報ニューラルネットワークと保存則を活用してVGMを評価する、体系的で解釈可能かつ定量的な評価フレームワークの導入。
2. 包括的なベンチマーク： 多様なニュートン力学のシナリオにおいて、最先端のモデル（Veo3、Kling、COSMOSといったクローズドソースモデル、およびWan2.1、CogVideoX、LTX-Videoといったオープンソースモデルを含む）の大規模な評価。
3. 物理的忠実度に関する実証的知見： 本研究は、視覚的なリアリズムと物理的な正確性の間の重大な乖離を明らかにしている。最高の性能を示すモデルであっても、美的に優れたビデオを生成しているにもかかわらず、ニュートン力学を正確にエンコードすることには苦慮している。
4. コンディショニングと失敗モードの分析： マルチフレームおよびキーフレーム・コンディショニングが、単一画像プロンプトと比較して物理的一貫性を大幅に向上させることを示している。また、「静止（Stillness）」（物体が動かない）やオブジェクトの幻覚（複製や消失）といった、現在のモデルに蔓延している特定の失敗モードを特定している。

実験結果

• パフォーマンスのギャップ： 実世界のビデオは、ほぼ完璧なスコア（ダイナミカル・スコア：0.96–0.99、不変量スコア：≥0.90）を達成している。対照的に、最高性能のVGMの合計スコアはわずか約0.66であり、物理的推論における大きなギャップを浮き彫りにしている。
• コンディショニングの影響：
  • キーフレーム補間： 開始フレームと終了フレームの両方を条件とするモデル（例：Wan2.1 Keyframe）が最も高いパフォーマンスを示し、最も高い合計スコアと最も低い破棄率を達成した。境界条件を定義することで、生成空間が効果的に制約される。
  • マルチフレーム vs 単一フレーム： マルチフレーム・コンディショニングは、単一フレームの外挿よりも優れた性能を示す。これは、時間的コンテキストが、静止画では曖昧な速度や加速度の推論を助けるためである。
  • 単一フレームの限界： トップクラスのクローズドソースモデルであっても、単一画像の 外挿では苦戦することが多く、静止または不安定な動きによる高い破棄率を招く。
• モデル比較： Wan2.1（キーフレーム・コンディショニング使用）やCosmos-Predict2のようなオープンソースモデルは、Veo3やKling-2.5といったプロプライエタリなモデルと同等、あるいは時にはそれらを上回る性能を示しており、物理的推論能力はモデルの規模や独自のデータよりも、アーキテクチャやコンディショニング戦略に依存することを示唆している。
• VLM評価の失敗： 本論文は、強力なVLM評価器（例：VideoPHY2-AUTOEVAL）が、現実の物理と生成された物理を信頼性を持って区別できないことを実証している。これらは、クリーンな実世界の録画に対して物理的違反を幻覚（低スコアを付与）したり、特定の物理法則に違反している生成ビデオに対して高いスコアを与えたりすることがあり、VLMベースの判断よりも物理情報に基づいた指標が必要であることを裏付けている。

意義と主張

本論文は、Morpheusが、エンボディドAIやロボティクスに必要とされる「ワールドモデル」への歩みを進めるために不可欠なステップを提供すると主張している。著者らは、視覚的な忠実度は向上しているものの、現在のモデルは物理的な相互作用のシミュレータとして信頼できるほど、ニュートン力学を正確にエンコードするには程遠いと考えている。

本研究の意義は、知覚的な評価から定量的な物理的検証への転換にある。現在のモデルが、単純な剛体シナリオにおいてさえ、基本的な保存則（エネルギー、運動量）を遵守できていないことを確立することで、本論文は、VGMをワールドモデルとして扱う際に、さらなるアーキテクチャやトレーニングの革新なしには信頼できないという限界を強調している。このフレームワークは、再現可能な物理法則のストレス・テストを提供し、信頼できる物理的推論が可能なモデルに向けた研究の強固な基盤となるものである。