技術的サマリー：MechVerse

問題提起

現在のテキストおよび画像条件付き動画生成モデルは、自然なシーンにおいて高い視覚的忠実度と時間的整合性を達成しています。しかし、明示的な運動学的および幾何学的制約に支配される運動の生成においては頻繁に失敗します。これらのモデルは視覚的に滑らかな動画を生成できる一方で、可動部品の組立体に必要な剛体力学をしばしば違反します。具体的な失敗例としては、剛体部品の変形、並進すべき部品の回転、連結部品間の結合の破綻、あるいは運動学チェーン全体への運動伝播の失敗などが挙げられます。既存のベンチマークは、知覚的品質、一般的な物体の運動、または人間の動作に焦点を当てていますが、生成された運動が部品レベルの機械的依存関係に準拠しているかどうかを評価するために必要な構造化された制御を欠いています。

手法

MechVerse ベンチマーク

このギャップに対処するため、著者らは機械的に整合した画像から動画への生成を評価するために設計された合成ベンチマークMechVerseを導入しました。このデータセットは、141 のカテゴリにわたる1,357 のユニークな機械的組立体から派生した21,156 の動画クリップで構成されています。データは、2 つの補完的なリポジトリから収集されています：

1. PartNet-Mobility：「易」ティア向けの運動学的に注釈付けられた可動物体（ドア、引き出しなど）を提供。
2. キュレーションされた CAD ライブラリ：「中」および「難」ティア向けの複雑なリンク機構、カム・フォロワーシステム、歯車列、多部品メカニズムを包含。

すべての組立体は、運動カバレッジと再現性に対する精密な制御を確保するために、正規化された時間ステップ駆動のフレーム正確なアニメーションパイプラインを使用して Unity でレンダリングされています。

データセットの構造と変異：

• 複雑さティア：データセットは、増加する運動学的複雑さの 3 つのティアに整理されています：
  • 易：独立した可動（1〜2 部品、例：揺れるドア）。
  • 中：ペアワイズ結合（3〜8 部品、例：4 節リンク機構）。
  • 難：密に結合された多部品メカニズム（10〜50 部品、頻繁な自己遮蔽を伴う）。
• 制御された変異：各組立体は、運動速度（遅：半サイクル、中：全サイクル、速：2 サイクル）、カメラ視点（複数の固定角度）、および運動方向（前方および逆方向）の体系的な変異でレンダリングされます。
• 構造化されたプロンプト：各クリップは、6 つの特定のコンポーネント（組立体の概要、フラットなマットカラーによる部品識別、可動/剛性の分類、運動タイプ、方向、速度の説明）を含む構造化された自然言語プロンプトとペアリングされます。これにより、プロンプトは専門家の機械的知識に基づいて担保されます。

評価プロトコル

著者らは、Kling 3、Wan 2.7、Happy Horse 1.0 などのプロプライエタリシステム、CogVideoX、HunyuanVideo、LTX-Video などのオープンソースモデル、および Wan 2.2 と CogVideoX のファインチューニング版を含む14 の最先端画像から動画へのモデルを評価しました。

指標：

1. 知覚的品質：VBench-I2V 指標（主観的一貫性、運動の滑らかさ、時間的なちらつきなど）。
2. 指示と物理法則への準拠：WorldModelBench 指標（指示追従、物理法則への準拠、常識的推論）。
3. 人間による評価：6 人の評価者が、運動の正しさ、運動学的結合、プロンプトへの準拠など 12 の次元について 43 のテスト組立体を 1〜5 のリッカート尺度で評価しました。

主要な結果

1. 知覚的品質対機械的正しさ

現在のモデルは、標準的な知覚的指標（VBench-I2V）で高いスコアを達成しており、ほとんどのモデルは 98% 超の運動の滑らかさと 99% 近くの時間的なちらつきを示しています。しかし、これらのスコアは機械的正しさと相関していません。モデルは、運動学的制約（剛体部分の変形や結合の破綻など）に違反する視覚的に安定した動画を生成できます。

2. WorldModelBench におけるパフォーマンス

モデルは、特定の運動指示に従い物理的妥当性を維持することを要求する WorldModelBench 指標において、著しく困難を抱えています。

• プロプライエタリ対オープンソース：プロプライエタリモデル（Kling 3、Wan 2.7 など）は、指示追従と物理的準拠において一般的にオープンソースモデルを上回りますが、オープンソースモデルは知覚的指標においては競争力があります。
• 複雑さのパラドックス：直感に反して、WorldModelBench の集計スコアは、運動学的複雑さ（易から難へ）の増加とともに上昇することがよくあります。著者らは、MLLM ベースの判定者が、局所的な部品レベルの制約が違反されていても、全体的に妥当な動画を高く評価することに起因すると帰結しています。人間による評価は逆の傾向を明らかにしています：スコアは複雑さの増加とともに低下し、特に運動学的結合と方向制御において顕著です。

3. 人間による評価の知見

人間の判断は、視覚的リアリズムと運動推論の間に明確なギャップを浮き彫りにしています。

• モデルは色、形状、全体的な妥当性を確実に保持します。
• モデルは運動学的結合、方向制御、および時間的完結において頻繁に失敗します。
• 最大の性能差は、視覚的忠実度ではなく「メカニズム認識」基準に現れます。

4. ファインチューニングの影響

MechVerse 訓練データでのモデルのファインチューニングは、混合した結果をもたらしました。一部のモデル（CogVideoX など）はほとんどの指標で改善を見せましたが、他のモデル（Wan 2.2 など）は知覚的品質の向上が見られる一方で、物理法則への準拠が低下しました。これは、訓練がプロンプト追従には役立つものの、現在のアーキテクチャは、堅牢な機械的推論に必要な部品、関節、依存関係構造の明示的な表現を欠いていることを示唆しています。

意義と主張

本論文は、MechVerse が生成動画モデルにおける「機械的ギャップ」を測定するために必要な診断ツールを提供すると主張しています。その主な貢献は以下の通りです：

1. 限界の立証：高い視覚的忠実度は機械的正しさの弱い代理指標であることを確立し、現在のモデルは妥当に見えるにもかかわらず、構造化された部品間運動の捕捉に失敗していることを示します。
2. 複雑さのベンチマーク化：モデルのパフォーマンスが（人間の判断において）運動学的依存関係が密になるにつれてどのように劣化するかを明らかにする階層化された複雑さフレームワークを導入し、集計動画品質スコアでは見落とされるニュアンスを浮き彫りにします。
3. 方法論的転換：自然なシーンを超えて、モデルが世界力学を暗黙的に学習しているのか、単に妥当な運動を幻覚化しているのかを評価するために、構造化された部品レベルの制約を動画生成ベンチマークに含めることを主張します。

著者らは、画像から動画へのモデルが滑らかで視覚的に整合したクリップを生成する能力を持っている一方で、画像と言語入力から機能的に正しい機械的相互作用を生成する点ではまだ信頼できないと結論付けています。このベンチマークは、手続き的コンテンツ、具身化エージェント、デジタルツインの応用におけるメカニズム認識型動画生成の進展を促すことを意図しています。