技術要約: CompletionAny4D

問題提起

3Dジオメトリが時間とともに進化する4Dダイナミクスは、アニメーションやゲームにおけるワールドモデリングの基本です。しかし、任意のトポロジーを持つ大規模かつ長期間の4Dデータセットが不足しているため、制御可能な4Dメッシュシーケンスの生成は依然として困難です。既存のアプローチには主に2つの制限があります：

1. 推論効率と制御性のトレードオフ: 初期のテキスト-to-4D手法は、ビデオ拡散事前学習の蒸留やテスト時最適化（例：Score Distillation Sampling）に依存しています。これらは専用の4D学習データを必要としませんが、非常に高価なインスタンスごとの最適化（例：41フレームに対して約20時間）を必要とするため、インタラクティブな使用には実用的ではありません。
2. フィードフォワード生成器の限界: 最近のフィードフォワードモデルは高速な推論を提供しますが、精密な時空間制御性に欠けています。テキストプロンプトのみに基づいて特定の所望の動きを生成することに苦戦することがよくあります。さらに、これらのモデルをオートレグレッシブ（自己回帰）生成によって長期間のシーケンスへ拡張しようとすると、時間の経過に伴う一貫性を維持するための明示的な制約を欠いているため、誤差の蓄積やモーションドリフトが発生します。

解決すべき核心的な問題は、いかにして、パー・シーンの最適化を必要とせずに、疎なキーフレームとテキストによる精密な時空間制御をサポートしつつ、長期間にわたる一貫性を維持しながら、高速なフィードフォワード4Dメッシュ生成を実現するかという点です。

手法: CompletionAny4D

著者らは、任意の4Dメッシュにおけるモーション・インビトゥイニング（中間補間）のために設計された、テキストおよびキーフレーム条件付きのフィードフォワードフレームワークであるCompletionAny4Dを提案しています。このフレームワークは、トポロジー/形状情報とモーション情報を分離し、潜在空間内で動作します。

1. フレーム単位のメッシュVAE (Frame-wise Mesh VAE)

キーフレーム条件付けを可能にするために、著者らは、時間情報を圧縮する既存のシーケンス単位のVAE（例：DyMeshVAE）とは対照的に、フレーム単位のメッシュVAEを設計しました。

• アーキテクチャ: エンコーダは各フレームを独立して処理します。参照メッシュ（$M_0$）によって固定された共有形状構造潜在変数（$\mathbf{V}_0^n$）を抽出し、各タイムステップに対するフレームごとの軌道潜在変数（$\mathbf{V}_t^n$）を生成します。
• メカニズム: 共有の形状アンカーを保持しながらフレームを独立してエンコードすることで、モデルはフレーム整合的な潜在空間を作成します。これにより、シーケンス単位のモデルでは時間的圧縮によって妨げられる、特定のキーフレームインデックスにおける潜在トークンの直接的な「クランプ（固定）」や置換が可能になります。

2. キーフレーム条件付きRectified Flow

非キーフレームの生成は、MMDiT (Masked Multi-Modal Diffusion Transformer) バックボーンを備えたRectified Flowモデルを用いたモーション・インビトゥイニング・タスクとしてモデル化されます。

• 条件付け戦略: サンプリング時の単純な潜在変数置換（これは弱い制御しか生みません）の代わりに、モデルは学習および推論においてマスクされた潜在変数置換スキームを採用しています。
  • バイナリマスク $m$ が観測されたキーフレームを特定します。
  • フローモデルへの条件付け入力は、テキストプロンプト、共有形状潜在変数、およびキーフレームの潜在変数が「クリーン（正解）」であり、非キーフレームの潜在変数が「ノイズが付加された」状態である連結されたシーケンスで構成されます。
• 学習目的: モデルは、ノイズを直線に沿ってデータへと輸送する速度場 $\mathbf{v}_\theta$ を学習します。損失関数は、マスクされたシーケンスを条件とした、予測された速度とターゲットの速度の間の回帰誤差を最小化します。
• 推論: テキストプロンプト、参照メッシュ、および疎なキーフレームが与えられると、モデルは学習された常微分方程式（ODE）を解いて中間軌道潜在変数を合成し、それらがデコードされて完全な4Dメッシュシーケンスとなります。

主な貢献

1. CompletionAny4Dフレームワーク: 任意のトポロジーにおける、時空間的に制御可能な4Dメッシュ・モーション・インビトゥイニングのための初のフィードフォワードフレームワークです。これは、短期間のデータで学習されつつ、長期間の生成が可能な、疎なキーフレームとテキストによる精密な制御を可能にします。
2. フレーム単位のメッシュVAE: 形状構造とモーションを分離し、フレームを独立してエンコードする新しいVAE設計です。このアーキテクチャは、直接的なキーフレーム潜在変数の注入を可能にし、シーケンス単位のモデルでは容易に満たせない、堅牢なインビトゥイニングの要件を実現するために不可欠です。
3. キーフレーム条件付きRectified Flow: マスクされた潜在変数置換を介して、疎なキーフレーム制約を条件付けメカニズムに直接統合するRectified Flowモデルです。このアプローチは、学習中にキーフレーム制約を尊重するように学習するため、推論時の置換ベースラインと比較して優れた制御性をもたらします。
4. インビトゥイニングによる長期間生成: 疎なキーフレーム条件付けが、学習ホライゾンを超えた生成を安定させることを実証しました。インビトゥイニング・タスクを連鎖させることで（例：16フレームを生成し、最後のフレームを新しい開始キーフレームとして使用する）、オートレグレッシブ生成に特有のドリフトなしに、一貫した長いシーケンスを生成できます。

実験結果

本手法は、DyMesh16（16フレーム）およびDyMesh32（31フレーム）のベンチマークで評価されました。

• 短期間パフォーマンス (DyMesh16):

  • 精度: CompletionAny4Dは、非制約フレームにおける頂点精度指標（RMSE、Chamfer距離、DTW）において、リリースされているAnimateAnyMeshモデルおよびサンプリング時の置換ベースラインの両方を大幅に上回りました。例えば、3つのキーフレームを使用した場合、提案手法はRMSE 1.852（スケール $\times 100$）を達成しましたが、これはベースラインの6.438およびAnimateAnyMeshの6.424と比較して顕著な改善です。
  • 制御性: ユーザー調査（20名の参加者）では、提案手法が「制御（Control）」（4.12/5）および「テキスト（Text）」整合性（3.37/5）において最高スコアを獲得し、ベースラインおよびオープンソースのAnimateAnyMeshの両方を上回りました。
  • 品質: AnimateAnyMeshは、オープン設定（キーフレームなし）においてわずかに高いVBenchスコアを達成しましたが、CompletionAny4Dは、優れた制御性を提供しつつ、競争力のあるモーションの自然さと審美的品質を維持しました。

• 長期間パフォーマンス (DyMesh32):

  • 2段階の生成プロトコル（16フレーム ＋ オーバーラップを含む16フレーム）を通じて評価されました。
  • 安定性: AnimateAnyMeshは、第2段階において顕著な回転誤差の蓄積とドリフトを示しました。対照的に、CompletionAny4Dはステージ間で時空間的一貫性を維持し、全手法の中で最も低いRMSE（2.132）およびDTW（0.7272）を達成しました。
  • ユーザーの好み: ユーザーは、長いシーケンスにおける自然さ、形状保持、および制御性においてCompletionAny4Dを最高評価しました。

• 効率性: 本フレームワークは高速な推論速度（H100 GPU上で16フレームあたり約2.8秒）を示し、最適化ベースの手法よりも大幅に速く、他のフィードフォワード・ベースラインと同等またはそれ以上の速度を実現しました。

意義と主張

本論文は、CompletionAny4Dが制御可能な4Dコンテンツ作成における重要な一歩であることを主張しています。その主な意義は、明示的な時空間条件付け（疎なキーフレームとテキストによる）が、テキストのみの生成や高価なテスト時最適化に代わる、実行可能かつ効果的な代替手段であることを示した点にあります。

著者らは以下の点を強調しています：

• 学習時の条件付けは、推論時の置換よりも優れている: フローモデル内でキーフレーム制約を尊重するように学習することは、サンプリング中に潜在変数を単にクランプするよりもはるかに良い結果をもたらします。
• フレーム整合的な潜在変数は必要である: 提案されたフレーム単位のVAEは、特定のフレームを直接操作することを可能にする重要なアーキテクチャ要素であり、これはシーケンス単位のモデルでは容易に満たすことができない、堅牢なインビトゥイニングの要件です。
• 短期間から長期間への汎化: 本手法は、短期間のシーケンスで学習されたモデルであっても、疎なキーフレームによってガイドされることで、一貫した長い4Dモーションを生成できることを証明しており、オートレグレッシブなアプローチに固有のエラー蓄積問題を効果的に解決しています。

結論として、テキストプロンプトのみでは複雑で精密な動きを指定するには不十分な場合が多いものの、テキストと疎なキーフレームの組み合わせは、制御可能な4Dメッシュアニメーションを生成するための強力で実用的なインターフェースを提供します。