技術的サマリー：DeformMaster

問題定義

変形可能物体のための世界モデルは、幾何学と外観だけでなく、基礎となる物理的ダイナミクス、相互作用のグラウンディング、および材料挙動を回復しなければならない。現実世界の動画からそのようなモデルを学習することは、変形可能物体（線形、平面、および体積）が、分散ひずみ、複雑な材料応答、自己接触、および外力によって支配される高次元の状態空間で進化するため、困難である。

既存のアプローチは重大な限界に直面している：

• 物理ベースの再構成（例：PhysTwin、Spring-Gaus）は、しばしば理想化された物理モデルに依存しており、パラメータ同定がモデルの仮定を超えた現実世界の現象を説明することに苦労する。
• 生成モデル（例：動画拡散）は主に視覚的な結果を想像するが、動作条件付きダイナミクスに対する信頼性の高い理解が欠如していることが多く、明示的な相互作用による制御が困難であり、幻覚的なダイナミクスに陥りやすい。
• 純粋に学習されたダイナミクス（例：パーティクルグラフネットワーク）は、重いデータ依存性に悩まされ、トレーニング分布に縛られたままとなり、新奇な動作下での長期的なロールアウト中に大きくドリフトする。

核心的な課題は、視覚的観測から物理状態を推論し、新しい相互作用下でそれらを前方にロールし、高忠実度のダイナミクスをレンダリングするモデルを構築することであり、同時に安定性、汎化性、および物理的グラウンディングを維持することである。

手法：DeformMaster

DeformMaster は、ダイナミクスと外観を単一のフレームワーク内で統合する、動画由来のインタラクティブな物理 - ニューラル世界モデルである。これは、現実の相互作用動画を、新奇な動作のロールアウト、材料パラメータのバリエーション、および動的な新規ビュー合成をサポートするオンラインでクエリ可能な表現に変換する。システムは 4 つの主要コンポーネントから構成される：

1. 物理 - ニューラルパーティクルグリッドダイナミクス (PNPGD)

物理的事前知識の安定性と、現実世界の不一致をモデル化する柔軟性のバランスを取るために、DeformMaster はダイナミクス演算子 $F_{\theta,\phi}$ を物理ブロック $P_\theta$ とニューラル残差 $R_\phi$ に分解する：
$$F_{\theta,\phi} = P_\theta \oplus R_\phi$$

• 物理ブロック ($P_\theta$): 材料パラメータ $\theta$ に基づいて 1 フレーム分の状態を進めるために、微分可能なマテリアルポイント法 (MPM) を使用する。これにより、構造化された安定した事前知識が提供される。
• ニューラル残差 ($R_\phi$): MPM 後の状態と短い運動履歴に基づいて、有界な速度補正 $\Delta v_p$ を予測するパーティクル - グリッドニューラルネットワークである。この残差は、自由な状態予測子として機能することなく、摩擦や複雑な接触などの未モデル化効果を吸収し、モデルが物理シミュレーションの完全な置換ではなく、その摂動として機能することを保証する。

2. 分散型コンプライアントアクチュエータ (DCA)

ビジョンから導出された現実世界のハンドトラッキングはノイズが多く、スパースである。硬い点ごとの制約は、しばしば速度のスパイクや局所的な変形を引き起こし、バルク運動を駆動することに失敗する。DCA はこれに対処するために以下のを行う：

• コンプライアンス: 高周波ノイズを吸収するために、硬い制約をコンプライアントなアクチュエータ - パーティクル結合（剛性 $k_p$ と減衰 $k_d$ を使用）に変換する。
• 分散: 単一の点ではなく、有限の接触パッチ（局所近傍）にアクチュエーションを広げ、軟らかい連続体を通じて効果的な力伝達を可能にする。

3. 構成専門家ミックス (MoCE)

現実の変形可能物体は、単一の理想化された構成則に従うことはめったにない。MoCE は、第一 Piola–Kirchhoff 応力を、標準的な専門家（Neo-Hookean、Corotated、St. Venant–Kirchhoff）の空間的に変化するミックスとして表現する：
$$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$$
ミックス重み $w_{k,p}$ は空間的に変化するため、モデルは物体の異なる領域にわたる不均質な材料応答を捉えることができる一方で、解析的な構成則に基づいたグラウンディングを維持する。

4. 物理グラウンディングされた 4D 外観

各動作ごとに動的モデルを再最適化することなく高忠実度の外観をレンダリングするために、DeformMaster は予測された材料パーティクル軌跡を使用してガウススプラッティング表現を駆動する。ブリッジ関数 $B_\psi$ は、パーティクル運動に基づいて線形ブレンドスキニング (LBS) を用いてガウスを逐次的に変形させる。これにより、レンダリングされた外観が基礎となる物理的進化と一貫性を保つことが保証される。

トレーニングスキーム

モデルは、ダイナミクス誤差（トラッキングアライメント、形状 Chamfer 距離、局所長さ保存）と外観誤差（RGB 測光損失）を最小化する組み合わせ目的関数でトレーニングされる。トレーニングは段階的に進行する：

1. ステージ 1–2: ダイナミクストレーニング（材料フィールドとニューラル残差の学習）と、CMA-ES を使用した分散型コンプライアントアクチュエータ (DCA) ゲイン選択の間の交互最適化。
2. ステージ 3: ガウススプラットの最適化に続き、RGB guided なダイナミクスブランチの微細化。ここで、測光勾配がパーティクル運動とニューラル残差に逆流する。

主要な貢献

1. PNPGD: 微分可能な物理をニューラル残差で拡張するハイブリッド遷移モデル。物理ガイドされたロールアウトを維持しつつ、未モデル化の現実世界の効果を補償する。
2. DCA: ノイズの多いスパースなハンドトラッキングを、コンプライアントで空間的に分散されたアクチュエーションに変換するメカニズム。ハンド - 連続体相互作用を安定化する。
3. MoCE: 空間的に変化する重みで標準的な材料法則をブレンドする構成モデリングアプローチ。不均質な材料応答を捉える。
4. DeformMaster システム: インタラクティブな物理 - ニューラルダイナミクスと物理グラウンディングされた高忠実度 4D 外観を組み合わせ、オンライン相互作用をサポートする統合された動画由来の世界モデル。

実験結果

DeformMaster は、PhysTwin データセットからの 20 の現実世界の変形可能物体シーケンス（線形（ロープ）、平面（布/パッケージ）、および体積（ぬいぐるみ）の物体を含む）で評価された。

• 全体的なパフォーマンス: DeformMaster は、将来のダイナミクス（IoU、Chamfer 距離）とレンダリングされた外観（PSNR、SSIM、LPIPS）の両方において、ベースライン（PhysTwin、Spring-Gaus、GS-Dynamics）を上回る最強の全体的なパフォーマンスを達成した。
• PhysTwin との比較: 比較可能なトラッキング誤差を維持しながら、DeformMaster は Chamfer 距離（0.011 対 0.012）と IoU（0.748 対 0.734）を改善した。
• 学習されたダイナミクスとの比較: 純粋に学習されたガウスダイナミクスベースラインと比較して、この手法は Chamfer 距離（3 倍以上）とトラッキング誤差（2.9 倍以上）を大幅に削減した。
• 汎化性: モデルは、新奇な動作、材料パラメータのバリエーション（例：材料フィールドをスケーリングして破断を誘発）、および新規ビュー合成下でのロールアウトを正常にサポートした。
• アブレーション研究:
  • ニューラル残差を除去するとパフォーマンスが低下し、理想化された物理と現実の観測を橋渡しする必要性が確認された。
  • DCA を硬い制約または単一ポイントアクチュエータに置き換えると、発散または精度の低下を引き起こし、コンプライアンスと分散の必要性が検証された。
  • MoCE を単一の専門家に置き換えると結果が悪化し、空間的に変化する材料モデリングの必要性が示された。
  • ステージ 3 における RGB guided な微細化は、ダイナミクスと外観の両方の指標で一貫した向上をもたらした。

意義と主張

本論文は、DeformMaster が変形可能物体のための堅牢でインタラクティブな世界モデルに向けた重要な一歩を表すと主張している。物理的ダイナミクス、相互作用のグラウンディング、および材料挙動を同時に回復することにより、このモデルは、動作制御性の欠如という純粋な生成アプローチの限界と、現実世界の複雑さへの対処困難という純粋な物理ベースアプローチの限界を克服する。

著者は、DeformMaster が以下のことを可能にすると強調している：

• 新奇な動作下での安定した長期的ロールアウト。
• ノイズの多い視覚的観測にもかかわらずの堅牢な相互作用。
• 単一のグローバルな構成則を仮定することなくの不均質な材料モデリング。
• 物理的進化によって直接駆動される高忠実度 4D 外観。

この研究は、モデル予測制御に基づくロボティクス操作や合成データ生成などのダウンストリーム具現化アプリケーションの基盤として位置づけられており、非常に薄い平面物体（ここでバネ - 質量系が依然として帰納的バイアスを持つ可能性がある）および実行時のシミュレーションサブステップへの依存性に関する限界を認識している。