技術要約: NewtonGS

問題定義

静的な3D Gaussian Splatting (3DGS) シーン内でオブジェクトをアニメーション化するには、明示的なオブジェクトレベルの動的状態と、制御可能な運動モデルが必要である。既存の動的なGaussian手法は、主に時変シーンの再構成や連続的な変形（例：4DGS、変形フィールド）に焦点を当てている。これらのアプローチには、既存のGaussianオブジェクトの運動を直接制御、予測、編集することを可能にする、コンパクトで明示的なオブジェクトレベルの状態表現が欠けている。さらに、純粋な解析的モデルはモデルの不一致や未モデル化の効果を考慮できないことが多く、制約のないニューラル予測器は制御や解釈が困難な運動を生み出す。核心となる課題は、明確な幾何学的および動的な意味を保持するコンパクトな状態でGaussianオブジェクトを表現し、連続的な運動と離散的なイベント（接触など）の両方を捉えながら、この状態を時間の経過とともに進化させ、個々のプリミティブに個別の軌跡を割り当てることなく、予測された運動を一貫してGaussianプリミティブへとマッピングすることである。

手法: NewtonGS

著者らは、オブジェクトレベルの状態ロールアウトとGaussianシーンのアニメーションのための物理構造化フレームワークである NewtonGS を提案する。本手法は、状態表現、ハイブリッド動力学予測、および状態からGaussianへの変換という3つのステージで動作する。

1. オブジェクト中心のGaussian状態表現

各動的オブジェクト $k$ は、コンパクトな 22次元状態ベクトル $Z_k$ によって要約される：
$$Z_k = [p_k, q_k, v_k, \omega_k, s_k, u_k, m_k, e_k, \mu_k]$$
ここで：

• $p_k \in \mathbb{R}^3$: オブジェクトの中心位置。
• $q_k \in \mathbb{H}$: 単位回転クォータニオン。
• $v_k, \omega_k \in \mathbb{R}^3$: 線速度および角速度。
• $s_k, u_k \in \mathbb{R}^3$: 集約された異方性スケールとその変化率。
• $m_k, e_k, \mu_k \in \mathbb{R}$: 質量、反発係数、および接線減衰（材料特性）。

この状態は、個々のプリミティブではなく、オブジェクトの集合体を記述する。スケール $s_k$ は、高次元の変形コードを導入することなく、サイズ変化や単純な変形軌道をカバーする。

2. Gaussian ニューラル・ニュートン力学 (Gaussian-NND)

本フレームワークの核となるのは、解析的な事前知識と学習された残差を組み合わせた、構造化されたハイブリッド動力学モデルである。

• 連続的な動力学: 接触の間、状態は、並進、クォータニオン運動学、重力、減衰、およびスケール復元を積分する構造化されたベクトル場を介して進化する。ニューラルネットワーク $f_\theta$ は、解析的な事前知識を補正するために、有界な加速度残差 $[r_v, r_\omega, r_s]$ を予測する。システムはRK4を用いて積分される。
• 離散的な接触イベント: 衝撃時の瞬時的な速度変化を扱うために、水平な床 ($y=0$) との接触を検出する個別のイベントマップを用いる。検出時には、解析的な応答（反発および接線減衰）が適用された後、衝突後の速度および角速度への補正を予測する学習された接触残差ネットワーク $h_\phi$ が適用される。
• 初期化: 両方の残差ネットワークはゼロ出力を生成するように初期化されており、これにより、初期ロールアウトが解析モデルに厳密に従うことを保証し、残差はデータから学習される。

3. 状態からGaussianへの変換

予測されたオブジェクト状態は、オブジェクトに属するすべてのGaussianに適用される共有アフィン変換へと変換される。

• 予測された状態から初期状態に対する相対回転行列 $R_t$ とスケール比ベクトル $\rho_t$ が計算される。
• Gaussianの平均 $g_i$ と共分散 $\Sigma_i$ は、共有変換行列 $A_t$ を介して更新される：
  $$g_i^t = A_t(g_i^0 - p_0) + p_t$$
  $$\Sigma_i^t = A_t \Sigma_i^0 A_t^\top$$
  これにより、クラスター全体が一貫して移動しながら、オブジェクトの内部構造が保持される。

主な貢献

1. NewtonGS フレームワーク: Gaussianアニメーションを、明示的な22次元状態のロールアウトと、それに続くオブジェクトの決定論的かつ共有されたプリミティブ変換として定式化する、オブジェクトレベルのフレームワーク。
2. Gaussian-NND モデル: 連続的なクォータニオン/スケール進化、離散的な水平床接触イベント、およびゼロ初期化された学習残差を組み合わせた、構造化されたハイブリッド動力学モデル。これは、物理的な解釈可能性と、モデルの不一致を補正する能力のバランスをとっている。
3. プロシージャル・ベンチマークによる評価: 状態ロールアウト評価のための State-32 と、状態からGaussianへの変換のための Gaussian-32 の導入。実験により、NewtonGSが、イン分布（ID）および速度範囲シフト（OOD）分割の両方において、5つの解析的ベースラインよりも低い軌道、終端、および速度誤差を達成することが示された。

結果

著者らは、1,048,576の訓練シーケンスと、イン分布（ID）およびアウトオブディストリビューション（OOD、速度範囲の増加を含む）分割それぞれ131,072のシーケンスを含む State-32 データセットを用いてNewtonGSを評価した。

• 状態予測: IDおよびOOD分割の両方において、NewtonGSは5つの解析的ベースライン（Hold-Z0, Constant Velocity, Damped Velocity, Gravity-Bounce, Physics-Priorを含む）と比較して、最も低い軌道RMSE、最終変位誤差（FDE）、および速度RMSEを達成した。
  • IDにおいて、NewtonGSは最良のベースラインに対して、軌道、終端、および速度の誤差をそれぞれ3.61%、2.57%、2.34%削減した。
  • OODにおいて、それぞれ3.06%、5.25%、2.27%の削減を実現しており、速度シフトに対する堅牢性を示している。
• 表現間のクロス評価: Gaussian-32 および Same-32 サブセットにおいて、NewtonGSはL4GMビデオ-to-4DGS手法よりも軌道、終端、およびクォータニオン誤差において優れた性能を示し、予測された状態からアニメーション化されたGaussianオブジェクトへの効果的な変換を実証した。
• ビデオ・プロキシ比較: ビデオ生成モデル（Sora, Veo 3, Wan等）との「Common-12」比較において、NewtonGSは、物理的一貫性（PISp）、背景の安定性（BCp）、および運動の滑らかさ（MSp）においてより高いスコアを獲得し、運動カテゴリ間の分散も低かった。

重要性と主張

本論文は、NewtonGSが静的な3D Gaussian表現と、制御可能で物理ガイドされた運動との間の必要な架け橋を提供すると主張している。Gaussianオブジェクトに明示的な動的状態を割り当てることで、本手法は予測可能で編集可能な運動を可能にし、これはシーンのアニメーションやインタラクティブなコンテンツ制作において極めて重要である。

著者らは、自らのアプローチが、個々のプリミティブの運動を独立して予測する既存の4DGS手法とは異なり、一貫したオブジェクトフレームと直接的な状態空間制御を優先していることを強調している。構造化されたハイブリッド動力学により、固定された解析的ルールでは捉えきれない多様な運動パターン（弾道、跳ね返り、転がり、振動）を捉えることができ、同時に基礎となる物理的事前知識を通じて解釈可能性を維持している。

本論文の範囲については、以下の通り控えめな記述となっている：

• 本手法はオブジェクトレベルの動力学に焦点を当てており、関節構造、トポロジーの変化、または複雑なマルチオブジェクト間の相互作用（例：ペアワイズの衝突はイベントマップで明示的にモデル化されていない）はモデル化していない。
• 現在の実装は水平な床との接触を扱っており、壁や傾斜との接触は、明示的なソルバーではなく残差を通じて学習される。
• 報告された結果は、ラベル付けされた初期状態から始まっており、本論文は生のビデオから状態を自動的に推論するプロセスを解決することを主張していないが、グルーピングと状態のリフティングのための決定論的なインターフェースを提供している。
• 評価はプロシージャルに生成された合成データセットで行われており、本手法は効果的なアニメーションを実現しているものの、一般的な生成タスクにおいてフォトリアリスティックな4D再構成やテキスト-to-ビデオシステムに対する優位性を主張するものではない。