LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

技術要約: LagrangeGS

問題提起
動的な3D Gaussian Splatting (3DGS) は、時変シーンのフォトリアリスティックな再構成を実現しているが、既存の物理学を考慮した拡張手法には根本的な限界が存在する。近年の手法は、外挿を可能にするために速度場や加速度場を予測するが、これらは視覚的な変形に対してベクトル場を適合させているに過ぎず、ラグランジュ力学を満たしていない。この物理的根拠の欠如は、以下の3つの決定的な問題を引き起こす：

1. 物理的に不整合な軌跡： 運動が保存則やエネルギー原理に従わない。
2. 時間可逆性の欠如： 現在の観測から過去の状態を一貫して再構成することができない。
3. 幾何学的崩壊： 長期的な外挿において、体積の無制限な発散や不明瞭なヘイズ（霞）が生じる。

さらに、標準的な一般化ラグランジュニューラルネットワーク (G-LNN) を動的3DGSに直接適用することは、計算上実行不可能である。これは、毎ステップの積分において、数百万のガウス粒子に対する巨大な速度ヘッセ行列 ($\partial^2 L / \partial \dot{q}^2$) の逆行列計算を必要とするためである。加えて、標準的なG-LNNはしばしば時間依存の力を採用するが、これは数学的に厳密な時間反転を阻害する。

手法
著者らは、動的3DGSを、ポテンシャルエネルギー ($U$)、初期速度 ($v_0$)、および非保存力 ($Q$) によってパラメータ化された非保存ラグランジュ系として定式化するフレームワーク、LagrangeGS を提案する。そのアーキテクチャは、以下の3つのコアコンポーネントで構成される：

1. 時間独立なデカップルLNN (TD-LNN):
   ヘッセ行列の逆行列計算という計算上のボトルネックを解決するため、本手法は速度ヘッセ行列を単位行列として近似する。これは、すべてのガウス粒子に一様な単位質量を割り当て、それらの慣性力学をデカップル（分離）することと物理的に等価である。運動エネルギーは $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ に簡略化される。
   時間反転を可能にするため、非保存力は明示的に時間独立、すなわち $F(q, \dot{q}, t) = Q(q, \dot{q})$ であるよう制限される。これにより、負の時間ステップを用いてシステムを過去に遡って積分することが可能となり、状態回復のための数学的な正当性が保証される。各粒子 $j$ に対する加速度は、以下の閉形式の解となる：
   $$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$$
   ここで、$U$ と $Q$ はともに多層パーセプトロン (MLP) によってパラメータ化される。

2. 局所剛体整列 (Local Rigid Alignment: LRA):
   デカップルされた粒子力学によって引き起こされる幾何学的崩壊に対処するため、本手法は正則化ステップを導入する。各粒子に対し、初期状態における $k$ 近傍点を用いて局所的な剛体サポートを定義する。ロールアウト中、TD-LNNによって予測された候補位置は、微分可能なKabschソルバーを用いて、このサポートの局所的な剛体運動へと整列される。これにより、粒子は局所的な剛体構造に拘束されつつ、グローバルな連続変形を許容するようになる。

3. 3段階の最適化:

   • ステージ1 (軌跡蒸留): TD-LNNは、学習済みの動的3DGSモデル（DefGSやFreeGaveなど）から抽出された軌跡と、自身が積分した軌跡との間の平均二乗誤差 (MSE) を最小化するように訓練される。ペナルティ項により、可能な限り力学が保存的であることを促す。
   • ステージ2 (TD-LNNの微調整): 描画された画像に対するフォトメトリック損失（SSIMおよび$L_1$）を用いて、モデルを微調整する。勾配は微分可能なKabsch整列を通じてTD-LNNのパラメータへと流れ、モデルがソースの軌跡への過学習から脱出することを可能にする。
   • ステージ3 (ガウスパラメータの微調整): 物理パラメータを固定した状態で、残差となる視覚的誤差を吸収するために、初期のガウスパラメータ（位置、回転、スケール、不透明度、色）を精緻化する。

主な貢献

• ラグランジュ定式化: 動的3DGSを非保存ラグランジュ系として明示的に定式化した初めてのフレームワークであり、物理的に不整合な軌跡の問題を根本的に解決し、物理操作の理論的基盤を定義した。
• TD-LNNアーキテクチャ: 計算の実行可能性のために速度ヘッセ行列を単位行列として近似し、一貫した時間反転を可能にするために時間独立な力を採用した、新しいニューラルアーキテクチャ。
• 局所剛体整列 (LRA): デカップルされた粒子を局所的な剛体構造に結合することで、長期的な外挿中の幾何学的崩壊を防ぐメカニズム。
• 物理操作: 推論時に再学習を行うことなく、反事実的な物理ベースの編集（例：重力のスケーリングや初期速度の変更）や時間反転を実行できる能力。

結果
実験は、Dynamic ObjectおよびDynamic Indoor Sceneのベンチマークを用いて行われ、変形ベースの手法（T-NeRF, DefGS）および物理学を考慮したベースライン（NVFi, TRACE, FreeGave）と比較された。

• 外挿: LagrangeGSは安定した長期外挿を示す。DefGSが不自然な動きに苦しみ、FreeGaveが幾何学的ドリフトと体積の発散を示す一方で、LagrangeGSは物理的に一貫した滑らかな運動を維持する。定量的に、DefGSから蒸留した場合、LagrangeGSはDynamic ObjectデータセットにおいてPSNRを+5.05向上させる。FreeGaveから蒸馏した場合、フォトメトリック指標はわずかに低下するものの、幾何学的安定性は大幅に改善される（体積膨張を1.9倍から1.1倍に抑制）。
• 時間反転: システムは高い一貫性を持って過去の状態 ($t < 0$) を再構成することに成功した。順方向・逆方向サイクルテストの結果、平均位置誤差はDynamic Objectでわずか1.3%、Dynamic Indoor Sceneで0.19%であった。
• 反事実的編集: 本フレームワークは、物理パラメータの明示的な操作を可能にする。学習されたポテンシャル場 ($U$) をスケーリングすると、落下時間への予測可能な変化が生じ、理論的な関係 $t \propto \beta^{-0.5}$ に極めて近い結果が得られる ($R=0.999$)。
• アブレーション解析: LRAを除去すると、長期ロールアウトにおいて幾何学的崩壊が発生する。非保存力 $Q$ を除去すると、非保存的な運動を含むシーン（Dynamic Object）では性能が低下するが、厳密に保存的なシーン（Indoor）ではスコアがわずかに向上し、モデルの適応性が確認された。

意義
本論文は、LagrangeGSが動的シーンをラグランジュ系として明示的に定式化し、視覚的な忠実度と物理的な妥当性の間の溝を埋めるものであると主張している。標準的なLNNの計算上の困難さを解決し、時間独立性を強制することで、本研究は安定した長期外挿、一貫した時間反転、および解釈可能な物理ベースの編集を可能にした。これは、ロボットの動作計画やエンボディドAI（Embodied AI）などのダウンストリームアプリケーションにおいて極めて重要な、物理に基づいた動的モデリングと操作への道を開くものである。著者らは、初期化における学習済みの運動学的軌跡への依存や、複雑な衝突を捉えきれない可能性があるデカップルされた力学の仮定といった限界についても言及しており、これらを今後の研究課題としている。