Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

技術要約：動的3D Gaussian Splattingにおける、ドロップイン可能な連続時間変形フィールドとしてのLiquid Neural Networks

問題提起
動的3D Gaussian Splatting (D-3DGS) は、フレーム時刻 $t$ に条件付けられた多層パーセプトロン (MLP) を用いて、標準的な（canonical）3D Gaussianを一連の変形させることで、単眼ビデオから動的なシーンを再構成する。$t$ は連続的な物理変数であるが、標準的なD-3DGSの変形MLPはこれを離散的な入力として扱う。このアーキテクチャには、隣接するタイムステップ間の時間的な結合が欠如しており、各フレームは訓練セットに対して独立して適合されるため、時間的な滑らかさは構造的に強制されるのではなく、最適化の副産物としてのみ現れる。Neural ODEsやLatent-ODEの派生型（例：ODE-GS）のような既存の連続時間代替案は、明示的な連続時間事前分布を導入するものの、訓練ループ内での数値ソルバーの必要性により、大幅な計算コストを招く。著者らは、数値積分によるオーバーヘッドを伴わずに、連続時間のセマンティクスを提供するアーキテクチャ設計の空白を特定している。

手法
本論文では、D-3DGSの変形フィールド $F_\theta$ を、Liquid Neural Network (LNN) の一種であるClosed-form Continuous-time (CfC) セルのスタックとして再設計することを提案する。この設計は、標準的なD-3DGSのパイプライン（標準的なGaussian、ラスタライザ、損失関数、および訓練スケジュール）をそのまま保持しつつ、変形ネットワークのみを置き換えるものである。

• CfCセルの構造: 各セルは、Liquid Time-constant (LTC) 常微分方程式 (ODE) の閉形式解である。標準的なMLPとは異なり、CfCセルは、シグモイド型の時間ゲート $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$ （ここで $\tau$ は経過時間信号）を介して、更新された隠れ状態 $h'$ を計算する。このゲートは、2つの候補となる隠れ状態（$g$ と $h_{cand}$）を補間し、数値ソルバーを呼び出すことなく、学習された滑らかな時間変化への応答を損失ランドスケープに直接組み込む。
• Depth-as-Time (深さとしての時間): 著者らは、変形フィールドを $D$ 個のCfCセルのスタックとして実装している。重要な点として、彼らはこれらのセルをビデオフレーム間で再帰的に使用するのではない。ネットワークの深さが時間的な再帰メカニズムとして機能する。すべてのフォワードパスにおいて、隠れ状態はゼロにリセットされ、フレーム時刻 $t$ がすべてのスタック内のセルへ経過時間信号として入力される。この「Depth-as-Time」アプローチにより、ネットワークは連続時間のセマンティクスを持つフィードフォワード・ブロックとして機能することが可能になる。
• 実装: 実装は、D-3DGSの変形モジュールのドロップイン置換（drop-in replacement）となっている。著者らは、元のD-3DGSのポジショナルエンコーディング・スキームと一致するように、バックボーンの幅を64、隠れサイズを128、6個のCfCセル（デフォルト設定）を使用している。

主な貢献

1. Liquid Deformation Field: フレーム時刻 $t$ に対する明示的な時間ゲート付き更新を露出させた、CfCセルのスタックで構築されたD-3DGS用の変形フィールドの導入。この設計は、推論コストのプロファイルが標準的なフィードフォワードMLPと全く同じであることを維持している。
2. 実証的評価: 8つの合成D-NeRFシーンと7つの実世界のNeRF-DSシーンを用いた包括的なテスト。本研究は、PSNR、SSIM、LPIPS、パラメータ数、およびMACs（積和演算）を報告しており、リキッド・フィールドがMLPの性能に匹うずるか、あるいはそれを上回ることを示している。
3. アーキテクチャのポジショニング: CfCが連続時間手法のスペクトラムのどこに位置するかを明確に区分している。本論文は、CfCを「安価な端（cheap end）」として位置づけている。すなわち、ODE/SDEソルバーが必要な手法（ODE-GSなど）が課す計算上のペナルティを負うことなく、連続時間のセマンティクスとジッターに対する堅牢性を提供できる。

結果

• 合成シーン (D-NeRF): リキッド変形フィールドは、8つのシーン中6つのシーンにおいて、再学習されたD-3DGSのMLPベースラインと同等またはそれを上回る結果を示した。平均PSNRはほぼ同等であった（CfCは38.25 dB、MLPは38.26 dB）。最も顕著な改善は、高周波の関節運動を伴うシーン（例：Hook で+1.49 dB、Hell Warrior で+0.82 dB）で観察され、そこでは時間ゲート付きの非線形性が暗黙的な滑らかさの事前分布として作用している。
• 実世界シーン (NeRF-DS): ポーズのノイズが支配的な7つの実世界シーンにおいて、CfCアプローチはすべての平均指標においてMLPベースラインを上回った（PSNR: 23.86 dB vs. 23.39 dB; SSIM: 0.8491 vs. 0.8403; LPIPS: 0.1891 vs. 0.2011）。最大の改善は、激しい鏡面反射運動を特徴とする As シーンで見られ、CfC法は+2.74 dBのPSNR向上を達成した。
• 計算効率: ベースラインのMLP（$D=8, W=256$）と一致する深さと幅で構成した場合、CfCスタックは約50%のパラメータおよびMACsのオーバーヘッドを発生させた。しかし、著者らのデフォルト設定（$D=6, W=128$）では、優れた品質を維持しながら、計算フットプリントをMLPベースラインより36%削減することに成功した。
• アブレーション: Hell Warrior シーンにおける実験により、CfCセル・アーキテクチャが標準的なMLPバックボーンよりも優れていることが確認された。最適な深さは $D=6$ であり、GELU活性化関数が最良の結果をもたらした。これは、無制限の滑らかなバックボーンがセルレベルの非線形性とより良く適合することを示唆している。

意義と主張
本論文は、D-3DGSの離散的なMLP変形フィールドを、$t$ の明示的な連続時間関数へと変容させる「摩擦の極めて少ないアーキテクチャ設計」を提示していると主張している。その意義は、数値ソルバーの計算負荷を負うことなく、連続時間のセマンティクスとノイズの多い教師あり学習（ポーズのドリフトやモーションブラーなど）に対する堅牢性を実現した点にある。

著者らは、自らの貢献を、再構成パラダイムの根本的な転換というよりも、アーキテクチャ上の改善として控えめに位置づけている。彼らは、「Depth-as-Time」アプローチが、再帰的なLNNに典型的な長期ホライゾンの時間的メモリを利用していないこと（各Gaussianの集合は非定常であるため）を認めている。したがって、連続性の保証は、時間ゲート付きの非線形性のみから導出されている。本論文は、ODE/SDEベースの手法が外挿や高度に破損したデータに対して依然として優れている可能性があるとしつつも、CfCアプローチは、標準的な補間レジームにおける動的な3Dシーン再構成において最も経済的な選択肢であり、実務者が連続時間の事前分布を段階的に採用することを可能にすると結論付けている。