Grassmannian Splatting I: Moving rank-2 Spacetime Surfels for Dynamic Scene Rendering

賑やかな街のシーンを撮影しているところを想像してみてください。車が猛スピードで走り抜け、人々が手を振り、風船がふわふわと上昇していきます。このシーンをコンピュータ上で再現しようとする際、ほとんどの手法は、あらゆるオブジェクトの3Dモデルを構築し、それをどのように揺らし、伸ばし、変形させるかを教えようとします。それは、粘土の彫刻をフレームごとに手作業で押しつぶしたり、引っ張ったりしてアニメーションさせるようなものです。

しかし、この論文の著者であるアーロン・モーリス・バーマン（Aaron Maurice Berman）とシャントゥ・デーブ（Shantanu Dave）は、異なるアイデアを提案しています。彼らは、「粘土を押しつぶす」ことをやめて、「時空のシート（spacetime sheets）」について考え始めるべきだと主張しています。

大きなアイデア：動く紙のシート

3Dの塊が形を変える様子を構築する代わりに、著者らは、4次元の世界に浮かぶ平らな3次元のシート上に存在するガウス（Gaussian）（色を持った柔らかく、ぼやけた雲のようなもの）を使用することを提案しています。この4次元の世界は、空間の3次元（上下、左右、前後）と、時間の1次元を持つと考えてください。

このシステムでは、すべての小さな「スプラット（splat）」（色の付いたぼやけた点）は、特定の平らなシートに固定されています。そのシートは平らであり、時空の中に存在するため、非常に特別な性質を持っています。それは、一定の速度で直線的に移動するという性質です。

ここで行われているのは、魔法のようなトリックです：

1. シート： 空中に浮いている一枚の紙を想像してください。この4次元の世界では、その紙はただ静止しているのではなく、時間を通り抜けて滑っています。
2. スライス： 特定の瞬間（例えば午後2時）にシーンを見たいとき、その4Dの世界をその時間で「スライス（切り抜き）」します。
3. 結果： その動いている4Dシートをスライスすると、あなたの3Dビューには完璧に平らな2Dの円盤（サーフェル／surfel）が現れます。時間が進むにつれ、その円盤はシートに従って画面上を一定の速度で滑っていきます。

論文ではこれを**グラスマン・スプラッティング（Grassmannian splatting）**と呼んでいます。これは、単純な概念に凝った名前をつけたものです。つまり、オブジェクトを「時間の中を移動する平らなシート」として定義すれば、その動き方を教える必要はなく、動きはシート自体の幾何学構造の中に組み込まれるのです。

彼らが「ノー」と言っていること

著者らは、自分たちが何をしていないのかについても明確に述べています。

• 変形フィールド（Deformation Fields）は使わない： 彼らは、複雑な「変形フィールド」（各点をどのように歪ませたりねじったりするかを指示する数学的なマップ）を用いるアイデアを明確に拒絶しています。彼らの手法は、曲げたり伸ばしたりすることを学習するのではなく、単に「滑ること」だけを学習します。
• カスタムコードは不要： 彼らは、これを実現するために特殊で複雑なコンピュータコード（カスタムCUDAカーネル）を書く必要はありません。静的な3Dシーンで使用されている標準的な「ラスタライザ（レンダリングエンジン）」を使用し、単に少し異なる種類のデータを入力しているだけです。
• 「ランク4」の塊ではない： 他の手法は「フルランク」の4Dガウス（4Dの卵のようなもので、スライスされると3Dの卵になるもの）を使用します。しかし、著者らは動的なシーンにおいては、4Dの卵ではなく「ランク2」の円盤（平らなパンケーキ）を求めているのだと主張しています。彼らの数学は、彼らの特定の4Dシートをスライスすると、常にこれらの平らなパンケーキが得られることを証明しています。

彼らの自信の根拠

著者らは自身の数学と結果にかなりの自信を持っていますが、主張については慎重です。

• 数学は証明されている： 彼らは、4Dシートをスライスすると、一定の速度で移動する平らな2D円盤が得られることを数学的に証明しました。これは、幾何学と線形代数（具体的には「シューア補集合（Schur complement）」と呼ばれるもの）を用いて証明されました。
• 速度は測定されている： 彼らは17の異なるビデオシーン（MonoDyGauBenchというベンチマーク）でこの手法をテストしました。その結果、彼らの手法は、品質に焦点を当てた競合手法よりも4.9倍から5.6倍速くトレーニングできることがわかりました。彼らは約1,814秒（約30分）でトレーニングできましたが、次点の優れた手法は8,000秒以上かかりました。
• 品質は高いが、完璧ではない： 画像品質（PSNR、MS-SSIM、LPIPSで測定）において、彼らの手法はテストした手法の中で2位に入りました。勝者である4DGSには非常に近い数値でしたが、完全には及びませんでした。
  • 彼らは特定の限界も認めています。彼らの手法は、物体が協調的に回転したり回転したりする場合（回転する扇風機や、側転をする人など）に苦戦します。彼らのシートは直線的に滑ることしかできないため、回転を擬似的に表現するために、何百もの小さく短命なシートを使用しなければなりません。これが、回転系の動きにおいて「変形（deformation）」を用いる手法に勝てなかった理由です。

「秘伝のソース」の詳細

• 「ソフトクランプ（Soft Clamp）」： 数学的に、シートが完全に静止している（時間を通じて動いていない）ときに、計算が破綻してしまう難しい局面があります。著者らは「ソフトクランプ」（数値的なセーフティネット）を追加し、動いているシートと静止しているシートの間をスムーズに橋渡しすることで、コンピュータがクラッシュしないようにしました。
• 「リフト（Lift）」： 彼らの円盤は数学的に完全に平ら（ランク2）であるため、厳密には「特異（singular）」であり、コンピュータにとって扱いが難しいものです。これを解決するために、画像を描画する直前に、目に見えないほど微小な厚み（「ランク・リフト」と呼ばれるもの）を加えています。これにより、見た目の印象を変えることなく、数学的な処理を可能にしています。
• 結果： 17のテストシーンにおいて、彼らの手法はPSNR 25.05 dBを達成しました。これはトップスコアの25.70 dBに非常に近い数値です。彼らはNVIDIA A10Gを使用して1,814秒でトレーニングしましたが、トップの競合相手である4DGSはRTX 3090を使用して10,171秒を要しました。

結論

この論文は、3Dオブジェクトの捉え方を変えること——つまり、3Dオブジェクトを「ぐにゃぐにゃとした塊」ではなく、「時間を通り抜けて滑る平らなシート」として捉えること——によって、動的なシーンのレンダリングをはるかに高速かつシンプルにできることを示唆しています。これは、複雑な変形を学習するという重労働を避けるための、巧妙な幾何学的なショートカットです。あらゆる種類の動き（特に回転するもの）において最高とは言えないものの、速度とシンプルさにおいては大きな勝利であり、「時には、シーンを動かす最善の方法は、数学に滑らせてしまうことである」ということを証明しています。