Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

わずか数枚の写真だけを使って、賑やかな都市の広場や静かな森のような現実世界のシーンの、完璧な三次元モデルを構築することを想像してみてください。長年、科学者たちは、これらのモデルをリアルに見せつつ、コンピュータ上で素早く読み込めるほど小さく保つことに苦心してきました。目標は、画像がぼやけたりコンピュータの動作が極端に遅くなったりすることなく、あらゆる角度から眺めることができるデジタルツインを作成することです。「3D Gaussian Splatting」と呼ばれる最近の画期的な技術は、シーンをソリッドなメッシュとしてではなく、何百万もの小さな、ぼやけた楕円体の雲として表現することで、状況を一変させました。これらの楕円体を、重なり合って最終的な絵を形成する、柔らかく光る色の雲だと考えてください。この手法は、見事な画像を瞬時に生成しますが、これらの雲をどのように配置するかをコンピュータに教えるプロセスは、しばしば遅く、無駄が多いものです。コンピュータは、すでに画像が鮮明な場所に雲を作りすぎてしまい、ディテールが欠けている場所には不十分になりがちで、その結果、モデルが肥大化し、学習に時間がかかるようになります。

成都理工大学と深圳センシング・データ・テクノロジー社の研究者たちは、より速く、より効率的な、これらのモデルを訓練するための新しい方法を提案しました。彼らのアプローチは、主に3つの改善点に焦点を当てています。それは、コンピュータが不要な雲を作らせないこと、役に立たない雲を取り除くこと、そして舞台裏の計算を高速化することです。画像がわずかにぼやけているたびに盲目的に雲を追加する代わりに、彼らの新しい手法は、一定期間にわたる画像内の実際の誤差に着目します。もし特定の領域の画像が数ラウンドにわたってうまく再構成されているならば、システムはその場所に雲を追加することを止めるべきだと判断します。新しい雲が形成されるのは、依然として正しく見せるのに苦戦している場所に限られます。これにより、モデルが、単に速度を低下させるだけで何の役にも立たない冗長なパーツで散らかるのを防ぐことができます。

モデルに新しい雲が追加された後、研究者たちはその散らかりを片付ける方法も導入しました。彼らは、目に見えないほど薄すぎる雲、あるいは役に立たないほど揺れ動いている雲を特定するためのテストを開発しました。これらの不安定または目に見えない雲は刈り取られ、より引き締まった、より効果的な形状だけが残されます。プロセス全体をさらに迅速にするために、チームは、重労働を担う基礎となるコンピュータコードを書き換えました。データの整理方法を変えることで、コンピュータのグラフィックスプロセッサがよりスムーズに読み取れるようにし、画像がどのように変化すべきかを計算する時間を短縮しました。これは、司書が本棚の上の本を整理して、利用者が次の本を取る際に部屋の反対側まで歩いて戻ってくることなく手に取れるようにするのに似ています。本自体は同じですが、それらに到達するための経路がより短くなっているのです。

この研究の結果は極めて重要です。庭園の中の自転車や寺院の中の戦車といった複雑なデータセットを用いてテストした際、新しい手法は、従来の技術と比較して総学習時間を大幅に短縮しました。ある自転車のシーンを用いた特定のテストでは、学習時間は224秒以上からわずか190秒へと減少し、シーンを構築するために使用された雲の最終的な数も、94万7,000個以上から約57万個へと、ほぼ半分に削減されました。より少ない雲を使用し、より早く終了したにもかかわらず、最終的な画像の品質は高く維持され、視覚的な鮮明さと色の正確さは、元の遅い手法と非常に近い状態を保っていました。研究者たちは、詳細をいつ追加し、いつ削除するかについてより賢明に対処することで、これらのシーンを魅力的なものにしている視覚的な忠実度を犠牲にすることなく、コンパクトで高品質な3Dモデルを作成できることを発見しました。このことは、デジタル世界の創造の未来が、単にデータを増やすことではなく、より高い精度でそれを管理することにある可能性を示唆しています。