Smol-GS: 3D ガウススプラッティングのためのコンパクトな表現の学習

技術的サマリー（日本語）

1. 背景と課題

3D ガウススプラッティング（3DGS）は、リアルタイムな新規ビュー合成と高品質なレンダリングを実現するパラダイムとして注目されています。しかし、複雑なシーンを表現するために数百万個のスプラット（ガウス粒子）が必要となるため、メモリ使用量とストレージ容量が非常に大きいという重大な課題を抱えています。

既存の圧縮手法には主に 2 つのアプローチがあります：

1. 信号処理アプローチ: スプラット属性の量子化による圧縮。
2. 学習ベースアプローチ: スプラット間での構造共有（アンカー - オフセット階層など）による圧縮。

しかし、これらの手法には以下の限界がありました：

• 信号処理系は、スプラット間の局所的な空間相関や反復パターンを十分に活用できていない。
• アンカー - オフセット方式は、透明なオフセットや追加のヒューリスティックを導入し、座標の圧縮を避ける傾向がある（空間誤差が再構築品質に敏感なため）。
• 座標データの効率的な圧縮が未解決のまま残っている。

2. 提案手法：Smol-GS

著者らは、**「空間構造を明示的かつ効率的にパックし、スプラットごとの視覚的特徴（色、形状、材質など）を抽象化して表現する」**という考えに基づき、Smol-GS を提案しました。この手法は、座標と特徴の両方を圧縮し、モデルサイズを劇的に削減しながら高品質なレンダリングを維持します。

主要な技術的要素

(1) 座標圧縮：占有オクトリー符号化 (Coordinate Compression)

• オクトリー構造: 3D 空間内のスプラットの占有状況を再帰的に分割するオクトリー構造を使用します。
• 量子化: 各スプラットの座標を、オクトリーの最細レベルのボックスの中心に量子化します（16 ビット量子化でも知覚的な品質低下はほとんどないことを実証）。
• エンコーディング: 空でないノードのみを記録する 8 ビットの占有バイト列を生成し、ハフマン符号化などのエントロピー符号化を適用して座標データを損失なく（グリッド内では）圧縮します。
• 効果: アンカー - オフセットのオーバーヘッドを排除し、座標データを極めてコンパクトに保存します。

(2) 位置符号化：オクトリー派生 (Octree-derived Positional Encoding)

• 各スプラットは、対応する最細レベルのオクトリーセルから導出された一意の識別子（位置エンコーディング $f_{oct}$）を持ちます。
• これは Morton コード（Z 順序インデックス）のバイナリデータとして表現され、スプラットの空間的な位置関係をニューラルネットワークに明示的に伝達します。
• これにより、スプラットごとの特徴学習の効率と構造的整合性が向上します。

(3) ニューラルガウススプラットと微小デコーダ

• 各スプラットは、低次元の抽象特徴ベクトル $f$（8 次元など）とスケーリング制御子 $s$ を持ちます。
• 色、不透明度、回転、スケーリングなどの視覚属性は、**微小な MLP（Multi-Layer Perceptron）**によって、抽象特徴 $f$、視線方向、位置エンコーディング $f_{oct}$ から再構築されます。
• これにより、高次元の球面調和関数（SH）や個別の属性を直接保存する代わりに、学習された抽象的な「スプラットごとの特徴」のみを保存すればよくなります。

(4) 特徴圧縮：算術符号化 (Feature Compression)

• 抽象特徴 $f$ とスケーリング制御子 $s$ は、ハッシュグリッド支援の算術符号化（HAC）を用いて圧縮されます。
• 空間ハッシュ記述子に基づいて分布を予測し、学習されたステップサイズで量子化された特徴をガウス分布の事前分布としてモデル化します。
• 負の対数尤度（NLL）をレート損失として使用し、トレーニング中に符号化に必要なビット数を最小化します。

(5) 適応的密度制御とトレーニングパイプライン

• 5 段階のトレーニング:
  1. ウォームアップ（初期化）
  2. 増殖（Densification）：勾配に基づいてスプラットを増やす。
  3. 圧縮（Compaction）：不透明度正則化と剪定によりスプラット数を削減。
  4. 特徴圧縮：特徴とスケーリング制御子の量子化と符号化。
  5. 座標圧縮：オクトリー符号化の適用。
• この段階的なアプローチにより、再構築の忠実度とモデルサイズのバランスを最適化します。

3. 主要な貢献

1. Smol-GS の提案: 3DGS 用の新しいニューラルスプラットモデル。高圧縮な抽象特徴と軽量 MLP を用いたシンプルかつ効果的な戦略。
2. オクトリー派生位置符号化: 空間分割から導出された位置エンコーディングにより、ニューラルスプラットの表現効率を向上。
3. 座標の明示的圧縮: アンカー - オフセット方式を廃止し、オクトリーとエントロピー符号化を用いて座標データを効率的に圧縮。
4. SOTA 性能: 標準ベンチマークにおいて、既存の最先进手法よりもはるかに小さなモデルサイズで同等以上のレンダリング品質を達成。

4. 実験結果

• データセット: Mip-NeRF 360, Tanks and Temples, Deep Blending。
• 圧縮率: Vanilla 3DGS（30K スプラット）と比較して、約 150 倍の圧縮率を達成（例：Mip-NeRF 360 で 734MB → 約 4.87MB）。
• 品質:
  • PSNR: 27.61 dB (Mip-NeRF 360 平均) を達成。
  • 視覚的品質: 鋭い影の境界、鏡面反射、ガラス、平坦な壁などの詳細を維持。3DGS-30K と同等かそれ以上の視覚的忠実度。
  • アーティファクト: Vanilla 3DGS に比べてアーティファクトが少なく、学習された抽象表現が異なる表面の光学特性や材質の手がかりを適応的に学習していることが示唆されます。
• 処理速度:
  • トレーニング: 1 シーンあたり約 26.58 分（35k イテレーション）。
  • レンダリング: 平均 241.3 fps（Mip-NeRF 360 で 210 fps）。
  • エンコード/デコード: 高速（数秒程度）であり、実用的なストレージや伝送シナリオに適しています。

5. 意義と結論

Smol-GS は、3D ガウススプラッティングの**「メモリフットプリント」というボトルネックを根本的に解決**する画期的な手法です。

• 効率性: 座標と視覚属性の両方を効率的に圧縮し、リソース制約のある環境（VR、モバイル、ストリーミング）での 3D シーンの展開を可能にします。
• 柔軟性: 座標を明示的に保持しつつ、視覚的特徴を抽象化しているため、3D 編集や他の学習モダリティとの統合（トークンとしての利用）など、下流タスクへの親和性が高いです。
• 将来展望: 離散化されたスプラット特徴を 3D 情報トークンとして扱い、言語モデルや他の生成モデルとの組み合わせによる新しい応用が期待されます。

要約すると、Smol-GS は「空間構造は明示的かつ圧縮し、視覚情報は抽象化して学習する」という設計思想により、3DGS の実用化を大きく前進させた画期的な研究です。