技術要約：Coresetを用いた効率的な3D Gaussian Splattingのための証明可能なプルーニング

問題提起

3D Gaussian Splatting (3DGS) は、高品質な新規視点合成を実現する、リアルタイム性に優れた表現手法として確立されている。しかし、高品質な再構成には通常、数百万個のGaussianを必要とし、これがメモリ、ストレージ、帯域幅、および実行時のコストを増大させ、リソース制限のあるハードウェアへのデプロイを妨げている。既存のプルーニングおよび圧縮手法は存在するものの、主に以下の2つの制限に直面している：

1. 理論的保証の欠如： 現在のアプローチは主にヒューリスティックであり、レンダリングされた目的関数に対する証明可能な乗法的近似保証を提供しない。
2. 高コストなリカバリへの依存： 理論的保証がないため、これらの手法は多くの場合、レンダリング品質を回復させるための高コストなプルーニング後の微調整（fine-tuning）段階に依存しており、これは計算リソースが限られたデプロイメントシナリオでは実行不可能である。

本研究が取り組む中心的な問いは、フルサイズの3DGSシーンが、ターゲットとなるレンダリング目的関数を保持する、より小さな加重部分集合（コアセット）によって、果たして証明可能な形で置き換え可能か、そしてそのような保証が可能となる条件は何か、という点である。

手法

本論文は、3DGSのプルーニングを、規定されたクエリ・ファミリーに対して目的関数を近似する、小さな加重部分集合である「コアセット（coreset）」の観点からアプローチしている。その手法は、理論的な不可能性の結果、特定の制約下での構成的アルゴリズム、および実証的検証によって構成されている。

1. 理論的基礎

• 無制限の設定における不可能性： 著者らはまず、無制限の3DGSレンダリングに対して、非自明な乗法的コアセットは存在しないことを証明した。クエリ・ファミリーが個々のGaussianを孤立させるほど豊かである場合（例：単一のGaussianを単独で見る場合）、すべてのGaussianが不可欠となる。いかなる単一のGaussianの削除も、その特定のクエリに対して100%の相対誤差をもたらす。
• 解像度に依存した保証： 本論文は、クエリ・ファミリーをターゲットとなるレンダリング解像度（例：ビューのグリッド、特定のレイ、またはピクセル）によって誘導される有限の代表的クエリに制限する場合、証明可能なプルーニングが可能になることを確立している。
• 固定目的関数への緩和： 前後方向のコンポジット（透過率）によるGaussian間の結合を扱うために、著者らは「固定目的関数」緩和（$A^{\text{th}}_w$）を導入している。この緩和において、各Gaussianの寄与はフルシーンの透過率に基づいて凍結され、項をデカップリング（分離）することで、標準的なコアセット解析を可能にする。

2. 感度ベースのコアセット構築

コアとなるアルゴリズムは、**感度サンプリング（sensitivity sampling）**を通じて、加重されたプルーニング済みシーンを構築する：

1. 感度スコアの計算： 各Gaussian $g_i$ について、代表的クエリ $Q'$ 全体にわたる最大相対寄与として感度スコア $s(g_i)$ を計算する：
   $$s(g_i) = \max_{q \in Q'} \frac{a(G, g_i, q)}{A(G, q)}$$
   ここで、$a(G, g_i, q)$ は当該Gaussianの寄与であり、$A(G, q)$ は全シーンのレンダリングである。
2. サンプリング： Gaussianは、その感度スコアに比例する確率（$p(g_i) = s(g_i) / \sum s(g_j)$）で独立同一に（i.i.d.）サンプリングされる。
3. 重み付け： 推定量が固定目的関数緩和に対して不偏となるよう、サンプリングされたGaussianにはサンプリング確率に反比例する重みが割り当てられる。
4. 理論的転移： 妥当性（重みが負の透過率を引き起こさないこと）および対数透過率の安定性（プルーニングが遮蔽構造を劇的に変化させないこと）という明示的な仮定の下で、固定目的関数のコアセット保証は、真のレンダリング目的関数へと転移される。

3. 連続領域への拡張

本フレームワークは、Lipschitz連続性を用いて、有限のクエリ集合からカメラポーズおよびピクセルのコンパクトな領域へと拡張される。レンダリング目的関数が領域内で滑らかに変化し、その領域が代表的クエリの $\rho$-ネットによって覆われている場合、コアセットの保証は、カバー半径に比例する誤差項を伴って、領域全体へと拡張される。

主な貢献

1. 不可能性の証明： 無制限の3DGSレンダリングにおいて非自明な乗法的コアセットは不可能であることを形式的に証明し、クエリ・ファミリーを制限する必要性を確立した。
2. 証明可能なプルーニングアルゴリズム： 有限の代表的クエリの下での、初の加重コアセット構築定理。得られる部分集合のサイズは、代表的クエリの数に対して対数的にスケールする。
3. レンダリング保証の転移： 妥当性と対数透過率の安定性の仮定の下で、固定目的関数のコアセット保証を真のレンダリング目的関数へと転移させる理論的フレームワーク。
4. オープンソース実装： 感度計算、コアセット構築、および評価のための完全なパイプラインを公開。

実験結果

本手法は、Mip-NeRF 360、Tanks & Temples、およびDeep Blendingデータセットの13のシーンで評価された。実験は低計算量レジームに焦点を当てた：

• プルーニングのみの評価： 本手法は、プルーニング後の最適化をゼロとした状態でテストされた。
• 短期間のリカバリ： 微調整の予算は10〜200イテレーションに制限された。

知見：

• 優れたプルーニングのみの性能： 積極的なプルーニング比率（Gaussianをわずか1%から10%のみ保持）において、提案手法は、微調整なしでPSNR、SSIM、LPIPSの指標において、競合するヒューリスティック（GHAP、PUP、Trimming the Fat、および一様サンプリング）を大幅に上回った。
• 短期間リカバリへの堅牢性： 最小限の微調整が行われるレジームにおいても、本手法は競合手法に対して明確な優位性を維持した。この差は、リカバリ計算が最も制限される高プルーニング比率において最も顕著であった。
• アブレーション研究： 「シーンレベル」で感度を集約する（すべてのビュー、ピクセル、およびチャンネルにわたって寄与を累積する）バリアントが最も高い性能を示した。これは、集約された重要度信号が、チャンネル別やピクセル別の指標よりも、プルーニングのためのより安定した初期化を提供することを示唆している。

意義と主張

本論文は、原理に基づいた重要度推定が、理論的に意味があるだけでなく、実用的に有用であることを主張している。その主な意義は以下の通りである：

• 理論的明晰さ： 何が理論的に不可能（無制限のコアセット）であり、何が可能（解像度依存のコアセット）であるかの境界を明確にし、3DGS圧縮のための厳密な基礎を提供した。
• 制約された環境における実用的有用性： 本手法は、コストのかかるプーニング後のリカバリが実行不可能なシナリオ向けに特別に設計されている。高品質な部分集合をプルーニング直後に提供することで、広範な再学習に頼ることなく、限られたハードウェアへの3DGSのデプロイを可能にする。
• バニラ互換性： 特殊なランタイムやデコーディングを必要とする他の圧縮手法とは異なり、本アプローチは既存のレンダリングパイプラインと互換性のある、より小さな標準的な3DGSシーンを出力する。

著者らは、彼らの保証は（連続的なレンダリングではなく）構造化されたレジーム（有限の代表的クエリおよびコンパクトな領域）に適用されるものの、この定式化は、有限のビューセットや特定のデバイス制約に基づいてモデルが評価されるという実用的なデプロイメントのニーズに合致していると結論付けている。