Affine-Equivariant Kernel Space Encoding for NeRF Editing

技術要約：NeRF編集のためのアフィン等変カーネル空間エンコーディング

問題提起

Neural Radiance Fields (NeRF) は、3Dシーンを連続関数としてエンコードすることで高精度なレンダリングを実現している。しかし、その潜在空間は通常、暗黙的かつグローバルに絡み合っており（globally entangled）、局所的な編集や物理に基づいた操作を困難にしている。既存の解決策は、明示的な制御構造（例：ポイントベースの条件付け、メッシュベースの制御、またはプリミティブベースの表現）を導入することでこれを軽減しようと試みている。これらの手法は手動での編集を可能にする一方で、局所性の制限、変形に対する敏感さ、および視覚的なアーティファクトという課題を抱えている。具体的には、ポイントベースの潜在表現は離散的な空間位置に特徴量を格納しており、これらのポイントが変形すると、局所的な近傍関係が一貫性を失って変化するため、特徴量の補間が不安定になり、視覚的な穴や歪みが生じる。さらに、標準的な位置エンコーディング（マルチレゾリューション・ハッシュグリッドなど）は特徴量をグローバルに絡み合わせるため、局所的な変更が望ましくない形で伝播してしまう。

手法：アフィン等変カーネル空間エンコーディング (EKS)

著者らは、異方性ガウスカーネルを用いて連続的なカーネル空間内にシーンの特徴を表現する空間エンコーディング手法、EKSを提案する。

1. カーネル空間エンコーディング
EKSは、離散的な点やグリッド頂点で潜在特徴量をクエリする代わりに、学習可能な異方性ガウスカーネルの場を通じて特徴量を集約する。各カーネルは、局所的な影響範囲を定義する。

• 表現: シーンは、平均 $\mu_i$ とフル異方性共分散 $\Sigma_i$ を持つガウスカーネルの集合 $\{N(\mu_i, \Sigma_i)\}$ によって表現される。各カーネルには、学習可能な潜在特徴ベクトル $v_i$ が関連付けられている。
• 補間: クエリ点 $x$ に対して、特徴量は $k$ 個の最近傍点から補間される。重み $w_i$ は以下の式で計算される：
  $$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$$
  この定式化により、補間は局所的な幾何学を尊重し、空間変換に対して安定（アフィン等変）することを保証する。これは、変形下で失敗するユークリッド距離ベースのKNNとは異なる。

2. レイ・トレーシングによるガウス近傍探索 (RT-GPS)
マハラノビス距離に基づく最近傍を効率的に見つけるために、著者らはRT-GPSを導入している。

• 探索は、クエリ点が包含される信頼楕円体（信頼パラメータによって定義される）を持つガウス体に限定される。
• これは、クエリ点からレイを飛ばし、楕円体を表す外接する引き伸ばされた二十面体との交差判定を行うことで近似される。
• ソートされたヒットバッファにより、平方マハラノビス距離に基づいた上位 $k$ 個の候補が保持される。

3. ハッシュグリッド特徴蒸留
マルチレゾリューション・ハッシュグリッドの高周波詳細を保持しつつ、推論時にはグリッドフリーの表現を実現するために、EKSは訓練時の特徴蒸留メカニックを採用している。

• 訓練中、ハッシュグリッドのパラメータとガウスの位置は共同で最適化される。
• ガウスの特徴量は、カーネル中心におけるハッシュグリッドエンコーディングからサンプリングされる。
• 推論時、ハッシュグリッドは破棄される。ガウスは学習された特徴ベクトルを保持し、これらは固定される。これにより、ネットワークを再学習することなく、ガウスの位置、回転、スケールを直接操作することが可能になる。

4. 視点方向の復元
変形後の視点依存効果を処理するために、本手法はガウスカーネルの主軸をローカル座標系として活用する。カブシュ（Kabsch）アルゴリズムを用いて、システムはこれらの軸の空間変換を追跡し、変形が発生していないかのように視点依存の特徴を復元する。これにより、表現サイズを大幅に増やすことなく実現できる。

5. 編集とプルーニング

• 編集: ガウスは、標準的なメッシュ変形ツールや物理エンジンによる操作のために、テトラヘドラ（四面体）としてエクスポート可能である（ここで直交する腕は主軸に対応する）。修正されたガウスは、カーネル空間エンコーディングのパラメータへと再変換される。
• プルーニング/高密度化: 本手法は、ガウスの数を制御するための戦略を採用している。新しいガウスは、潜在場との整合性を確保するために（シェーディング情報ではなく）ハッシュグリッドエンコーディングからサンプリングすることで初期化される。使用されていないガウスは、RT-GPSにおける選択頻度に基づいてプルーニングされる。

主な貢献

1. アフィン等変エンコーディング: 異方性ガウスカーネルとマハラノビス距離による補間を用いる新しい位置エンコーディングであり、空間変換下でも安定した特徴構造を維持し、ポイントベースの手法の不安定さを解決する。
2. グリッドフリー推論: マルチレゾリューションの詳細をハッシュグリッドからコンパクトで完全なグリッドフリーのカーネル表現へと転送する特徴蒸留メカニズム。これにより、推論時のグリッドルックアップの計算オーバーヘッドなしに、高精度なレンダリングを可能にする。
3. 直接的な編集可能性: ネットワークを再学習することなく、ガウスカーネルのパラメータを直接介して、直感的かつ局所的なシーン編集や物理ベースの操作（剛体、軟体、布）を可能にするフレームワーク。
4. RT-GPS: レイ・トレーシングと楕円体交差判定を用いた、異方性カーネル空間における効率的な最近傍探索アルゴリズム。

結果

著者らは、NeRF-Synthetic、Mip-NeRF 360、およびカスタムの変形アセットを用いてEKSを評価した。

• 静的再構成: EKSは、非編集型の最先端手法（Instant-NGPなど）に匹敵する再構成品質（PSNR）を達成し、他の編集可能手法とも競争力のある結果を示した。
• 編集性能: 編集されたシーンのベンチマークにおいて、EKSはPSNR、SSism、LPIPSの各指標において、従来の最先端手法（Point-NeRF、NeuralEditor、GaMeSを含む）を上回った。
• 定性的分析: EKSは、ポイントベースの手法で見られる粒状感や穴とは異なり、より滑らかな表面を生成し、微細な詳細をより良く保持する。また、プリミティブが過度にスケールしてしまうGaussian Splattingベースの手法で見られる「ブリーディング」アーティファクトを回避している。
• 物理シミュレーション: 本手法は、落ち葉のシミュレーション、ソフトボディの変形（Lego dozerを押しつぶす）、および布のシミュレーションといった物理エンジンとの統合に成功し、動的な相互作用の間でも高いレンダリング精度を維持した。
• アブレーション研究: 視点方向の復元を取り除くと、編集されたシーンにおいて最大の性能低下が発生した。ユークリッド距離KNNをRT-GPSの代わりに使用すると、ポイントベースのベースラインと同様のアーティファクトが再導入された。特徴蒸留を除去すると、目に見える穴や浮遊構造が現れたが、アーティファクトの希薄さにより、定量的なPSNRへの影響は限定的であった。

意義

本論文は、EKSが物理的にインタラクティブで編集可能なニューラルシーン表現の有望な基礎を提供すると主張している。潜在空間を硬直したグリッド構造やポイントベースの離散化から切り離すことで、EKSはNeRFにおける変換対応エンコーディングの根本的な限界に対処している。この手法は、現代のNeRFの高精度な再構成品質を維持しながら、安定した局所的かつ変形対応の編集を可能にし、高精度かつ直感的な操作が求められるロボット工学、仮想環境、およびコンテンツ制作への応用を促進する。