技術要約：高品質な3D再構成のための畳み込みニューラルシェーディング（Convolutional Neural Shading）

問題提起

マルチビュー3D再構成は、映画やゲームなどの産業において極めて重要であるが、従来の手法は多大な手作業に依存するか、ステレオマッチングにおける誤差の蓄積による幾何学的アーティファクトに悩まされることが多い。近年のNeural Radiance Fields (NeRF) やニューラル微分可能レンダリングの進展により、3D幾何学の学習は向上している。しかし、これらの手法は通常、多層パーセプトロン（MLP）によって処理される単一点の幾何学的情報（例：表面の位置、法線、および視線方向）に依存している。

この単一点データへの依存は、主に以下の3つの制限をもたらす：

1. 局所的な詳細の欠如： 隣接する点間の相関関係を学習できないため、再構成されたメッシュは微細な局所幾列が不足する。
2. 暗部およびテクスチャレス領域での失敗： これらの手法は、物体固有の暗さと影を区別することが困難であり、テクスチャのない領域において不正確な幾何学をもたらす。
3. 境界の不連続性： 画像の境界における3D幾何学と色の間の不正確なマッピングが、表面の不連続性を引き起こす。

これらの問題は、連続的な入力に対して離散的な値を表現しようとするMLPベースの技術に内在する限界に起因しており、周囲のコンテキストを効果的に反映することを妨げている。

手法：畳み込みニューラルシェーディング（CNS）

著者らは、マルチビュー画像から高品質な3D形状を再構成するために設計された新しいパイプラインであるConvolutional Neural Shading (CNS) を提案している。多くの最先端手法で使用されている暗黙的な表面表現（SDFや密度場）とは異なり、CNSはニューラルシェーディングネットワークと共同で最適化されるメッシュ表現を利用する。このパイプラインは、主に3つのコンポーネントで構成される：

1. 微分可能ラスタライゼーション

プロセスは、初期の粗いメッシュ（プリミティブまたはShape-from-Silhouetteから派生）から始まる。このメッシュは、微分可能ラスタライザを使用して2D画像空間に投影され、重心座標補間された位置と表面法線を取得する。

2. 細部ディスプレイスメント・ネットワーク（Fine-Detail Displacement Network）

粗いメッシュの投影による不正確さを解決するために、細部ディスプレイスメント・ネットワーク（$f_\phi$）が導入される。このネットワークは、粗い入力を基に、位置と表面法線の変位（$\Delta p, \Delta n$）を予測することで高周波の詳細を学習する：
$$p_{fine} = p + \Delta p, \quad n_{fine} = \frac{n + \Delta n}{|n + \Delta n|}$$
このステップにより、粗いメッシュが微細な構造を捉えきれない領域においても、ニューラルシェーダーが精密な幾何学的情報を受け取れるようにする。

3. 畳み込みニューラルシェーダー

核心となる革新は、畳み込みニューラルシェーダー（$f_\theta$）である。単一点のMLPを使用する代わりに、このモジュールは空間情報を相関させるために畳み込み層を採用している。これは、細部ディスプレイスメント後の位置（$p_{fine}$）、表面法線（$n_{fine}$）、および視線方向（$v$）を入力として受け取る。

• 位置エンコーディング： 高周波の詳細を捉えるために、低次元の入力を正弦関数を用いて高次元空間にマッピングする。
• 空間的相関： 畳み込み層を利用することで、シェーダーは局所的な変化とコンテキストを学習し、隣接する幾何学と整合性のあるピクセルごとの色（$c$）を予測できる。これは、単一点の情報が曖昧になりやすい暗部やテクスチャレス領域において特に効果的である。
• シェーディングの分解： シェーダーは拡散（diffuse）ネットワークと鏡面反射（specular）ネットワークに分割される。拡散ネットワークは位置から色を予測し、鏡面反射ネットワークは視線方向と拡散ネットワークからの特徴を取り入れる。

最適化と損失関数

システムは、メッシュ幾何学（$G$）とネットワークパラメータ（$\theta, \phi$）を、総損失関数（$L_{total}$）を用いて共同で最適化する：
$$L_{total} = L_{mesh}(G) + \lambda_{img}L_{img}(G, \theta, \phi; I, M)$$

• メッシュベースの損失（$L_{mesh}$）： メッシュの滑らかさを確保するためのラプラシアン損失と、幾何学的安定性を確保するための法線一貫性損失を含む。
• 画像ベースの損失（$L_{img}$）： RGB損失（L1距離）、マスク損失（シルエットの一貫性のためのL2距離）、SSIM損失（構造的類似性）、およびLPIPS損失（知覚的類似性）で構成される。

主な貢献

1. 畳み込みニューラルシェーダー： 単一点のMLPを畳み込み層に置き換え、空間的相関を捉えることで、幾何学予測（特に暗部やテクスチャレス領域）を大幅に改善する新しいアプローチ。
2. 細部ディスプレイスメント・ネットワーク： レンダリング座標における変位を学習することで頂点位置と法線を精緻化し、画像境界における表面の不規則性を軽減するメカニズム。
3. メッシュベースのパイプライン： 微細な詳細を保持しながら、暗黙的なニューラル関数の学習に伴う計算コストを削減する、明示的なメッシュ表現を活用した効率的なパイプライン。
4. 最先端の性能： 既存の暗黙的およびメッシュベースの手法と比較して、複雑な形状の再構成や困難な条件（暗い物体、疎な視点）において優れた性能を示す。

実験結果

著者らは、DTU、BlendedMVS、THuman、および独自にキャプチャしたデータセットを用いてCNSを評価した。

• 定量的性能： DTUデータセットにおいて、CNSは最小の平均Chamfer距離（0.49 $\times 10^{-3}$）を達成し、Neuralangelo (0.61)、NeuralUDF (0.75)、およびNeuS (0.84) を上回った。アブレーション研究では、畳み込みシェーダーを除去するとChamfer距離が1.42に増加し、その決定的な役割が浮き彫りになった。
• 暗い物体およびテクスチャレスな物体： THumanデータセット（暗い衣服のスキャン）において、CNSは0.41のChamfer距離を達成し、Neuralangelo (0.72) や IDR (1.29) よりも大幅に優れた結果を示した。定性的結果では、他の手法が失敗したり表面が過度に滑らかになったりする中で、CNSは暗いシワや顔の特徴を正常に再構成していることが示された。
• 疎な視点による再構成： わずか8つの視点を使用した場合でも、CNSは高い忠実度を維持した。一方、Neefのような手法は、体積サンプリングへの依存により、正確な表面と色の収束に苦戦した。
• アブレーション研究： 畳み込みシェーディング層とディスプレイスメント・ネットワークの両方が不可欠であることが確認された。ディスプレイスメント・ネットワーク単体ではPSNRが22.68から29.19に向上したが、フルモデルのCNSは34.29 PSNRに達した。
• メッシュ vs 暗黙的入力： メッシュ入力と暗黙的なSDF入力（NeuSスタイル）を比較したアブレーションでは、メッシュ入力の方が精度が高い（PSNR 27.35 vs 25.82）ことが示された。これは、明示的な法線情報と効果的な幾何学的手がかりの伝播によるものである。

意義と主張

本論文は、ニューラルレンダリングにおける単一点情報の根本的な限界に対処することで、CNSがマルチビュー3D再構成における重要な進歩を象徴していると主張している。空間的相関を畳み込み層を通じて活用し、ディスプレイスメント・ネットワークによって幾何学を精緻化することで、以下の達成を実現している：

• 高忠実度の表面： シワや鋭いエッジを含む微細な詳細の正確な再構成。
• 堅牢性： 暗い物体やテクスチャレスな物体、疎な視点入力といった困難なシナリオにおける優れた性能。
• 境界の一貫性： 画像境界における表面の不連続性の緩和。

著者らは、CNSは有界なシーンにおいては現在の最先端手法を凌駕しているものの、現在は有界な再構成空間を前提としており、無界なシーンや激しい遮蔽には苦慮していると述べており、可視性モデリングや階層的な空間推論に関する今後の課題を示唆している。