Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

問題提起
微分可能レンダリングは、3D再構成および新規視点合成の要となっているが、最先端の手法は主に非メッシュ表現（例：ニューラルラディアンスフィールド、3D Gaussian Splatting）や特殊な微分可能レンダラーに依存している。3Dサーフェスメッシュは、ポータビリティ、ハードウェア加速、およびダウンストリームのグラフィックスワークフローにおいて業界標準であるが、既存の微分可能メッシュレンダリング技術は、主にオブジェクト中心のシーンに限定されている。それらは前景・背景のマスクを必要としたり、境界のない実世界の環境に苦戦したりすることが多く、通常、標準的なラスタライザの非微分性を扱うために、カスタムCUDA実装や確率的勾配推定に依存している。その結果、実世界のシーンに対してフォトリアルな結果を達成しつつ、従来のグラフィックスツールを用いてメッシュ表現を直接最適化できる手法は、現時点では存在しない。

手法：Meshtryoshka
著者らは、オフザシェルフの非微分的な三角形ラスタライザを用いて、境界のない実世界のシーンの3Dメッシュ表現を最適化する微分可能レンダリングフレームワークであるMeshtryoshkaを提案する。核心となる革新は、頂点位置の最適化とラスタライゼーションのプロセスを切り離したことにある。

1. シーンのパラメータ化とメッシュ抽出：
   シーンは、符号付き距離関数（SDF）の値と、視点依存の色（view-dependent color）のための球面調和関数係数の疎なグリッドによって表現される。各最適化ステップにおいて、本手法は微分可能なMarching Cubesアルゴリズムを用いて、SDFから複数のレベルセット（等値面）を抽出する。これにより、入れ子状で互いに交差しない三角形メッシュのシェルからなる「マトリョーシカ」が生成される。これらのシェル内の各頂点には、Marching Cubesのプロセスから導出された補間重みを通じて、符号付き距離値と球面調和関数の係数が割り当てられる。

2. 非微分可能ラスタライゼーションと遅延レンダリング：
   カスタムの微分可能レイトレーサーを実装する代わりに、本手法は各メッシュシェルを標準的な非微分的ラスタライザを用いて独立してラスタライズする。ラスタライザは、ピクセルごとの三角形IDと重心座標を出力する。これらは、画像空間における頂点ごとのSDF値と球面調和関数の微分可能な補間を行うために使用され、事実上のフラグメントシェーダーとして機能する。
   ボリュームレンダリングを近似するために、本手法は各シェルに特定の透過率（$T_i$）を割り当てる。最も内側のシェルは、ほぼゼロの透過率（不透明）に設定され、後続のシェルをすべて遮蔽することを保証する。最終的な画像は、レンダリングされたシェルをアルファ合成することで構築される。勾配は、アルファ合成プロセスと補間ステップを経由してレンダリング誤差から逆伝播し、基礎となるSDFとカラーパラメータを間接的に更新することで、メッシュジオメトリを最適化する。

3. 境界のないシーンへのスケーラビリティ：
   実世界の境界のないシーンを扱うため、著者らは以下の戦略を採用している。

• スパース性： 疎なMarching Cubes実装を使用し、アクティブなボクセルとヘルパーボクセルに対してのみパラメータを格納することで、高密度グリッドと比較してメモリ使用量を劇的に削減している。
• 粗から密への最適化（Coarse-to-Fine Optimization）： グリッドは低解像度で初期化され、段階的に細分化されることで、空の空間を刈り取り、必要な箇所のみジオメトリを精緻化する。
• 非立方体グリッド： シーンは前景（軸に整列した立方体）と背景に分割される。背景は、指数関数的にスケールされた頂点を持つ6つの切断錐台を用いてモデル化される。これにより、Marching Cubesに適したボクセルのアスペクト比を維持しつつ、遠方の領域にはパラメータを少なく配置するという効率的なリソース配分が可能になる。

4. 正則化：
   最適化を安定させるため、本手法は（チェッカーボードアーティファクトを引き起こす可能性のあるEikonal損失ではなく）SDF値に対するラプラシアン平滑化損失と、未観測領域におけるスパース性を促すL1ペナルティを採用している。さらに、モデルが特定の視点に適合するためにジオメトリを「欺く」ことを防ぐため、非DC成分の球面調和関数の学習率を下げている。

主な貢献

• 新しいフレームワーク： Meshtryoshkaは、前景マスクを必要とせずに、境界のない実世界の3Dシーンを再構成できる初の微分可能メッシュレンダリング手法である。
• 標準ツールとの互換性： 本手法は、カスタムの微分可能レンダラーや確率的勾配推定器を必要とせず、オフザシェルフの非微分的ラスタライザを使用して高品質な微分可能レンダリングが可能であることを示している。
• 高性能な実装： 著者らは、疎なMarching Cubesアルゴリズムや、同時に1億個以上の三角形をレンダリング可能なソフトウェア三角形ラスタライザを含む、最適化されたグラフィックスアルゴリズムの実装を提供している。
• 直接的なメッシュ最適化： ボリューム表現から事後的にメッシュを抽出する手法とは異なり、Meshtryoshkaはメッシュ表現を直接最適化するため、最適化段階の品質が最終的なメッシュレンダリングの品質と一致することを保証する。

結果
本手法は、NeRF-Synthetic（オブジェクト中心）およびMip-NeRF 360（実世界）のデータセットで評価された。

• オブジェクト中心のシーン： NeRF-Syntheticにおいて、MeshtryoshkaはNeuS2のような最先端の微分可能サーフェスレンダリング手法と同等の性能を示し、可視性マスクを必要としない点で従来のメッシュベースの手法（DMTet/FlexiCubesを用いたnvdiffrec）を上回った。
• 実世界のシーン： Mip-NeRF 360において、本手法は自転車のスポークや木の葉などの微細なディテールを捉え、高品質で挑戦的な境界のないシーンの再構成に成功した。定量的指標（PSNR）ではZip-NeRFや3D Gaussian Splattingといったトップティアの非メッシュ手法にわずかに及ばないものの、これらの設定で一貫した再構成を行うことができなかった従来のメッシュベースのアプローチを大幅に上回っている。
• アブレーション研究： 実験により、高品質な結果を得るためには、指数関数的な頂点配置、スパース性、正則化、および複数のシェルの使用が不可欠であることが確認された。

意義と主張
本論文は、Meshtryoshkaが微分可能レンダリングへの新たな道を示唆していると論じている。すなわち、特殊な微分可能レンダラーや非メッシュプリミティブに頼るのではなく、従来のコンピュータグラフィックスのレンダリングスタック（標準的なラスタライザとメッシュ表現）に完全に依存することで、競争力のある3D再構成と新規視点合成を実現できる可能性があるということである。著者らは、自らの研究がメッシュのポータビリティと現代的な微分可能レンダリングの性能との間の溝を埋め、実世界のシーンに対してメッシュを直接最適化することを可能にすると主張している。ただし、著者らは限界についても謙虚であり、現在の手法はプリミティブベースのアプローチよりも多くの三角形を生成すること、訓練時間が高速なNeRF/Gaussian手法よりも遅いこと、そして観測が乏しい領域で時として「フローター（浮遊物）」のアーティファクトが発生することを認めている。