技術サマリー: NeuMesh++

問題提起

ニューラル・インプリシット・レンダリング（NeRFなど）は、高品質な新規視点合成や3Dシーン再構成において大きな成功を収めていますが、3Dモデリングや編集のワークフローにおいては課題が残っています。既存の編集可能なニューラルレンダリング手法は、剛体変換やカテゴリ特化型の操作に限定されています。これらは、非剛体ジオメトリ変形、きめ細かなテクスチャ編集（スワップ、塗りつぶし、ペイント）、およびセマンティック操作を好むアーティストが求める精度と柔軟性に欠けています。さらに、既存の手法はきめ細かな編集のために広範な手動アノテーションを必要とする場合が多く、単純なメッシュ頂点の補間を用いる際に、局所的な空間的識別性（例：メッシュ面の内部と外部の点の区別）に苦慮することがあります。

手法

著者らは、ニューラル・インプリシット・フィールドをメッシュの足場（スキャフォールド）上にエンコードする、新しいメッシュベースのニューラル放射輝度表現である**NeuMesh++**を提案します。このアプローチは、ボリューム型のニューラルレンダリングと、従来のメッシュベースのモデリングとの間の溝を埋めるものです。

コア表現

シーンは、一連の局所的で頂点に拘束された放射輝度場に分解されます。メッシュ・スキャフォールド上の各頂点 $v$ は、4つの異なる学習可能なパラメータを保持します：

1. ジオメトリ・コード ($l_g$): 局所的なジオメトリをエンコード。
2. テクスチャ・コード ($l_t$): 局所的な外観をエンコード。
3. セマンティック・コード ($l_s$): セマンティック属性をエンコード。
4. 修正カラー ($c_m$): テクスチャ編集の忠実度を高めるための、視点に依存しないデコーダーフリーのカラー属性。

レンダリング・パイプライン

カメラレイに沿ったクエリ点 $x$ に対して：

1. ローカル空間パラメータ化: システムは、$K$ 個の最近傍メッシュ頂点を特定します。グローバル座標を使用する代わりに、システムは $x$ を各隣接頂点の法線上に投影して、ローカル指標 $h_k = (p_k, w_k)$ を計算します。ここで、$p_k$ は投影距離、$w_k$ は正規化された逆距離です。これにより、符号付き距離関数（SDF）を必要とせずに、空間的識別性（内側/外側の問題）に対処します。
2. デコーディング: ジオメトリおよびラディアンス・デコーダー ($F_G, F_R$) は、ローカル・コードと指標を入力として受け取り、各隣接頂点の密度 $\sigma_k$ とカラー $c_k$ を予測します。最終的なカラーには修正カラーが含まれます：$c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$。
3. ポスト補間: 空間補間戦略を用いて、隣接する頂点の寄与を融合し、点 $x$ における最終的な密度 $\sigma$ とカラー $c$ を取得します。これにより、メッシュのトポロジー（非水密メッシュを含む）に依存しない「局所的な放射輝度場」が各頂点の周囲に作成されます。

編集機能

表現の分離された性質により、以下の編集機能が可能になります：

• メッシュ誘導型ジオメトリ編集: 放射輝度場がメッシュに整合しているため、メッシュ頂点の変形（ARAPや物理シミュレーションなどによる）を行うことで、再学習なしにレンダリングされるオブジェクトを直接変形できます。
• テクスチャ・スワッピング: Umeyama法およびARAPを用いてソースとターゲットのメッシュを整合させることで、テクスチャ・コードと修正カラーを、ユークリッド距離に基づいて頂点間で転送します。
• テクスチャ・フィリング: UV空間におけるタイルベースのアプローチを使用し、事前にキャプチャされたモデルからのテンプレート・テクスチャをターゲット領域に繰り返し適用します。
• テクスチャ・ペインティング: ユーザーは2Dビュー上でペイントを行います。空間認識型最適化戦略が、プロービング・レイを介して影響を受ける修正カラーを特定し、それらの特定のカラーのみを微調整します。これにより、単一の視点への過学習を防ぎ、視点依存の効果を維持します。
• セマンティック誘導型編集: セマンティック・コードは、2Dのオープンボキャブラリー・セグメンテーション（DINO、SAMなど）から蒸留されます。伝播メカニックにより、ユーザーの2Dクリックを3Dセマンティック・マスクへと転送し、シングルクリックによる領域選択と編集を可能にします。

主な貢献

1. 新しいメッシュベースの表現: 分離されたジオメトリ、テクスチャ、およびセマンティック・コードを持つ、メッシュ頂点上にエンコードされたニューラル放射輝度場であり、メッシュベースのワークフローとのシームレスな統合を可能にします。
2. 安定性と忠実度のための技術的強化:
   • ローカル空間パラメータ化: 学習済みのティーチャーモデルを必要とせずに学習を安定させ、空間的識別性を向上させる、ローカル指標とポスト補間を用いた新しい手法。
   • 学習可能な修正カラー: 各頂点にある視点に依存しないカラーパラメータにより、特にデコーダーの学習済みスペクトルの外側にある色のテクスチャ編集において、高い忠実度を実現します。
   • 空間認識型最適化: 視点間の一貫性を維持するために、修正カラーを選択的に微調整するテクスチャ・ペインティングのための戦略。
3. セマンティック伝播: 2Dセマンティック・プライアを3D頂点コードへと集約するメカニズムにより、シングルクリックのインタラクションによる容易な領域選択を実現します。
4. 効率性: コンパクトな潜在コードと占有率ガイド付きサンプリングを使用することで、リアルタイム・レンダリング（約15 fps）と高速な編集（ジオメトリ/テクスチャ操作に数秒）を実現しています。

結果

実世界の（DTU）および合成（NeRF 360°）データセットを用いて、広範な実験が行われました。

• レンダリング品質: NeuMesh++は、PSNR、SSIM、LPIPSにおいて、他の編集可能なニューラルレンダリング手法（NeuTex、NeuManifold、BakedSDF、NeuMesh）を上回っています。NeuralangeloやDVGOのような非編集型の最先端手法に匹敵する品質を達成しつつ、より優れた編集機能を提供します。
• 編集性能:
  • ジオメトリ: 再学習なしでの非剛体変形や物理シミュレーション（例：跳ねる椅子、揺れる植物）の成功を示しました。
  • テクスチャ: NeuMeshと比較して、テクスチャ・スワップとフィリングにおいて優れた詳細保持能力を示しました（NeuMeshはしばしばぼやけたり歪んだりした結果を生じます）。修正カラーにより、標準的なデコーダーでは生成できなかった新しい色（例：不飽和な緑）の高精度なペインティングが可能になりました。
  • セマンティック: 2Dのシングルクリックによる3D領域選択と編集を正常に実現しました。
• 効率性: 本手法は800x800の画像を約15 fpsでレンダリングでき、これはNeuralangelo（約28秒）やNeuMesh（約99秒）よりも大幅に高速です。編集操作（ジオメトリ変形、テクスチャ・スワップ/フィリング、ペイント）は約1〜2秒で完了します。

重要性

本論文は、NeuMesh++がボリューム型のニューラルレンダリングと、従来のメッシュベースの3Dモデリングの間の障壁を打破することに成功したと主張しています。分離されたコードをメッシュの足場上にエンコードすることで、多様な編集機能（ジオメトリ変形、テクスチャ・スワップ/フィリング/ペイント、およびセマンティック編集）を、高効率かつ高忠実度で提供します。この手法は、セマンティック編集のための広範な手動アノテーションの必要性を排除し、事前学習済みティーチャーモデルへの依存を排除することで、メッシュベースのインプリシット・フィールドにおける最適ではない収束の問題を回避します。著者らは、このアプローチが、編集可能なニューラル・インプリシット・シーンのための実用的でアーティストフレンドリーなワークフローを提供することを強調しています。