Mixed Neural Rendering: Interactive Mixed Reality Capture and Curation for Neural 3D Reconstruction

技術要約：Mixed Neural Rendering (MiNeR)

問題提起
Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) といったニューラルレンダリング (NR) 手法は、カジュアルに撮影された画像からフォトリアルな新規視点生成や3D再構成を行う能力を示している。しかし、その実用的な信頼性は、取得の質、具体的には十分な多視点カバレッジと正確なカメラポーズに大きく依存している。従来、これらの要件はオフラインの Structure-from-Motion (SfM) パイプライン（例：COLMAP）を通じて満たされてきた。このアプローチは、計算コストが高く、不完全なキャプチャ（例：低テクスチャ、モーションブラー、限定的なオーバーラップ）に対して脆弱であり、多くの場合、キャプチャセッションが終了した後になって初めて失敗が判明するという重大な制限をもたらす。その結果、ユーザーはデータ取得プロセス中にデータの品質を検査したり、カバレッジのギャップを特定したり、データセットを精査したりする術がなく、結果として労力の浪費や再構成の失敗を招くことになる。

手法：MiNeR パイプライン
著者らは、取得、検査、精査、および検証を単一のインタラクティブなワークフローに統合するように設計された、混合現実 (MR) キャプチャ・ツー・再構成パイプラインである Mixed Neural Rendering (MiNeR) を提案する。本システムは、センシングデバイスおよび没入型インターフェースの両方として Microsoft HoloLens 2 を活用する。

パイプラインはクライアント・サーバー・アーキテクチャを通じて動作する：

1. MR クライアント (取得と精査): ユーザーは RGB 画像をキャプチャし、ヘッドセットは視覚慣性 SLAM を通じて 6-DoF ポーズを追跡する。従来のワークフローとは異異なり、MiNeR は、キャプチャされた視点を物理環境に固定された「空間カメラプロキシ」としてレンダリングすることで、リアルタイムかつイン・シチュ（現場）でのフィードバックを提供する。これにより、ユーザーはカバレッジの分布を可視化し、不足している角度を特定し、ぼやけたフレームや冗長なフレームをインタラクティブに削除することが可能になる。また、ユーザーは同一セッション内でのターゲットを絞った再キャプチャも実行できる。
2. プロンプタブル・セグメンテーション: オブジェクト中心の再構成をサポートするため、システムは SAM 2 (Segment Anything Model 2) を統合している。ユーザーは代表的なフレームに単一のアノテーションを提供し、モデルは前景マスクを全シーケンスに伝播させ、対象物を背景のノイズから分離する。
3. サーバー (処理と再構成): サーバーは精査されたデータセットを取り込み、以下の3つのバイナリ要因を変化させる制御された要因実験デザイン ($2 \times 2 \times 2$) をサポートする：
   • マスキング: Off (生画像) vs On (SAM 2 前景マスク)。
   • ポーズソース: COLMAP ベースの SfM ポーズ vs ダイレクトなヘッドセット SLAM ポーズ。
   • ニューラル表現: NeRF (NeRFacto) vs 3D Gaussian Splatting (Splatfacto)。
     システムには、Unity ネイティブのヘッドセットポーズを、Nerfstudio で使用される OpenGL/Blender の慣習に合わせるための座標変換レイヤーが含まれている。

主な貢献

1. MiNeR システム: 配置された視覚的断片を空間的に接地したニューラル資産へと変貌させ、データ取得中にオペレーターを明示的にループ内に留める、MR 誘導型パイプライン。
2. インタラクティブなワークフロー: 3D 空間内でデータのキャプチャ、検査、精査を行うための統一されたインターフェースを提供し、再構成前にビューの削除や置換を可能にする。
3. ポーズの相互運用性: 高精度な SfM ポーズまたは SfM フリーのダイレクトセンサーポーズのいずれでも同じキャプチャセッションを処理できるフレームワークを提供し、再構成経路の直接比較を容易にする。
4. プロンプタブル・セグメンテーションの統合: シングルショットのマルチビュー・セグメンテーションを組み込むことで、前景に焦点を当てた学習と、制御されたマスクあり/なしの比較を可能にする。
5. 技術的評価: 9つの実世界のオブジェクトを用いた制御実験を行い、ポーズ精度、セグメンテーション、およびレンダリング・パラダイム間のトレードオフを定量化した。

実験結果
著者らは、HoloLens 2 でキャプチャされた9つの屋内オブジェクト中心のシーケンス（例：家具、電子機器、身の回り品）のデータセットを用いてシステムを評価した。

• ポーズソースの影響: SfM (COLMAP) が成功する場合、最も高い再構成忠実度が得られる。しかし、COLMAP は 44% のシーケンス（9個中5個が成功）で収束に失敗したのに対し、ダイレクトなヘッドセットポーズの経路は 100% のシーケンスで成功した。ダイレクトポーズは、SLAM のドリフトやスケールの不一致により忠実度は下がるものの、堅牢な SfM フリーのフォールバックとして機能する。
• セグメンテーションの影響: SAM 2 マスキングの使用は、すべての構成において再構成品質を大幅に向上させた。COLMAP ポーズを用いた 3DGS の場合、マスキングにより PSNR が +12.37 dB（19.41 から 31.78 dB へ）上昇した。ダイレクトポーズを使用した場合でも、マスキングは大幅な利得をもたらし（例：3DGS で +10.04 dB）、前景の分離が背景に起因する最適化ノイズを軽減することを示した。
• レンダリング・パラダイム: 3D Gaussian Splatting (3DGS) は、両方のポーズソースおよびマスキング条件において、PSNR、SSIM、LPIPS のすべてで一貫して NeRF を上回った。最高の全体構成（COLMAP + SAM + 3DGS）は、31.78 dB の PSNR、0.964 SSIM、および 0.050 LPIPS を達成した。
• 効率性: ダイレクトポーズ構成は、計算負荷の高い SfM 前処理段階をバイパスすることで、エンドツーエンドの時間を短縮した。

意義と主張
本論文は、MiNeR を XR メモリシステムにおける「キャプチャと再構成のギャップ」に対する解決策として位置づけている。著者らは、キャプチャの品質を取得中に可視化し、実行可能なものにすることで、MiNeR がカジュアルな視覚体験を再利用可能なニューラル資産へと変容させると主張している。

研究は、条件が良い場合には古典的な SfM が最大忠実度のためのゴールドスタンダードであり続ける一方で、極めて脆弱であると結論付けている。MiNeR は補完的な戦略を提供する。すなわち、ダイレクトなヘッドセットポーズは SfM が失敗した場合の運用性を確保し、プロンプタブル・セグメンテーションと 3DGS はそれらの制約下での品質を最大化する。本システムは、カジュアルな MR 取得と再構成可能な空間コンテンツとの間の隔たりを効果的に埋め、ユーザーが高価なオフライン処理を実行する前に、データを検査、検証、精査することを可能にする。

著者らは、データセットの規模が小さいこと（9つのオブジェクト）、単一の MR デバイスへの依存、外部の幾何学的グラウンドトゥルースの欠如、および認知負荷や取得効率を測定するためのユーザー調査の欠如といった限界についても明示している。今後の課題として、データセットの拡張、多様なデバイスでのテスト、および定量的な幾何学的誤差指標の導入が提案されている。