技術要約：自己誘導型疎なボリュメトリック・リファインメントによる微細詳細モノキュラー幾何推定

1. 問題提起

モノキュラー（単眼）幾何推定は、多様なシーンにおけるゼロショットの深度およびポイントマップ予測において、近年著しい進歩を遂げている。しかし、最先端のモデルであっても、局所的な3D構造、特に細い構造物（フェンスやポールなど）や小さな物体といった微細な詳細において、顕著な歪みが依然として存在する。これらのアーティファクトは、2Dの深度可視化では目立たないものの、視点の変化に伴って顕在化する、ねじれや引き伸ばされたような幾何学的形状として現れることが多い。

著者らは、この限界の原因を根本的なアーキテクチャの不一致に求めている。現在のほとんどのモデルは、2Dパラメータ化の枠組み内で3D幾何学をデコードしている。2D畳み込みデコーダ、VAEベースのデコーディング、あるいはパッチ潜在変数に対するMLPヘッドのいずれを使用する場合でも、特徴量の相互作用は画像平面上の近接性に支配されている。これが局所的な平滑化の事前分布をもたらし、結果として深度の不連続面を跨いで幾地的に離れた表面間の特徴量を意図せず混合させてしまい、幾何学的な過度な平滑化と局所的な構造的完全性の崩壊を引き起こしている。

2. 手法

提案手法は、ベースモデルと自己誘導型疎な3Dリファイナー（SSR）からなるフレームワークを通じて、モノキュラー幾何モデリングを2D画像平面から3D空間へと昇華させる。

2.1 ベースモデル

本システムは、初期の稠密なポイントマップ $P$ を生成し、DINOv2エンコーダから稠密な2D特徴量 $F$ を抽出するために、基礎モデル（MoGe-2から初期化）を利用する。ベースモデルは、アフィン不変なポイントマップ、妥当性マスク、表面法線、およびグローバルなメトリックスケールを予測する。

2.2 自己誘導型疎な3Dリファイナー (SSR)

SSRモジュールは、**3D疎畳み込み（sparse 3D convolutions）**を用いて、占有されたシーン多様体上で直接操作を行うことで、初期の幾何学を反復的に精緻化する。プロセスは、1反復あたり以下の3つのステップで構成される。

1. 自己誘導型ボクセル化:
   現在のポイントマップは、疎な3Dボクセルシェルへと変換される。変動する範囲を持つポイントを正規化するため、因子分解された表現 $q_{ij} = (u_{ij}, v_{ij}, \zeta_{ij})$ が使用される。ここで、$u, v$ は画像座標であり、$\zeta = \log Z$ はログ深度である。ボクセルシェル $V^{(k)}$ は、各ピクセルが正確に1つのボクセルに対応するように構築される。これにより、「投影整合型かつスケール不変なシェル」が作成され、密度はメトリックスケールの変換に対して不変となる。決定的なのは、この構築により、2つのボクセルが3D的に隣接するためには、画像的に隣接していること、かつ、それらのログ深度が特定の閾値内にあることの両方を満たす必要があるという点である。これにより、深度の不連続性を跨ぐ特徴量の混合を効果的に分離できる。

2. 疎な3D U-Net処理:
   疎な3D U-Netがボクセルセットを処理する。標準的な2D U-Netとは異なり、ダウンサンプリングおよびアップサンプリングは幾何学依存的であり、粗いレベルにおけるボクセルの数と分布はシーンの幾何学に応じて変化する。これにより、画像空間で潰れてしまう構造も、深度方向に分離された状態を維持できるため、前景と背景の特徴混合を低減できる。

   • 特徴注入: ベースモデルからの高次2D特徴量 $F$ が、U-Netのボトルネックに注入される。同じ画像位置を共有しながら深度が異なるボクセルは、同じ2D特徴量を受け取る。これにより、3D畳み込みが豊かな外観の事前知識を活用しつつ、3D空間的な局所性を維持することが可能になる。
   • 出力: ネットワークは、各ボクセルに対してスカラーのログ深度残差 $\Delta \zeta^{(k)}$ を予測する。

3. 反復更新:
   予測された残差は、現在のログ深度推定値に加えられ、因子分解された表現 $q^{(k+1)}$ を更新する。この更新された表現が、次ステップのボクセルシェルを定義する。$K$ 回の反復後、最終的なポイントマップがユークリッド空間で復元される。

2.3 学習戦略

モデルは2段階で学習される。

• ステージ1（ウォームアップ）: ベースモデルの特徴量からリファイナーへの勾ロジメントは切り離される（detach）。リファイナーは、ベースモデルの既知の良好な初期化から出発し、厳密に残差補正のみを学習する。リファイナーは、鋭い補正を学習するために、ピクセル精度のグラウンドトゥルースを持つ合成データのみで学習される。
• ステージ2（結合ファインチューニング）: パイプライン全体の、エンドツーエンドの学習。ベースモデルは、野生環境での汎化性能を維持するために、合成データと実世界のデータの混合物を用いて監督学習される。

3. 主な貢献

• アーキテクチャのパラダイムシフト: 本論文は、局所的な構造の歪みを解決するために、幾何学モデリングを2D画像空間から3D空間へと昇華させる、初のモノキュラー幾何推定手法を提案する。
• 自己誘導型疎な3Dリファインメント (SSR): 動的に生成されたボクセルシェル上で疎な3D畳み込みを使用する、新しいモジュール。これは真の3D空間的な局所性に基づいて特徴を集約し、2Dアプローチで一般的な、深度の不連続を跨ぐ特徴の「にじみ（bleeding）」を防ぐ。
• 反復的な自己誘導メカニメント: 精緻化プロセスは自己誘導型であり、各ステップのボクセルシェルは前回の予測によって決定される。これにより、3D畳み込みがますます精密な表面境界上で動作することを可能にする。
• 効率的な3D処理: 全体の稠密なボリュームではなく、占有領域（ポイントマップの薄い多様体）のみを操作することで、本手法はポイントの占有数に対して線形な計算効率を実現している。

4. 実験結果

合成および実世界の、屋内および屋外のシーンをカバーする9つのベンチマーク（Synth4K, Spring, NYUv2, KITTI, ETH3D, DIODE, Sintel, iBims-1, HAMMER）において、広範な実験が行われた。

• 定量的性能: 本手法は、グローバルおよびローカルの指標において、最先端の性能を達成している。
  • グローバル指標: デフォルトのViT-Lモデルは、アフィン不変なポイントマップ、相対深度、およびメトリック深度において、従来の最高精度（MoGe-2）を上回っている。
  • ローカル（微細詳細）指標: 優位性はローカル指標（$\delta_{0.01}$ のような厳格な閾値を持つ細い構造の精度を測定するもの）で最も顕著であり、本手法はすべてのベースラインを大幅に上回っている。
  • 境界F1スコア: InfiniDepthのような手法は、高解像度の2Dクエリを通じて高い境界鋭敏さを実現しているが、提案手法はより優れた3D構造の忠実度を生み出す。これは、従来の手法が鋭い2Dエッジを示しているにもかかわらず、ねじれた構造を示す定性的比較からも明らかである。
• アブレーション研究:
  • 3D vs 2D: 疎な3D U-Netをパラメータ数が一致する2D U-Netに置き換えると、局所的な幾何学の改善に失敗した。これは、3Dの帰納バイアス（inductive bias）の必要性を裏付けている。
  • 特徴注入: DINO特徴量の注入を取り除くと性能が低下した。これは、局所的な3D幾何学を判別するために、意味的および文脈的な情報が極めて重要であることを示している。
  • 反復回数: 精緻化の反復回数（$K$）を増やすと、グローバルな精度を損なうことなく、飽和点（$K \approx 5$）までローカル指標が向上する。これは、学習された残差補正の安定性を示している。
• 実行時間: 本手法は、ベースモデルと比較して中程度のオーバーヘッドを追加する（例：A100上でViT-Lの場合、39msに対し121ms）が、他の詳細強化手法よりも高速でありながら、より高い精度を実現している。

5. 意義と主張

本論文は、視覚的に妥当な2D深度マップと、忠実な3D再構成との間のギャップを埋めることを主張している。2D特徴の相互作用と3D幾何学の間の不一致という根本原因に対処することで、提案手法は、視覚的に妥当であると同時に、特に細い、あるいは細長い構造を含む困難な領域において、幾何学的に正確なポイントマップを生成する。

著者らは、本研究を、微細な詳細のモノキュラー幾何推定における重要な進展として位置づけており、2Dパラメータ化に固有の構造的アーティファクトを解決するために、幾何学モデリングを3D空間へと正常に昇華させた最初の試みであるとしている。

限界: 著者らは、回帰ベースのパラダイムであるため、本手法は本質的にオブジェクト境界におけるピクセルの曖昧さに苦しみ、それが「フライポイント（浮遊点）」を招き、完全に鋭い深度エッジの生成を妨げる可能性があることを認めている。彼らは、将来の研究において生成的な定式化を統合することが、この問題に対処できる可能性があると示唆している。