CLONE: A 3DGS-Based Closed-Loop Differentiable Optimization Framework for Single-Image Normal Estimation

技術要約：CLONE – 3DGSに基づくクローズドループ微分可能最適化フレームワーク

問題提起
単一画像からの法線推定は、本質的に不良設定（ill-posed）な幾何学的問題である。なぜなら、単一の2D観測から3D構造を推論する場合、複数の妥当な解が存在し得るからである。既存の手法には、以下のような根本的な限界がある：

• **識別的手法（Discriminative methods）**は、高価で高密度なグラウンドトゥルース（正解）の法線ラベルに大きく依存しており、固有の幾何学的モデリングを欠いているため、分布の変化に対する汎化性能が低い。
• 生成的手法（Generative methods）（例：拡散モデル）は、強力な分布事前分布を活用しているが、明示的な幾何学的変数や、画像空間のエラーを3D幾何学へと伝播させるための安定した微分可能な経路を欠いていることが多い。
• 明示的幾何学的手法（Explicit geometric methods）（例：3D Gaussian Splattingの派生手法）は、微分可能なレンダリングを提供するが、単一ビューの設定において、法線推定をクローズドループの最適化問題として定式化できておらず、マルチビューの監督なしに幾何学を一意に決定するための十分な制約を欠いている。

核心となる課題は、法線のグラウンドトゥルース・ラベルを必要とせずに、解の曖昧性の制約と幾何学的整合性を同時に強制する、統一された微分可能な最適化メカニズムが存在しないことである。

手法
著者らは、CLONE（Closed-Loop differentiable Optimization framework for single-image Normal Estimation）を提案する。これは、法線推定を直接的な回帰タスクから、再投影の一貫性に駆動される幾何学的最適化問題へと再定式化するものである。このフレームワークは、ピクセルレベルの法線監督なしに、画像と3Dモデルのペアのみを利用して動作する。

1. 3DGSに基づく明示的表現と解析的法線：
   シーンは3D Gaussian Splatting (3DGS) を用いてパラメータ化される。色の再構成に使用される標準的な3DGSとは異なり、CLONEはガウス共分散行列（$\Sigma = U\Lambda U^\top$）の固有値分解を通じて、表面法線を解析的に明示的に導出する。最小の固有値に対応する固有ベクトルが、局所的な表面法線を定義する。これにより、3D幾何学的パラメータから表面の向きへの、連続的かつ微分可能な経路が提供される。

2. 微分可能な照明と再投影：
   法線のラベルなしに3D幾何学と2D観測を橋渡しするために、著者らは微分可能な照明モデルを導入している。彼らは、学習可能なライト変調カーネル（ガウス包絡線を持つ振動カーネル）を用いて、表面法線と画像輝度の間の連続的なマッピングを定式化している。これにより、モデルは局所的な幾何学的変化がピクセルの強度にどのように影響するかをシミュレートできる。レンダリングされた画像（ガウスの寄与をブレンドして生成）と入力画像との間で再投影損失（$L_{photo}$）が計算され、画像空間のエラーから3D幾何学的パラメータへと直接勾配が流れることが可能になる。

3. 条件付き拡散に基づく精緻化：
   ガウス・プリミティブに特有のオーバースムージング（過度な平滑化）に対処するため、1ステップの決定論的な拡散ベースのネットワークが採用されている。勾配を遮断するマルチステップの生成プロセスではなく、このモジュールはノイズ条件付き残差精緻化オペレータとして機能する。これは、初期の3DGS法線をとり、固定ステップでノイズを注入し、U-Netを使用して精緻化された法線マップを予測する。これにより、拡散モデルの構造的帰納バイアスを維持しつつ、エンドツーエンドの微分可能性を維持する。

4. クロスドメイン・ゲーティング融合：
   ゲーティング機構が、3DGSブランチのグローバルな幾何学的整合性と、拡散ブランチの高周波詳細の回復を調整する。

• 特徴レベル： 幾何学的特徴（3DGS由来）とテクスチャ特徴（拡散エンコーダ由来）は、適応的なアテンション誘導型ゲーティングメカニッチを通じて整列・融合される。
• 出力レベル： 空間適応型のゲーティング重み（$g$）が、初期の幾何学的法線（$n_{3dgs}$）と精緻化された法線（$n_{diff}$）を融合する。最終的な融合法線は $n_{fuse} = \text{stopgrad}(g) \odot n_{3dgs} + (1 - \text{stopgrad}(g)) \odot n_{diff}$ である。これにより、勾配の衝突を引き起こすことなく、フォトメトリック損失が両方のブランチを監督することを保証する。

5. 統一された最適化目的関数：
   システムは、以下の複合損失関数を用いてエンドツーエンドで最適化される：

• フォトメトリック損失（$L_{photo}$）： 画像再構成の一貫性を確保する。
• スケール正則化（$L_{scale}$）： 退化した形状を防ぐためにガウスの固有値を制約する。
• 法線一貫性（$L_{normal}$）： ゲーティング重みが幾何学的事前分布を優先する領域において、精緻化された法線が幾何学的法線に近くなるよう促す。
• 方向正則化（$L_{dir}$）： 学習可能な主方向を幾何学的法線に整合させる。

主な貢献

• パラダイムシフト： 本論文は、単一画像法線推定を、再投影誤差を主要な監督信号として使用する、クローズドループ微分可能最適化問題へと再定式化し、グラウンドトゥルースの法線ラベルを不要にした。
• 解析的法線モデリング： 2D特徴の回帰のみに頼るのではなく、3Dガウス共分散から法線を解析的に導出し、連続的な幾何学的空間で最適化する手法を提案している。
• 微分可能な精緻化： マルチステップの拡散サンプリングに伴う勾配遮断の問題を回避するため、高周波の詳細を高める1ステップの決定論的拡散ベースのネットワークを設計した。
• 統一されたパイプライン： 3DGSのパラメータ化、微分可能レンダリング、および条件付き拡散精緻化の統合により、安定した勾配フローを実現し、問題の不良設定性を効果的に緩和している。

実験結果
本手法は、RGB-3Dモデルのペアのみを使用して訓練を行い（法線ラベルは使用せず）、Google Scanned Objects (GSO)、Omniobject3D、およびWonder3Dの3つのベンチマークで評価された。

• 定量的性能： CLONEは、監督ありの識別的手法および生成的な3D再構成のベースラインの両方を上回り、最先端の性能を達成した。平均角度誤差（MAE）は**13.2°**であり、2番目に優れた手法（Wonder3D++）を0.3°上回った。また、中央値角度誤差（MedAE）および厳格な閾値での精度（例：<11.25°で63.2%の精度）においてもリードしている。
• 定性的分析： 視覚的な比較により、CLONEがキーボードのキー、葉脈、羽のパターンなどの微細な幾何学的詳細を効果的に回復し、ベースラインがオーバースムージング、アーティファクト、またはシルエットの崩れを起こしやすい薄い構造や複雑な接合部において、一貫した法線を維持していることが示された。
• 堅牢性： 明示的な3D幾何学的制約により、CLONEはベースラインと比較して、入力ノイズ、照明の変化、および視点の変化に対して優れた堅牢性を示した。
• アブレーション研究： コアコンポーネント（3DGSの初期化、クロスドメイン整列、ゲーティング融合、または拡散精緻化）のいずれかを取り除くと、大幅な性能低下を招き、クローズドループ設計の必要性が確認された。

意義と主張
著者らは、CLONEが、高価な法線注釈に依存しない単一画像法線推定の新しいパラダイムを提供すると主張している。大規模な画像-3Dモデルのペアを活用し、クローズドループ微分可能最適化フレームワークを用いることで、本手法は問題を「データ駆動型のマッピングタスク」から「幾何学中心の最適化タスク」へと変貌させた。本論文は、このアプローチが、画像レベルのエラーを3D幾何学のための最適化信号へと直接変換することで、問題の不良設定性を克服し、法線ラベルを一切必要とせずに、完全な監督下にあるベースラインと同等またはそれ以上の性能を達成できることを立証している。これは、注釈効率の高い3D幾何学学習において、明示的な3D表現と微分可能レンダリングを組み合わせることの可能性を裏付けている。