GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering

技術的サマリー（日本語）

本論文は、カメラと光源が同一位置（co-located）にある環境で撮影された画像から、複数の物体が存在する室内シーンの幾何形状（ジオメトリ）、アルベド（色）、粗さ（ラフネス）を再構築するニューラル逆レンダリング手法「GaNI」を提案しています。既存の手法が単一物体や大域的光照（Global Illumination）を無視した環境に限定されていたのに対し、GaNI は複雑な物体間相互作用や近接光源効果（Near-field effect）を考慮することで、高品質な再構築を実現します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を記述します。

1. 問題定義と背景

• 逆レンダリングの課題: 画像からシーンの幾何形状、材質（BRDF）、照明を分解する逆レンダリングは長年の課題です。特に、複数の物体が存在するシーンでは、物体間の相互反射（Global Illumination）や、カメラと光源が近いことによる「近接光源効果（Near-field effect：シーン内の位置によって光の強度が異なる現象）」が複雑化し、既存手法では再構築が困難でした。
• 既存手法の限界:
  • IRON [37], WildLight [4]: これらの co-located 光源・カメラを用いた手法は、単一物体には有効ですが、複数の物体があるシーンでは、近接光源効果や大域的光照をモデル化できておらず、幾何形状や材質の推定が破綻します。
  • 自然光環境: 自然光下での逆レンダリングは暗室を必要としませんが、幾何形状と材質の曖昧性（Ambiguity）により、正確な材質推定が難しい傾向があります。
• GaNI の目標: 暗室環境下で撮影された co-located 光源・カメラの画像を用い、複数の物体からなるシーンにおいて、高精度な幾何形状と材質（アルベド・粗さ）を同時に再構築すること。

2. 提案手法 (Methodology)

GaNI は、幾何形状の復元と材質の推定を分離した2 段階のアプローチを採用しています。これは、複雑な照明効果下で両者を同時に最適化することの難しさを回避するためです。

第 1 段階：体積レンダリングによる幾何形状復元 (NeuS の改良)

既存のニューラル体積レンダリング手法「NeuS」をベースに、近接光源効果と強い鏡面反射への対応を強化します。

• 近接光源効果のモデル化: NeuS のカラーネットワークに、光源から表面までの距離 $t$ を逆二乗則（$1/t^2$）に基づいたパラメータとして入力します。これにより、ニューラルネットワークが空間的に変化する入射照明場を学習し、近接光源による明るさの勾配を適切に表現できます。
• 表面角度重み付け (Surface Angle Weighting): 光源とカメラが同一位置にあるため、法線と光のなす角度が特定できます。
  • 鏡面反射が強く現れる垂直に近い角度（小角度）や、フレネル効果により相互反射が強まる掠れた角度（大角度）では、幾何形状の推定が不安定になるため、これらのピクセルに対する再構成損失（Reconstruction Loss）の重みを自動的に低下させます。
  • これにより、鏡面反射や相互反射に起因する幾何形状のアーティファクトを抑制します。
• SfM ポイントクラウドの活用: 実データでは、Structure-from-Motion (SfM) で推定されたポイントクラウドを幾何形状の正解として利用し、SDF（Signed Distance Field）のゼロレベルセットを監視します。

第 2 段階：表面レンダリングによる BRDF 推定 (InvNeRad の改良)

第 1 段階で得られた幾何形状を用いて、レンダリング方程式を解き、材質パラメータ（アルベドと粗さ）を推定します。

• 光源位置を考慮した放射輝度キャッシュ (Light Position-Aware Radiance Cache): 既存の「InvNeRad」は照明が一定であることを前提としていますが、GaNI では撮影ごとに光源位置が変化します。
  • 各光源位置ごとに独立したネットワークを持つのではなく、光源の位置 ($x_l$) と方向 ($d_l$) を入力として受け取る単一の放射輝度キャッシュネットワークを学習させます。
  • これにより、移動する光源による大域的光照（多段反射）を効率的にモデル化します。
  • また、直接照明（Direct Illumination）は計算で容易に求められるため、これをネットワーク入力として条件付け、ネットワークの学習負荷を軽減します。
• 粗さの正則化 (Roughness Regularization): 幾何形状の微小な誤差が粗さの推定に大きなノイズをもたらすため、粗さマップに対して全変動（Total Variation）正則化を適用し、滑らかさを強制します。

3. 主要な貢献 (Key Contributions)

1. GaNI の提案: 複数の物体からなるシーンを対象とした、co-located 光源・カメラを用いたニューラル逆レンダリング手法の提案。
2. 技術的革新:
   • 近接光源効果の暗黙的モデル化: NeuS に距離パラメータを導入し、空間的に変化する照明を学習可能に。
   • 表面角度損失関数: 鏡面反射や相互反射が強い領域の重みを動的に調整し、幾何形状の精度を向上。
   • 可変光源対応放射輝度キャッシュ: 移動する光源に対応する単一ネットワークによる大域的光照のモデル化。
   • 粗さの平滑化正則化: 幾何形状の誤差が材質推定に与える影響を低減。
3. 性能の証明: 合成データおよび実データにおける、既存の SOTA 手法（IRON, WildLight）および自然光下での手法（Neielf++）に対する優位性の実証。

4. 実験結果 (Results)

• 幾何形状の精度: 合成データおよび実データにおいて、IRON や WildLight よりも大幅に優れた幾何形状を復元しました。特に、複雑な凹部や相互反射が起きやすい領域（棚、カウンター、靴ラックなど）で顕著な改善が見られました。
• 材質（反射率）の精度:
  • アルベドと粗さ: 再レンダリング（Re-rendering）の MSE（平均二乗誤差）において、IRON や WildLight を大きく上回る精度を達成しました。
  • 自然光環境との比較: 自然光下での手法（Neielf++）と比較しても、co-located 光源を用いることで、影の焼き付き（Shading baked into albedo）が少なく、より正確な材質（特にアルベド）を推定できることを示しました。
• アブレーション研究: 提案した「表面角度重み付け」や「第 2 段階の改良」を除去した場合、鏡面反射によるアーティファクトや、大域的光照を材質に誤って埋め込んでしまう現象が発生し、提案手法の各コンポーネントの有効性が確認されました。

5. 意義と結論

GaNI は、co-located 光源・カメラという比較的簡易なセットアップ（スマートフォンなど）を用いながら、複雑な室内シーンにおける高精度な逆レンダリングを可能にしました。

• 実用性: 暗室での撮影が必要ですが、高価なキャプチャ装置（Light Stage など）を必要とせず、VR/AR、計算写真、ロボティクスなどの分野で、材質編集や再照明（Relighting）などの応用が可能になります。
• 学術的価値: 単一物体から複数物体へ、そして静的照明から動的照明・大域的光照への拡張において、ニューラル逆レンダリングの新たな基準を示しました。

今後は、このアプローチをより大規模な部屋全体（Room-scale）のシーンへ拡張することが今後の課題として挙げられています。