技術要約: VENI: 自然な照明のための変分エンコーダ

問題提起

逆レンダリングは、単一の画像が形状、質感、照明の多様な組み合わせによって生成され得るため、不良設定問題（ill-posed problem）である。人間は照明空間に対する強力な学習済み事前分布を利用してこれを解決するが、既存の計算的手法は自然な照明を十分にモデル化できないことが多い。現在の最先端手法は、主に以下の2つの制限に直面している：

1. 回転等変性の欠如: 多くのモデルは、照明環境の球面および回転等変的な性質を無視している。一部の最近の研究（RENI++など）はこれに対処しようと試みているが、多くの場合、2D投影（正距円筒図法やキューブマップ）に依存しており、それらは歪みを導入したり、エンコーダにおける等変性を維持できなかったりする。
2. 不適切な潜在空間の特性: RENI++などの既存の回転等変事前分布は、「オートデコーダ」アーキテクチャを利用している。この構成では、各画像に対して潜在コードがランダムに初期化され、モデルと共に共同最適化される。これにより、類似した画像が極めて異なる潜在コードによって表現されるという、非一意な潜在空間が生じる。さらに、このアプローチは、画像ごとに新しい潜在コードを最適化する必要があるため、大規模なデータセットへのスケーリングが困難である。

手法

著者らは、2D投影に頼ることなく球面上での自然な照明をモデル化するために設計された、回転等変な変分オートエンコーダ（VAE）であるVENI（Variational Encoder for Natural Illumination）を提案する。そのアーキテクチャは、主に3つのコンポーネントで構成される：

1. SO(2)-等変全結合層

自然な屋外照明の特定の対称性を扱うために、著者らはVector Neuronフレームワークを拡張した。標準的なVector NeuronはSO(3)-等変性を提供するが、自然な照明環境には標準的な「上」方向が存在するため、垂直軸周りの回転（SO(2)）のみが物理的に意味を持つ。著者らは、以下の機能を持つ新しいSO(2)-等変全結合層を設計した：

• 入力を等変成分（x, y次元）と不変成分（z次元および色）に分離する。
• 不変操作と等変操作を単一のニューロン内で組み合わせる。
• 不変次元（色、垂直軸）がxy平面の回転に対して不変でありながら、等変次元に影響を与え続けることを保証する。
• この層は、SO(2)-等変モデル内に適用された際、標準的なVector Neuronよりも優れた性能を示すことが示されている。

2. Vector Neuron Vision Transformer (VN-ViT) エンコーダ

エンコーダの核となるのは、球面データと回転等変性に適応したVision Transformerである：

• 入力表現: 2D投影の代わりに、モデルは直接3Dドメインで動作する。パッチは球体上の垂直ストライプとしてサンプリングされる。等変性を維持するために位置エンコーディング（これは等変性を壊す）を使用せず、サンプリングされたピクセルの3D方向ベクトルに色値を結合する。
• アーキテクチャ: すべての標準的なViTコンポーネントが、Vector Neuronの対応物へと置き換えられている。学習可能な「クラス・トークン」がパッチ埋め込みに付加されるが、このトークンは等変性を保持するために不変次元においてのみ学習可能である。
• 出力: トランスフォーマーの出力は、2つのSO(2)-等変全結合層を介して、潜在コードの平均（$\mu$）と分散（$\sigma$）を生成するように投影される。

3. 回転等変な変分サンプリングおよびデコーダ

• サンプリング: 潜在空間の回転等変性を確保するため、3つの独立した1次元分布からサンプリングするのではなく、3Dの平均ベクトルと1次元の分散から定義される3D等方性球面正規分布からサンプリングを行う。
• デコーダ: モデルは、回転等変な条件付きニューラルフィールドであるRENI++デコーダを採用している。これは、方向ベクトルと3D潜在ベクトルを入力として色を出力する。条件付けは、潜在コードに対する方向をエンコードし、Vector Neuron不変層を使用することによって達成される。

学習戦略

自然光のフルダイナミックレンジを扱うために、モデルは複数のデータセットを組み合わせて学習される：

• RENI++ データセット: 1,694枚の高品質HDR正距円筒画像（屋外シーン）。
• StreetLearn データセット: Google ストリートビューからの43,310枚のLDR 360°画像（HDRに変換済み）。
• カリキュラム学習: モデルはまず大規模なStreetLearnデータセットで事前学習され、その後、より高品質で小規模なRENI++データセットで微調整される。
• 損失関数: モデルは、人間の視覚的知覚に一致させるための対数空間損失、高周波の詳細を捉えるための平均絶対勾配誤差（MAGE）、スケール不変損失、色の正確さのためのコサイン類似度損失、および3D等方性分布用に調整されたKullback-Leiblerダイバージェンス（KLD）項を利用する。

主な貢献

1. 新規なエンコーダ・アーキテクチャ: 2D投影による歪みなしに球面信号を直接処理することを可能にする、新しいVector NeuronのSO(2)-等変拡張を備えた、回転等変なパノラマ・ビジョン・トランスフォーマー（VN-ViT）。
2. 良好な性質を持つ潜在空間: RENI++のようなオートデコーダ型アプローチの非一意性の問題を克服し、一意な潜在空間を生成する、回転等変な自然照明の事前分布。
3. スケーラビリティ: 画像ごとに潜在コードを最適化するのではなく、フォワードパスによって画像をエンコードすることにより、本手法は大規模なデータセットへのスケーリングが可能である。
4. 包括的な評価: 潜在空間の一意性と再構成の一貫性に関する直感的な指標を用いた広範な評価。

結果

論文では、様々な潜在次元（$D=27, 147, 300$）においてVENIをRENI++と比較評価している：

• 再構成品質: VENIは、特に低次元設定（$D=27$）においてRENI++を凌駕し、LDRトーンマップ空間および線形HDR空間の両方で、より高いPSNR、SSIM、およびより低いLPIPSスコアを達成している。
• 潜在空間の一意性: 著者らは、VENIの潜在空間が著しく一意であることを示している。2つの潜在コードが同じ画像に対して最適化された場合、VENIにおけるそれらの間の補間は一貫した結果をもたらすが、RENI++は大きな乖離を示す（$D=27$において、MSEは0.04対1.46）。
• 補間: 定性的な結果は、VENIが（日の出から正午への移行のような）滑らかで意味のある補間を、RENI++で見られるような偽の光源やノイズといったアーティファクトを導入することなく可能にすることを示している。
• スケーラビリティ: 実験により、RENI++（各画像の最適化を必要とする）が大規模なStreetLearnデータセットに効果的にスケールできないのに対し、VENIは大規模なStreetLearnデータセットで学習しても性能を維持できることが示されている。

意義

本論文は、回転等変性と、よく構造化された一意な潜在空間を組み合わせることにより、VENIが現在の自然な照明の事前分布における決定的な制限に対処していると主張している。オートデコーダのパラダイムから変分エンコーダへと移行することで、モデルは類似した画像が類似した潜在コードにマップされることを保証し、滑らかな補間と大規模データセットの使用を容易にする。これにより、球面幾何学の物理的制約を尊重しながら、自然な屋外照明の複雑な統計的規則性を扱うことができる、逆レンダリングタスクのためのより堅牢な事前分布が実現される。