技術概要：スナップショット偏光ディスプレイ逆レンダリング

問題定義

画像から幾何形状と外観（アルベド、粗さ、金属性、法線）を推定する逆レンダリングは、特に軽量なデスクトップワークフローに不可欠なスナップショット構成において、依然として重大な課題です。多フレームまたは多光源設定（例：ライトステージ、NeRF ベースの最適化）は高品質な結果を達成していますが、高い情報コストと時間的制約により、動的または制約された環境では実用的でないことが多くあります。既存の単一ショット手法は、単一の画像では拡散成分と鏡面反射成分を分離したり、材料の曖昧さを解決したりするのに十分な制約が欠けているため、幾何形状と反射特性および材料タイプ（誘電体対金属）の分離に苦慮しています。

手法

著者らは、スナップショットのフィードフォワードフレームワークである偏光ディスプレイ逆レンダリングを提案しました。これは、スペクトル偏光の手がかりを統合して、ピクセルごとの物理ベースレンダリング（PBR）マップを復元するものです。システムは、3 つの結合コンポーネントで構成されます。

1. 撮像システム：スペクトル偏光取得

ハードウェア設定は、標準的な LCD モニターと、1/4 波長板（QWP）を備えた RGB 偏光カメラで構成されます。

• 照明: LCD は線形偏光のバイナリ RGB パターンを放射します。ディスプレイの液晶の性質により、これはプログラム可能な偏光光源として機能します。このパターンは、赤、緑、青のスペクトルチャネル上で同時に 3 つの異なる照明方向を符号化します（例：赤チャネルは右側から、緑チャネルは左側から、青チャネルは上側から照明）。
• 撮像: カメラは単一の RAW 画像を撮像します。センサー上のマイクロ偏光アレイは、線形ストークス成分（$S_0, S_1, S_2$）を復元します。追加された QWP は入射光を変調し、円偏光成分（$S_3$）の復元を可能にします。これは、金属性反射と誘電体反射を区別する上で重要です。
• 分解: 取得された単一の RAW 画像は、ピクセルあたり9 つのスペクトル偏光測定値に分解されます。
  • 3 つのスペクトルチャネル（$R, G, B$）。
  • チャネルあたりの 3 つの偏光状態：非偏光（拡散優位）、線形偏光（鏡面反射優位）、円偏光（金属性の手がかり）。
  • これにより、単一ショットで空間照明方向と材料特性を符号化する $3 \times 3$ の表現が得られます。

2. フィードフォワード逆レンダリングネットワーク

トランスフォーマーベースのエンコーダ・デコーダアーキテクチャが、9 つの測定マップを処理し、単一のフォワードパスで PBR パラメータ（$n, k, r, m$）を予測します。

• アーキテクチャ: エンコーダは、入力マップをパッチトークンに変換するためにビジョントランスフォーマー（ViT）バックボーン（DINO v2）を利用します。4 つの次元にわたる情報を集約するためにインターリーブされた自己注意メカニズムを採用しています。
  1. 空間的: 各観測内。
  2. スペクトル的: 同じ偏光状態を共有する 3 つの色チャネル間。
  3. 観測間: 9 つすべての測定値間。
  4. 偏光的: 同じスペクトルチャネルを共有する 3 つの偏光状態間。
• デコーダ: クロス注意モジュールが、すべての入力からの特徴を融合記述子に集約し、それを予測ヘッドに渡して表面法線、アルベド、粗さ、金属性を出力します。

3. データ駆動型 pBRDF 拡張

トレーニング用の測定された偏光双方向反射分布関数（pBRDF）の不足に対処するため、著者らは生成拡張手法を提案します。

• PCA 圧縮: 測定された pBRDF（Baek ら [2020]、Moon ら [2025] から）は、主成分分析（PCA）を用いて強度成分と偏光成分に分解されます。
• 生成多様体: Disney PBR パラメータを PCA 重み空間にマッピングするように訓練された重み生成器（条件付き VAE）が用意されます。
• 合成: 学習された多様体から、ランダムな PBR パラメータを条件として重みをサンプリングすることで、物理的に妥当な新しい pBRDF が合成され、その後 PCA 逆変換を介してミュラー行列が再構成されます。これにより、トレーニング用の大規模で多様な合成データセットが作成されます。

主な貢献

1. ディスプレイ - カメラ撮像システム: スペクトル多重化（RGB 照明方向）と線形 - 円偏光のデコードを単一スナップショットで組み合わせ、9 つの異なるスペクトル偏光測定値を生成する新規設定。
2. フィードフォワードトランスフォーマー: 反復最適化なしで、これら 9 つの測定値を空間的に変化する PBR マップ（法線、アルベド、粗さ、金属性）に直接マッピングするネットワークアーキテクチャ。
3. pBRDF 拡張手法: 学習された生成多様体上でサンプリングすることで、限られた測定 pBRDF のセットを多様で物理的に妥当なデータセットに拡張するデータ駆動型アプローチ。これにより、逆レンダリングネットワークの堅牢なトレーニングが可能になります。

結果と評価

この手法は、デスクトップ設定を用いて合成データセットと実世界データセットの両方で評価されました。

• 定量的性能:
  • 合成データ: 手法はすべての指標においてベースライン（DiffusionRenderer、RGB-X、LINO-PBR）を上回り、アルベドで PSNR 23.90、法線で MAE 11.45° を達成しました。円偏光の手がかりを持たない手法と比較して、金属性の推定における曖昧さを大幅に低減しました。
  • 実データ: 実撮像データにおいて、手法はスケーリング不変 PSNR 20.15 を達成し、単一ショットベースラインを上回り、単一入力フレームのみを使用しながらも、多ショット（4 光源）LINO-PBR 変種の性能と同等の結果を示しました。
• 定性的分析:
  • 拡散 - 鏡面分離: スペクトルおよび偏光分解は、拡散成分と鏡面反射成分を効果的に分離し、単一画像ベースラインで見られるような照明がアルベドマップに「焼き付けられる」現象を防ぎました。
  • 金属性の曖昧さ解消: 円偏光（CP）の手がかりの組み込みにより、ネットワークは金属表面を誘電体から正しく区別することができました。これは、CP 入力を持たないベースラインが失敗し、誤った再照明につながるタスクです。
  • 再照明: 復元された PBR マップは、回転する点光源や複雑な環境マップを含む多様な条件下での堅牢な再照明を可能にし、材料の同一性とハイライトの挙動を保持しました。
  • 動的シーン: 手法のスナップショット性により、時間的整合を必要とせずに、動的シーケンス（例：移動する顔）のフレームごとの逆レンダリングが可能になりました。

意義と主張

本論文は、単一スナップショット取得内でスペクトルおよび偏光の手がかりを統合することが、学習された事前知識を補完する豊富な物理的シグナルを提供し、軽量なデスクトップワークフローにおける正確な逆レンダリングを可能にすると主張しています。

• スケーラビリティ: このアプローチは、制御されたマルチショット撮像設定や複雑なライトステージに依存しない、スケーラブルな逆レンダリングソリューションを提供します。
• 物理的妥当性: 偏光の物理的性質（特に材料分類における線形偏光と円偏光の区別）を活用することで、この手法は、受動的な単一画像手法よりも幾何形状と反射特性のより物理的に妥当な分離を達成します。
• データ効率: 提案された pBRDF 拡張手法は、偏光逆レンダリングにおけるデータ不足という重要なボトルネックに対処し、物理的に根ざした多様な材料データセット上で深層学習モデルをトレーニングすることを可能にします。

著者らは、非理想的な光学挙動（クロストーク、ノイズ）への感度、偏光応答が弱い材料（例：鏡）との困難さ、および測定された pBRDF データセットのカバレッジによって課される制約など、限界を認めています。しかし、彼らはこの手法が、動的および実世界のシーンに対する実用的な単一ショット逆レンダリングに向けた重要な一歩であると主張しています。