技術概要：PIXLRelight

問題定義

単一画像の再照明（リライティング）は、写真の照明をユーザーが指定した目標照明条件に一致するように変更することを目的としています。物理ベースレンダリング（PBR）エンジン（例：Blender、Unreal Engine）は、光の種類、位置、色、強度に対して精密な制御を提供しますが、これらを「野生（in-the-wild）」の写真に適用することは、単一画像から幾何学形状、材質、光輸送を復元する難しさにより、本質的に困難です。

既存のアプローチは、主に以下の 3 つの限界に苦しんでいます：

1. 制御の限界: HDR 環境マップ、テキスト、または参照画像に条件付けられた手法は、屋内シーンで一般的に見られる空間的に局所的な多光源照明を表現することに苦労します。
2. 誤差の蓄積: G バッファを推定して再レンダリングする「逆推定から順方向レンダリング」のパイプラインは、透明性やサブサーフェス散乱などの必要な手がかりをエンコードできず、段階間で誤差が累積して失敗することがよくあります。
3. 計算コスト: PBR とニューラルレンダリングを組み合わせるアプローチ（例：Careaga と Aksoy [5]）は、3D 照明環境に適合させるために高コストな画像ごとの微分可能レンダリング最適化を必要とし、訓練データの多様性と推論速度を制限しています。

手法

著者らは、PBR の制御性と学習された画像合成を共有する内在的条件付け（intrinsic conditioning）インターフェースを通じて橋渡しする、フィードフォワード型トランスフォーマーベースのアプローチであるPIXLRelightを提案します。核心的な洞察は、目標照明が「何であるか」と、それが実際の写真に「どのように」適用されるかを分離することです。

1. 内在的条件付けインターフェース

この手法は、画像 $I$ を以下のように分解する内在的画像形成モデルを利用します：
$$I = A \odot S + R$$
ここで、$A$ は拡散アルベド、$S$ は拡散シェーディング、$R$ は非拡散残差（鏡面ハイライト、透明性など）です。

目標照明条件は、RGB 画像ではなく、目標内在的マップのチャネル方向連結 $C_T = [A_T; S_T; R_T]$ によって表現されます。このインターフェースは、訓練と推論の両方で一貫しています：

• 訓練: $C_T$ は、凍結された内在的分解モデル（Marigold-IID-Lighting [20]）を使用して、実在するペアの多照明写真から抽出されます。
• 推論: $C_T$ は、ユーザー指定の PBR 光源下で入力シーンの粗い 3D 再構成をパストレーシングすることで生成されます。重要なのは、モデルがレンダリングされた RGB 画像を見ることはなく、内在的バッファのみを見ることです。これらは望ましい照明のための精密な手がかりを伝えつつ、基礎となる 3D 再構成の不完全性を吸収します。

2. アーキテクチャ

PIXLRelight は、高密度予測向けに設計されたフィードフォワード型トランスフォーマーです：

• 非対称エンコーダ: 高周波の詳細が支配的なソース画像（$I_S$）は、ビジョン・トランスフォーマー（ViT）によってトークン化されます。滑らかで低周波の構造が支配的な内在的スタック（$C_T$）は、ConvNeXt によってトークン化されます。
• 融合: ソースと条件付けのトークンは、共有トランスフォーマートランクに入る前に、小さな MLP によって空間位置ごとに融合されます。
• 変調ヘッド: 目標 RGB 画像を直接回帰するのではなく、ネットワークはソース画像のピクセルごとのアフィン変調を予測します。出力は $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$ として計算されます。ここで、$g$（ゲイン）と $b$（バイアス）は学習されたマップです。ネットワークは恒等変換（$g=0, b=0$）を出力するように初期化され、残差の照明変換のみを学習します。これにより、ソースの写実的な詳細が構造的に保持されます。

3. 訓練および推論戦略

• 訓練: モデルは、フォトメトリック損失と知覚損失を用いて、ペアの多照明データセット（MIIW、BigTime、VIDIT）上でエンドツーエンドに訓練されます。逆推定から順方向レンダリングのパイプラインや画像ごとの最適化は不要です。推論時のアーティファクトをシミュレートするために、訓練パイプラインは内在的条件付け $C_T$ に確率的な破損拡張を適用します。
• 推論:
  1. ソース画像からメトリック深度（Depth Anything 3）と材質（Marigold-IID-Appearance）を推定します。
  2. テクスチャ付きメッシュを構築し、Blender にインポートします。
  3. 任意の PBR 光源を使用して希望の照明を設計します。
  4. Cycles でシーンをレンダリングし、目標内在的バッファ（$A_T, S_T, R_T$）を抽出します。
  5. ソース画像と内在的バッファを PIXLRelight に入力し、単一のフォワードパスで再照明された画像を生成します。

主な貢献

1. 内在的条件付けインターフェース: 実在する写真と PBR レンダリングの間の橋渡しとして機能する、目標外観分解（アルベド、シェーディング、残差）を用いた統合された条件付けメカニズム。
2. 直接訓練戦略: 逆推定から順方向レンダリングのパイプラインや画像ごとの最適化の必要性を排除する、ペアの多照明写真を用いたエンドツーエンドの訓練アプローチ。
3. PIXLRelight モデル: 0.1 秒未満の推論時間で最先端のリライティング品質を達成するフィードフォワード型トランスフォーマー。これにより、対話的な照明設計が可能になります。

結果

定量的パフォーマンス

MIT Multi-Illumination Images in the Wild（MIIW）テスト分割で評価したところ、PIXLRelight は既存のベースライン（DiffusionRenderer、UniRelight、RGBX、Ouroboros、V-RGBX）を大幅に上回りました：

• PSNR: 29.18 dB（次点の Ouroboros の 19.38 dB に対して）。
• SSIM: 0.893（0.763 に対して）。
• LPIPS: 0.195（0.438 に対して）。
• 速度: 画像あたり 0.09 秒。これはすべてのベースラインよりも少なくとも 1 桁速く（次点の 0.62 秒に対して）、極めて高速です。

定性的パフォーマンス

• 制御性: Blender によるパストレーシングされたユーザー設計の照明を用いた実験において、PIXLRelight は、ソース画像の写実的な詳細を保持しつつ、側面からの影、暖かい屋内の輝き、集束したスポットライトなどの複雑な照明効果を正常に転送しました。
• 頑健性: ソースから逸脱したり、近接光源を表現できなかったりするベースラインとは異なり、PIXLRelight はアイデンティティ忠実度を維持します。ソース RGB と目標内在的値が別々のブランチで処理されるため、単一画像 3D 再構成に固有の粗い幾何学形状や材質の誤差に対して頑健です。

意義と主張

本論文は、PIXLRelight がコンピュータグラフィックスの物理的照明制御を「野生」の写真に成功して持ち込んだと主張しています。目標照明の指定とその適用を分離することで、この手法は画像ごとの最適化の計算オーバーヘッドなしに、任意の PBR スタイルの照明制御を可能にします。著者らは、このアプローチが 0.1 秒未満で実行されながら最先端の品質を達成しており、実在する写真に対する対話的な照明設計を実用的なものにしていると強調しています。この手法は、内在的分解が実在ドメインと合成ドメインの間に十分な橋渡しを提供し、モデルが再構成アーティファクトを吸収しながら照明の手がかりを正確に転送できるという仮定に基づいています。