技術概要：画像ベース照明を用いたバーチャルプロダクション向けリライティング可能ガウススプラッティング

問題提起

バーチャルプロダクション（VP）は、LED ウォールを使用して背景画像と画像ベース照明（IBL）の両方を提供し、オンセットでのコンポジットを可能にします。これによりインカメラでの視覚効果が可能になりますが、背景とシーンの照明の間に密接な結合が生じます。この硬直性は、ポストプロダクションの柔軟性を制限します。望ましいクリエイティブな成果からの逸脱は、頻繁に高価な再撮影や複雑な編集を必要とします。

従来の逆レンダリング（IR）アプローチは、環境マップを使用して 3 次元幾何学と照明を同時に推定することで照明の分離を試みます。しかし、これらの手法は VP の文脈において重大な限界に直面しています：

1. 遠方光源仮定: 標準的な環境マップは遠方の光源を仮定しますが、VP の LED ウォールは近場光源として機能するため、照明効果の誤差や再構成エラーを引き起こします。
2. 複雑性と携帯性: IR 手法は、物理ベースレンダリング（PBR）フレームワーク、レイトレーシング（例：NVIDIA OptiX）、および頑健な表面法線に依存することが多く、真の深度データや補助的な幾何学を必要とします。これにより計算コストが増大し、携帯性が低下します。
3. 解像度の制約: 環境マップは照明を球面表現に圧縮するため、構造化された LED 光源からの反射に必要な高解像度の詳細が失われることがよくあります。

既存の LED 背景向けの 2 次元リライティング技術は、新しい 3 次元ビューやカメラ軌跡を合成できず、カメラの動きやショットの構成がポストプロダクションで設計されることが多い現代の映画制作のニーズを満たしていません。

手法

著者は、VP 環境で撮影された 3 次元ガウススプラッティング（GS）シーンに特化した、幾何学を暗黙的に含むリライティングフレームワークを提案します。中核的な革新は、既知の背景画像を直接サンプリングして照明をモデル化するパラメータ化であり、環境マップ、明示的なレイトレーシング、または複雑な材質特性推定を不要にします。

1. 幾何学フリーのリライティングパイプライン

表面法線や材質特性（アルベド、ラフネスなど）を復元する代わりに、この手法はシーンを固定された外観と可変的な照明の成分に分解します。

• 固定された外観（$\tilde{c}_i$）: 規範的な照明条件におけるオブジェクトの色を表します。
• 可変的な照明（$f(\cdot|I^B_k)$）: 背景テクスチャ $I^B_k$ の変化によって引き起こされる残差色をモデル化します。

背景 $k$ におけるガウスプリミティブ $i$ の最終的な色は、以下のように計算されます：
$$c_{i,k} = \tilde{c}_i + \tilde{\lambda}_i \Delta c(\cdot | I^B_k)$$
ここで、$\tilde{\lambda}_i$ は学習可能な強度/露出パラメータであり、$\Delta c$ は背景のサンプリングから導き出された色の変化です。

2. 画像空間のライトテクスチャサンプリング

レイトレーシングなしで視点依存の照明を実現するため、各ガウスプリミティブには学習可能なUV 座標（$\mu_i$）が割り当てられます。これらの座標は、反射または屈折した光線が交差すると予想される LED ウォールの画像空間上の 2 次元ピクセル位置を表します。

• ミップマップサンプリング: テクスチャエイリアシングと距離の変動に対処するため、背景画像は $N$ 段階のミップマップレベルにダウンサンプリングされます。学習可能なスケーリングパラメータ（$\delta_i$）が適切なミップレベルの境界を決定します。
• バイリニア補間: 最終的な色残差は、下限および上限のミップマップからのサンプルを線形補間することで取得されます。
• 暗黙的な反射: 各ガウスに対して UV 座標を学習することで、システムは LED ウォールの 2 次元画像空間に基づいて反射と屈折を暗黙的に捉え、表面法線や LED ウォールの 3 次元ポーズを計算する必要を回避します。

3. 背景表現とコンポジット

GS は LED ウォール自体を信頼性高く再構成できないため、フレームワークは背景を別のエンティティとして扱います：

• マスキング: 訓練中、背景に対応するガウスは手動で描画されたマスク（$Q_j$）を使用して剪定されます。
• バックプレートメッシュ: 訓練後、元の高分解能の背景画像は、ガウスシーンの背後に配置された単純な低ポリゴン 2 次元メッシュ上に投影されます。
• アルファブレンディング: 前景の GS レンダリングは、背景メッシュのレンダリングとアルファブレンディングされます。これにより、実際の LED 発光体の撮影に固有の光の歪みが排除され、再撮影なしで任意の背景置換が可能になります。

4. 最適化

システムは、RGB、DSSIM、および「規範的損失（$L_{canon}$）」を組み合わせたパンオプティック損失を使用して訓練されます。規範的損失は、固定された外観成分（$\tilde{c}_i$）が参照照明条件におけるオブジェクトの外観を保持し、可変的な照明を残差項に分離することを保証します。

主要な貢献

1. 幾何学フリーのリライティングパイプライン: 深度の事前知識、補助的な幾何学、光輸送シミュレーション、またはカスタム CUDA コードを必要としない、VP 固有のフレームワーク。既知の背景を直接サンプリングすることで、照明を幾何学から分離します。
2. 新規の GS パラメータ化: 各ガウスに学習可能な UV 座標と強度値をパラメータ化し、画像空間で直接画像ベースの光源をサンプリングする手法。これにより、環境マップなしでフォトリアルな視点依存照明を実現します。
3. 新しい VP データセット: 小型およびフルサイズのステージの両方を用いて、変化する背景コンテンツと照明条件の下で撮影された、VP における 3 次元再構成とリライティングのための最初の公開マルチカメラデータセットの導入。

実験結果

著者は、最先端の IR ベースラインであるTensoIRと、2 つのプロキシベースラインであるTIR（幾何学フリーパイプラインに適応させた TensoIR）およびDFR（ディファードレンダリングアプローチ）に対して、提案手法を評価しました。

• 客観的指標: 提案手法は、PSNR（RGB、Y、CrCb）、SSIM、LPIPS のすべてのデータセットで優れた性能を達成しました。例えば、データセット 1 において、提案手法は 25.65 の PSNR を達成し、TensoIR の 16.19 と比較して優れていました。
• 効率性: このアプローチは非常に効率的で、3GB 未満の RAM、5GB 未満の VRAM、18 視点での 2 時間未満の訓練時間を必要とします。推論速度は 35 FPS に達します。
• アブレーション研究: 実験により、リライティングプロセスによって幾何学的品質が損なわれることなく、多様なテクスチャ訓練データから手法が恩恵を受けることが確認されました。
• 主観的研究: 12 名の参加者（VFX アーティストを含む）による研究で、手動リライティング、モデルの生出力、および補助出力変数（AOV）によって支援されたモデルの出力が比較されました。結果は、パイプラインがプロフェッショナルな手動リライティングと同等の高品質な結果を生み出すことを示しており、アーティストは AOV により低レベルの操作ではなくクリエイティブな編集に集中できると指摘しました。

意義と主張

本論文は、バーチャルプロダクションにおけるポストプロダクションの柔軟性に対する実用的な解決策を提供すると主張しています。特殊な撮影機器（環境マップ用の 360 度カメラなど）や複雑な逆レンダリングパイプラインへの依存を排除することで、この手法は以下を可能にします：

• 撮影後の修正: 監督やアーティストは、撮影後に LED 背景画像と関連するシーンの照明を変更でき、再撮影を必要としません。
• コスト削減: 標準的なカメラと非専門的な照明条件を使用できる能力により、制作コストと複雑さが削減されます。
• ワークフロー統合: 深度、照明強度、無照明レンダリングなどの有用な任意の出力変数（AOV）のレンダリングをサポートし、下流の VFX ワークフローを促進します。

著者は、このアプローチが光源が既知かつ制御されている VP の制約と機会に特化しており、照明が未知の「野外（in-the-wild）」再構成手法とは区別されると強調しています。このフレームワークは、現在の重厚な逆レンダリング技術に対する軽量で携帯性が高く、効率的な代替案として提示されています。