8DNA: 8D Neural Asset Light Transport by Distribution Learning

以下は、論文「8DNA: 8D Neural Asset Light Transport by Distribution Learning」の詳細な技術的概要です。

1. 問題定義

現実世界の 3D アセットは、サブサーフェス散乱、光沢のある相互反射、微細な繊維散乱などの複雑なグローバルイルミネーション（GI）効果をしばしば示します。これらの効果を標準的なモンテカルロパストレーシング（PT）でシミュレーションする場合、長い光路と高い分散により、計算コストが非常に高くなります。

既存のニューラルアプローチは、レンダリングを高速化するために光輸送をニューラル表現に「事前焼き付け（pre-bake）」しようとしています。しかし、これらの手法には 2 つの決定的な限界があります：

1. 次元削減：ほとんどの先行研究（例：Mullia ら、Tg ら）は、遠方照明を仮定し、光輸送関数を6 次元関数（出力位置/方向と入力方向のみに依存）に縮約しています。この近似は、近方照明（物体に近い面積光源など）の下では失敗し、不正確な遮蔽やシェーディングを引き起こします。
2. トレーニングの不安定性：標準的な回帰（真値に対する MSE の最小化）を通じて、完全な8 次元光輸送関数（出力位置/方向 $x_o, \omega_o$ と入力位置/方向 $x_i, \omega_i$ に依存）をトレーニングすることは極めて困難です。分散が高く、非常に光沢のある相互作用の真値を推定するには莫大なサンプリング予算が必要となり、収束が遅く、精度も低くなります。

2. 手法：8D ニューラルアセット（8DNA）

著者らは、直接回帰ではなく分布学習フレームワークを使用して、完全な8 次元光輸送分布を学習するニューラル表現8DNAを提案します。

A. 数学的定式化

光輸送関数 $F(x_o, \omega_o, x_i, \omega_i)$ は、2 つの成分に分解されます：

1. アルベド（生存確率）$\alpha(x_o, \omega_o)$：与えられた出力方向に対してアセットから出る総エネルギー。
2. 散乱分布 $p(x_i, \omega_i | x_o, \omega_o)$：光がアセットに入る位置と方向を記述する条件付き確率分布。

$$F = \alpha \cdot p$$

B. 分布学習フレームワーク

$F$ を直接回帰する代わりに、モデルはフォワードパストレーシングされたサンプルを用いて $p$ と $\alpha$ を個別に学習します：

• 散乱分布（$p$）：ベクトル値正規化フローを用いてモデル化されます。モデルは、出口光線 $(x_o, \omega_o)$ が与えられたときの入射光 $(x_i, \omega_i)$ の確率密度を予測することを学習します。
  • 入力再パラメータ化：表面点と方向の非ユークリッド的な性質を処理するため、入射光線は軸方向バウンディングボックス（または凸包）にトレースされ、有効なユークリッドパラメータ化が作成されます。
  • アーキテクチャ：MLP を介して実装された有理二次スプライン（RQS）を使用した自己回帰フロー。
• アルベド（$\alpha$）：総スループット（生存確率）を予測する標準的な MLP としてモデル化されます。
• トレーニング目的：
  • 分布損失：学習された分布 $p$ におけるパストレーシングサンプルの負対数尤度を最小化します。これは、$-\log p$ を入射光としてアセットをレンダリングすることと同等です。
  • アルベド損失：予測された $\alpha$ とパスサンプルの実験的平均スループットとの L2 差を最小化します。
  • 主な利点：回帰とは異なり、この損失の勾配は分散が低いです。なぜなら、それらはパスサンプルから直接推定されるため（重要度サンプリング）、真値を推定するためにクエリあたり数千のサンプルを必要としないからです。

C. 直接・間接の分離

ガラスなどの非常に光沢のある境界を処理するために、この手法は直接散乱（BSDF 経由で解析的に処理）と間接散乱（ニューラルネットワークによって学習）を分離します。これにより、ネットワークが鋭いデルタ状の関数を学習することに苦労することを防ぎ、その能力を複雑な体積効果や相互反射効果に集中させることができます。

D. 推論（レンダリング）

レンダリング中、モデルはパストレーサーに統合されます：

1. 学習されたフロー $p$ を用いて、バウンディングボックス上の入射位置 $u_i$ をサンプリングします。
2. **多重重要度サンプリング（MIS）**を使用して、ニューラルアセットサンプリングと標準的なエミッターサンプリングを組み合わせます。
3. 直接散乱が分離されている場合、次のバウンスのために直接 BSDF ロブをサンプリングするか、ニューラルアセットをサンプリングするかを確率的に選択します。

3. 主な貢献

1. 完全な 8 次元光輸送表現：近方位置 $x_i$ を含む完全な 8 次元光輸送をニューラルアセットに成功裏に事前焼き付けした最初の手法であり、面積光源や複雑な近方構成下での正確なレンダリングを可能にします。
2. 分布学習トレーニング：散乱分布を学習するためにフォワードパストレーシングを活用する新しいトレーニング定式化です。このアプローチは、回帰ベースのベースラインと比較して最適化分散が低く、収束が速く、トレーニングにクエリあたり 1 サンプルのみを必要とします。
3. 効率的な事前焼き付け：この手法により、アセットを一度「事前焼き付け」すれば、内部の光輸送を再シミュレートすることなく任意のシーンでレンダリング可能となり、元の散乱モデルとの高い忠実度を維持します。

4. 実験結果

著者らは、標準的なパストレーシング（PT）および 6 次元遠方照明ベースラインに対して、様々なアセット（例：翡翠の印、竜、髪、毛皮）で 8DNA を評価しました。

• 精度：8DNA は、特に基盤が遮蔽（例：印の裏側の影）を捉えられない近方シナリオにおいて、遠方照明ベースラインと比較して有意に低い平均二乗誤差（MSE）を達成します。これは真値の PT と非常に良く一致します。
• 分散低減：
  • 体積内部を持つアセット（例：ミルク、印）では、8DNA は等しいサンプル数において標準 PT compared にレンダリング分散を2 倍〜20 倍低減します。
  • 微細なディテールを持つ表面のみのアセット（例：髪、布地）では、分散を1.4 倍〜4 倍低減します。
• 速度：
  • 推論：8DNA は、体積アセットでは PT より2〜20 倍高速で、微細な表面散乱では1.4〜4 倍高速です。
  • トレーニング：ニューラルフローの評価は単純な MLP よりも遅いですが、オンラインデータ生成（回帰ベースラインの数千サンプルに対し 1 サンプル）により、体積アセットの総トレーニング時間は3 倍高速となり、表面のみのアセットでは同等になります。
• 定性的：この手法は、6 次元ベースラインが見逃すまたは歪めるサブサーフェス散乱、光沢のある相互反射、繊維散乱などの複雑な効果を正しく再現します。

5. 意義と限界

意義：
8DNA は、高忠実度のオフラインレンダリングとリアルタイムパフォーマンスの間のギャップを埋めます。単純化された 6 次元近似ではなく完全な 8 次元分布を学習することで、展開中に長い光路を追跡する計算コストを伴わずに、任意の近方照明下で複雑なアセットの物理的に正確なレンダリングを可能にします。これは、アセットを動的に再照明する必要があるバーチャルプロダクション、ゲーム、デジタルツインなどのアプリケーションにおいて重要です。

限界：

• 凸包の制約：この手法は、アセットがその凸包内で孤立していることを仮定しています。新しいシーンで新しいジオメトリがアセットの凸包と交差する場合、事前焼き付けされた遮蔽効果は不正確になります（ただし、凸分解でこれを緩和できます）。
• 正規化フローの効率性：正規化フローの評価は単純な MLP よりも計算負荷が高いため、遠方近似ですでに十分なアセットにはあまり適していません。
• 高周波現象：正規化フローの平滑化バイアスにより、入射領域のサブ多様体上に位置する鋭いキャスチクスやグリンツのような極めて高周波の現象を再現することが困難になる場合があります。