A Hybrid Neural-Microfacet BRDF Model for Real-Time Rendering

技術要約：リアルタイムレンダリングのためのハイブリッド・ニューラル・マイクロファセットBRDFモデル

問題提起
リアルタイム・レンダリング・パイプラインは、その効率性と編集性の高さから、長らくマイクロファセットに基づく双方向反射分布関数（BRDF）モデル（例：GGX）に依存してきました。しかし、これらの解析的なモデルは、回折、イリデッセンス（虹彩現象）、あるいは複雑な多層散乱といった、複雑な光と表面の相互作用から生じる微妙な外観効果を再現できないことがよくあります。これらの現象に対して専門的な物理ベースのモデルも存在しますが、汎用性とパフォーマンスに欠けています。一方で、近年のニューラルBRDFモデルは、計測データに対して高い忠実度で近似できますが、通常は大規模なネットワークを必要とし、リアルタイム・レンダリングには計算コストが高すぎる上、芸術的な制御のための意味のあるパラメータも欠いています。核心となる課題は、表現力、堅牢性、重要度サンプリングを伴う高速な評価、低メモリ・フットプリント、そして編集可能性を同時に満たす表現形式を開発することです。

手法
著者らは、標準的な解析的マイクロファセット定式化と軽量なニューラルネットワークを組み合わせた、ハイブリッドBRDFモデルを提案しています。このモデルは以下のように定義されます：
$$f_t(\omega_i, \omega_o) = f_c(\omega_i, \omega_o, z) + f_g(\omega_i, \omega_o, z) \times f_a(\omega_i, \omega_o, p)$$
ここで：

• $f_a$ は解析的成分であり、具体的にはディフューズ・アルベド（$k_d$）、屈折率（$\eta$）、および粗さ（$\alpha$）によってパラメータ化された、ランバート項とGGXマイクロファセット・スペキュラ・ローブからなるシングルローブ・モデルです。
• $f_c$ は加法的な残差補正項です。
• $f_g$ は、解析的項の影響を調整するゲーティング関数です。
• $z$ は、各材料に固有の低次元潜在コードです。
• $p$ は解析的パラメータを表します。

補正関数とゲーティング関数の両方は、材料のコレクション間で共有される単一の浅い多層パーセプトロン（MLP）によって予測されます。ネットワークは、入射光方向および出射光方向（$\omega_i, \omega_o$）と、材料の潜在コード $z$ を入力として受け取ります。

学習戦略
本モデルは、共有ネットワークの重み（$w$）、材料ごとの潜在コード（$z$）、および材料ごとの解析的パラメータ（$p$）を同時に最適化する共同学習戦略を採用しています。目的関数は以下の2つの損失項を最小化します：

1. 解析的損失 ($L_a$): 解析的成分（$f_a$）が単独でターゲットとなるBRDFを可能な限り正確に近似するように促します。これにより、解析的パラメータが物理的な意味を保持し、ネットワークが残差効果のみを学習するようにします。
2. ハイブリッド損失 ($L_t$): フルハイブリッドモデルをリファレンス・データに対して監督します。

このデュアル損失アプローチは、ニューラルネットワークがベースモデルの仕事を重複して行うことを防ぎ、これにより、より小さなネットワーク・アーキテクチャ（例：隠れユニット16〜32個）での運用を可能にします。

主な貢献

1. ハイブリッド・アーキテクチャ: 物理ベースのマイクロファセット・モデルに対してニューラルネットワークが補正項として機能する新しい定式化により、最小限の計算オーバーヘッドで高い視覚的忠実度を実現しました。
2. 潜在コードを用いた共有ネットワーク: データセット内の各材料を、低次元の潜在コードと解析的パラメータのみによって区別する単一の共有ニューラルネットワークを使用することで、すべての材料に対して固有の重みを保存する場合と比較して、メモリコストを劇的に削減しました。
3. 共同最適化: 解析的成分がターゲット・データに近似し続けることを強制する学習手順により、ネットワークが残差に集中するようにします。これにより、アーティストによる編集のための解析的パラメータの解釈可能性が維持されます。
4. 効率的な重要度サンプリング: 重要度サンプリングに苦慮する完全ニューラルBRDFとは異なり、本モデルは解析的なGGX成分を直接サンプリングのプロキシとして利用できるため、追加のニューラル推論なしに効率的な多重重要度サンプリング（MIS）を可能にします。
5. 選択的評価: 本定式化は、ニューラルネットワークが必要なとき（例：最初のレイ・バウンス時）にのみ評価される戦略をサポートしており、後続のバウンスでは解析的モデルへフォールバックすることで、さらなるパフォーマンスの最適化を実現しています。

結果
モデルは3つのデータセット（MER1L（等方性100）、RGL（等方性51、異方性11）、UTIA（異方性150））で評価されました。

• 再構成品質: ハイブリッドモデルは、同等のネットワークサイズを使用した場合、最先端の完全ニューラルモデル（特に [ZRW∗24]）と比較して、BRDF空間における対称平均絶対パーセント誤差（SMAPE）およびレンダリング画像における平均絶対誤差（MAE）において、より低い値を示しました。小さなMLP（例：32×3）において、ハイブリッドモデルは大多数のケースで完全ニューラルなアプローチを凌駕しています。
• パフォーマンス: ハイブリッドモデルの評価時間は、同サイズの完全ニューラル・ベースラインと同等ですが、より優れた再構成品質を提供します。解析的フォールバックにより、ニューラル成分を選択的に無効にした場合、レンダリング時間は純粋なGGXのパフォーマンスに近づきます。
• 編集可能性: 解析的パラメータ（$k_d, \eta, \alpha$）を変更すると、材料の探索や補間実験で示されているように、外観に一貫性があり妥当な変化が生じます。
• サンプリング効率: 解析的成分に基づく重要度サンプリング戦略は、メモリを極めて少量しか必要とせずに、テーブル化されたリファレンスの効率に迫ります。

意義
本論文は、このハイブリッド・アプローチが、ニューラルモデルの表現力と解析的モデルの効率性・編集性の間の溝を埋めることに成功したと主張しています。解析的成分を強力な事前分布として活用することで、本手法は、リアルタイム・レンダリングに適した浅いネットワークを用いて、複雑な計測BRDFの高精度な再構成を実現しました。結果として得られるモデルは、高い表現力、安定した挙動、低いメモリ・フットプリント、および直感的なオーサリング機能を備えつつ、効率的な重要度サンプリングを実行できる、プロダクション・ワークフローにおける実用的なソリューションを提供します。著者らは、本モデルはシングルローブの材料には優れているものの、イリデッセンスのような非常に複雑なマルチローブ効果には苦戦する可能性があると述べており、解析的事前分布とニューラル表現力の間のトレードオフは依然として開かれた課題であることを示唆しています。