技術的概要：リアルタイム神経Hairデノイズ

問題定義

リアルタイムアプリケーション（ゲーム、VR、AR）におけるストランドベースのHairレンダリングは、一般的なシーンレンダリングとは異なる独自の課題を呈する。ラスタライゼーションは一般的な幾何学形状に対して効率的であるが、Hairは数万本の細いプリミティブで構成され、一般的な視聴距離では単一ピクセルよりも小さいことが多い。これにより、極端なサブピクセルの複雑性と深刻なアンダースamplingが生じ、ノイズの多いエイリアシングを伴うレンダリング結果をもたらす。

既存の解決策は重大な限界に直面している：

• 一般的なアンチエイリアシング（TAA、MSAA）： Hairの高い周波数詳細に苦戦し、細いストランドをぼかしたりゴーストリングを導入したりすることなくノイズを抑制することに失敗することが多い。
• 産業用ニューラル超解像（DLSS、FSR）： 一般的な幾何学形状に対しては効果的であるが、Hairに対しては効果が低い。なぜなら、エッジ検出後でもエイリアシングのアーティファクトが残存し、最終的なシェーディング画像上で動作するため、誤差が照明や可視性と絡み合っているからである。
• 以前のHair固有の手法： 可視性バッファ上のマルチサンプルアンチエイリアシングや、最終画像のCNNベースのデノイズなどのアプローチは、しばしば高い実行時コスト（例：20ms以上）を伴い、ぼやけやエネルギー変動に悩まされ、物理ベースシェーディングに必要な幾何学的整合性を維持できない。

核心的な問題は、シェーディング前に、過酷なアンダースampling入力から幾何学的属性（カバレッジ、接線、位置）を再構成する軽量なリアルタイム手法の必要性であり、これにより過大な計算コストなしに時間的安定性と幾何学的忠実度を確保する必要がある。

手法

著者らは、遅延シェーディング前にHairのGバッファ（幾何学バッファ）を再構成する軽量なリアルタイムパイプラインを提案する。最終RGB画像をデノイズする手法とは異なり、このアプローチは物理ベースのHairシェーディングに必要な幾何学的および方向情報を保持するためにGバッファ空間で動作する。パイプラインは4つの主要な段階で構成される：

1. ニューラル空間再構成

軽量な双枝U-Net（$\Psi$）が単一フレームを処理し、ノイズの多いエイリアシング入力からカバレッジ（Hairの可視性の分数）と接線（方向）バッファを再構成する。

• アーキテクチャ： 本ネットワークは、スカラーカバレッジとベクトル値接線のそれぞれに対して別々の浅いエンコーダ枝を使用し、ボトルネックでそれらを融合する。
• アテンション： ボトルネックにおけるマルチヘッド自己アテンションモジュールは、局所的な証拠が弱い可能性がある疎なHair構造において重要な長距離相互作用を捉える。
• 階層的フィルタリング： 補助的なマルチスケール枝は、残差再構成経路を安定化させる低周波フィルタリング係数を予測し、高速な推論を確保する。
• 出力： 本ネットワークは、再構成されたカバレッジ、接線、および前景サポートマスクを出力する。

2. ニューラル時間的蓄積

再帰的時間モジュール（$\Gamma$）は、ちらつきを抑制し、運動/非表示（disocclusion）に対処するために空間予測を洗練させる。

• 入力： 現在の空間予測、前フレームからの再投影履歴、運動ベクトル、および不一致を検出するための歪められた運動ベクトル差を入力とする。
• メカニズム： コンパクトな残差CNNとして実装され、空間出力に対する残差補正を予測する。これにより、時間的整合性を活用しつつ、無効な履歴が結果を汚染するのを防ぐ。

3. 接線ガイド位置再構成

ニューラルネットワークは、遮蔽や欠落サンプルのため、直接正確な3D位置を予測することに苦戦するため、著者らは位置バッファを完成させるために解析的かつ接線ガイドされた再構成ステップを導入する。

• 深度インペインティング： 欠落した深度値は、最近傍補間によって埋められる。
• 双方向伝播：
  • 後方修復： 位置が欠落しているピクセルに対して、アルゴリズムは類似した曲率中心を持つ最も近い有効な隣接ピクセルを特定し、その位置を再構成された接線に沿って伝播させる。
  • 前方投票： 有効なピクセルは、その接線に沿って隣接ピクセルへ前方に位置を投影する。接線方向が伝播方向と一致する場合にのみ投票が受理される。
  • 選択： ピクセルの最終位置は、深度（最も手前の可視表面）に基づいて候補プールから選択され、幾何学的整合性が確保される。

4. 遅延シェーディング

完成したGバッファ（カバレッジ、接線、位置、深度）は、標準的な物理ベースの遅延Hairシェーディングに使用され、最終的な高品質画像を生成する。

主要な貢献

1. 軽量な時空間フレームワーク： Hairカバレッジと接線バッファを再構成する新規のニューラルフレームワークであり、再構成の質と時間的安定性の両方を向上させ、既存のHair固有デノイズおよび一般的な産業用ソリューションを上回る。
2. 接線ガイド位置補完： 再構成された接線を使用して欠落したワールド空間位置の補完をガイドするハイブリッド解析 - ニューラル手法であり、明示的なレイ - Hair交差テストの高コストなしに安定した遅延シェーディングを可能にする。
3. Gバッファ空間再構成： シェーディング前に動作することで、誤差が照明や可視性と絡み合うことを避け、RGB空間デノイズと比較して幾何学的忠実度を保持し、より優れた時間的整合性を可能にする。

結果と評価

本手法は、Unreal Engine 5を使用して、静止および動的条件下で多様なヘアスタイル（ストレート、ウェーブ、アフロ、ポニーテール）で評価された。

• 定量的性能： 提案手法は、すべての指標（MSE、PSNR、SSIM、LPIPS、FLIP）において、ベースライン（MSAA、SSAA、TAA、DLSS、FSR、および学術的なHair固有デノイズ）を一貫して上回った。
  • 静止Hairにおいて、PSNRは27.43（DLSSの20.08に対して）、LPIPSは0.0206（DLSSの0.0583に対して）を達成した。
  • 動的Hairにおいて、PSNRは28.57、LPIPSは0.0155を達成した。
• 実行時効率： 本パイプライン全体は、フレームあたり約0.8 msから1.0 msで動作する（解像度および特定のハードウェアに依存）。これは、FSR（0.5 ms）などの産業用ソリューションと同等であり、以前の学術的なHairデノイズ（例：Curriusら [2022] の20.3 ms）よりも著しく高速である。
• 視覚的品質： 本手法は、疎なHairの輪郭と細いストランドの詳細を効果的に保持し、特にRGB空間手法がぼやけやシェーディング情報の混合を起こしやすい、複雑で高度に湾曲した、または絡み合ったヘアスタイル（例：アフロヘア）において顕著である。

意義と主張

本論文は、一般的なデノイズ手法とHairの特定の幾何学的性質との間の根本的なミスマッチに対処することで、リアルタイムHairレンダリングにおいて重要な前進を遂げたと主張している。

• 幾何学的忠実度： RGB画像ではなくGバッファを再構成することで、本手法は、ポストプロセスフィルタリングでしばしば失われる、物理ベースシェーディング、シャドウ、多重散乱に必要な幾何学的整合性を維持する。
• リアルタイム実現可能性： 本手法は、現代のゲーム制作の厳格な時間制約（ミリ秒未満）内で高品質な再構成を達成し、現在のゲームエンジンへの統合に適している。
• 堅牢性： 双方向再構成戦略は、アンダースamplingされたHairに内在する疎性とエイリアシングを効果的に処理し、非表示（disocclusion）を伴う動的シナリオでも安定した結果を提供する。

著者らは限界を認め、一般化はトレーニングデータに依存し、現在の実装は低レベルのエンジン最適化よりもアルゴリズムの明瞭さを優先していることを指摘している。カーネル融合やプラットフォーム固有の加速によるさらなる実行時削減の余地が残されている。しかし、静的幾何学に対してデノイズされたGバッファをキャッシュする本手法の能力は、照明のみの変更に対して独自の利点を提供し、その実用性をさらに高めている。