High-Quality Facial Geometry and Appearance Capture at Home

この論文「High-Quality Facial Geometry and Appearance Capture at Home（自宅での高品質な顔の幾何学と外観のキャプチャ）」は、スタジオ環境ではなく、一般的なユーザーが自宅で行える低コストかつ高品質な顔の 3D スキャン手法を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義

従来の高品質な顔の 3D キャプチャは、Light Stage などの高価な専用機材とスタジオ環境を必要としており、一般ユーザーには利用が困難でした。近年、スマートフォンや自然光を用いた手法（SunStage, PolFace など）が提案されましたが、以下の課題が残っていました。

• 制約の厳しさ: 太陽光が必要、偏光フィルターが必要、暗室が必要など、日常利用には不便な条件が多い。
• 対象の限界: 既存の手法は主に「顔の肌」のキャプチャに焦点を当てており、目（眼球）、口内、髪などの複雑な部分を含めた「顔全体」のモデル化が不十分である。特に、眼球のような高反射物体の幾何学と外観の再構成は極めて困難です。

2. 提案手法

この論文では、暗い部屋（カーテンを閉めた部屋や夜間）で、スマートフォンのフラッシュライトを点灯させた状態で被写体の周りを撮影する単一の共位置（co-located）動画シーケンスを入力とし、再照明可能な 3D アセットを生成する手法を提案しています。

2.1 ハイブリッド表現（Hybrid Representation）

顔全体を単一のニューラルフィールドで表現するのではなく、部位ごとに最適な表現を組み合わせる「ハイブリッド表現」を導入しました。

• 眼球領域（E）: 高反射かつ形状が既知であるという事前知識（Prior）を利用し、2 つの球体メッシュとして表現します。
  • 鏡面反射（Specular）の特性（アルベドと粗さ）は事前に定義された値を使用。
  • 拡散反射（Diffuse）のアルベドのみをデータから学習・推定します。
  • これにより、眼球の再構成という難易度の高い問題を回避し、自然な輝きを実現します。
• その他の領域（S）: 肌、口内、髪などは、ニューラル SDF フィールド（Signed Distance Function）とニューラル BRDF フィールド（Disney BRDF パラメータ：拡散アルベド、鏡面アルベド、粗さ）を用いて表現します。

2.2 メッシュ対応ボリュームレンダリング（Mesh-Aware Volume Rendering）

眼球メッシュとニューラル SDF フィールドを統合してレンダリングする新しい技術を開発しました。

• 各レイ（光線）上の点について、その点が眼球領域（E）に属するか、それ以外の領域（S）に属するかを、両者の SDF 値を比較する「select 演算子」で決定します。
• 領域に応じて、対応する SDF 値、法線、および BRDF パラメータを選択して着色計算を行います。これにより、ニューラルフィールドとメッシュをシームレスに統合し、従来のボリュームレンダリングの枠組み内で眼球を扱えるようにしました。

2.3 複合照明モデルと正則化

• 複合照明モデル: スマートフォンのフラッシュライト（高周波光源）と、部屋全体の環境光（低周波の拡散光）を同時にモデル化します。フラッシュライトは点光源、環境光は 2 次までの球面調和関数（Spherical Harmonics）で表現し、単一の動画から両者を分離して推定可能にしています。
• 反射率正則化（Reflectance Regularization）: 拡散成分と鏡面成分の分離を安定させるため、Light Stage データで学習された 3D 変形可能顔アルベドモデル（AlbedoMM）を事前知識として利用します。これにより、学習中の反射率推定を制約し、物理的に妥当な結果を得ます。
• コンポジションロス（Composition Loss）: 顔解析ネットワークから得られたマスクを用いて、眼球領域とそれ以外の領域がそれぞれ正しい領域を表現しているかを制約する損失関数を導入し、学習の安定性を高めています。

3. 主要な貢献

1. 低コストかつ高品質なキャプチャシステム: 特別な機材（偏光フィルターや暗室）や屋外光源を必要とせず、スマートフォンと暗い部屋だけで高品質な顔キャプチャを実現。
2. 完全な顔モデルの表現: 肌だけでなく、眼球、口内、髪を含む「顔全体」を再照明可能な 3D アセットとして再構成する初の手法の一つ。
3. 眼球のためのハイブリッド表現と学習技術: 眼球の球体メッシュとニューラル SDF を組み合わせ、メッシュ対応ボリュームレンダリングと新しい損失関数により、高反射物体の再構成問題を解決。
4. 実用的な照明モデル: 単一のフラッシュライト動画から、環境光とフラッシュライトを分離し、拡散・鏡面成分を適切に解離する手法の提案。

4. 結果と評価

• 定量的評価: 既存の手法（NextFace++, WildLight など）と比較し、PSNR、SSIM、LPIPS において優れた性能を示しました。特に、NextFace++ は BFM（3D Morphable Model）に依存するため目の詳細が再現できませんが、本手法はデータ駆動型のため被写体固有の細部まで再現可能です。
• 定量的評価（スタジオ比較）: 高価な Light Stage によるキャプチャと比較すると、解像度や拡散・鏡面の分離精度では劣りますが、スマートフォン動画からのキャプチャとしては非常に高い品質を達成しています。
• 再照明（Relighting）: 生成されたアセットは Blender などの一般的な CG ソフトウェアと互換性があり、新しい照明環境下でのフォトリアリスティックなレンダリングが可能です。
• 応用: 本手法を「Reflectance Transfer」技術と組み合わせることで、低コスト環境下での顔のパフォーマンスキャプチャ（表情変化を含む動画の再照明）も実証しました。

5. 意義と限界

• 意義: この研究は、高品質なデジタルツイン（3D アバター）の作成を、専門家やスタジオに依存せず、一般ユーザーが自宅で行えるようにする「民主化」に大きく貢献します。特に、目や口内など従来困難だった部位を含めた完全な顔モデルの取得は、バーチャルリアリティやメタバースにおける没入感を高める上で重要です。
• 限界:
  • 眼球のメッシュ位置と半径は手動設定が必要（自動推定は今後の課題）。
  • 撮影に約 25 秒を要するため、被写体の微細な動き（瞬きなど）がテクスチャにアーティファクトとして現れる可能性がある。
  • 髪は拡散面としてモデル化しており、飛んでいる髪などの複雑な形状の再現は不十分。

総じて、この論文は、制約の少ない環境下で、複雑な物理的特性（特に眼球の反射）を考慮した高品質な顔の 3D 再構成を実現した画期的な研究と言えます。