High-Quality Facial Geometry and Appearance Capture at Home

这是一篇关于家庭环境下高质量面部几何与外观重建的学术论文总结。该论文提出了一种低成本、易用的方法，能够仅使用智能手机闪光灯在昏暗房间中拍摄的单段视频，重建包含皮肤、口腔内部、头发和眼睛的完整可重光照（Relightable）3D 人脸资产。

以下是详细的技术总结：

1. 研究问题 (Problem)

• 背景：传统的高质量人脸扫描（如 Light Stage）需要昂贵的专业设备和工作室环境，难以普及。
• 现有局限：
  • 现有的“去中心化”（Democratized）方法（如利用阳光或偏振滤镜）虽然降低了门槛，但仍需要特定条件（如户外阳光、暗室、偏振镜），对普通用户不够友好。
  • 大多数现有方法仅关注面部皮肤的重建，忽略了眼睛、头发和口腔内部等具有不同反射特性的区域。特别是眼睛（高反光）和皮肤（漫反射为主）的混合重建极具挑战性。
• 目标：开发一种仅需普通智能手机、在普通昏暗房间（如拉上窗帘的夜间房间）即可操作的方法，重建包含完整面部特征（含眼睛、头发）的高质量、可重光照的 3D 资产。

2. 方法论 (Methodology)

2.1 数据采集 (Data Capture)

• 输入：在昏暗房间（闪光灯为主要光源）中，使用智能手机拍摄的一段共位（Co-located）序列视频。
• 设置：手机闪光灯开启，围绕主体旋转拍摄约 25 秒。
• 优势：无需偏振镜、无需暗室、无需户外阳光，用户只需在普通房间拉上窗帘即可操作。

2.2 混合表示法 (Hybrid Representation)

为了解决不同面部区域（特别是高反光的眼睛与漫反射的皮肤）建模的难题，作者提出了一种混合表示法：

• 眼部区域 (E)：
  • 假设眼球为两个具有相同半径的球体网格（Sphere Meshes）。
  • 赋予预定义的**高光反射（Specular）**属性（高光颜色和粗糙度）。
  • 仅从数据中求解眼球的空间变化漫反射反照率（Diffuse Albedo）。
  • 利用先验知识（Priors）简化高反光物体的重建难题。
• 其他区域 (S)（皮肤、口腔、头发）：
  • 采用神经场（Neural Fields）。
  • 使用神经 SDF 场表示几何形状。
  • 使用神经场建模 Disney BRDF 参数（漫反射、高光、粗糙度）作为反射率。
• 融合：将眼球网格与神经 SDF 场无缝集成，形成完整的面部几何。

2.3 网格感知体积渲染 (Mesh-Aware Volume Rendering)

为了训练上述混合表示，作者设计了一种新的渲染技术：

• 将眼球网格转换为 SDF 场。
• 定义可微分的 select 算子，根据采样点的位置（属于眼球区域 E 还是皮肤区域 S），动态选择对应的几何属性（SDF 值、法线）和材质属性（高光、粗糙度）。
• 这使得神经场能够“感知”到网格的存在，并在渲染过程中正确处理眼球与皮肤的边界。

2.4 联合光照模型 (Combined Lighting Model)

• 闪光灯：建模为高频点光源（与相机共位）。
• 环境光：建模为低频环境光，使用**2 阶球谐函数（Spherical Harmonics, SH）**表示，仅作用于漫反射项。
• 优势：相比之前的方法（如 WildLight 需要开/关闪光灯两段视频），该紧凑的光照表示使得仅凭一段开启闪光灯的视频即可解算光照和材质。

2.5 训练策略与正则化 (Training & Regularization)

• 损失函数：
  • 光度损失（Photometric Loss）、掩码损失（Mask Loss）、Eikonal 损失。
  • 组合损失 (Composition Loss, $L_{comp}$)：利用面部解析网络（Face Parsing Network）生成的掩码，约束混合表示中的眼部区域和皮肤区域互不干扰，防止神经场“侵入”眼球网格区域。
  • 反射率正则化 (Reflectance Regularization, $L_{ref}$)：利用 AlbedoMM（基于 Light Stage 数据训练的 3D 可变形人脸反照率模型）作为先验，约束漫反射和高光反照率的解耦，防止过拟合。
• 两阶段训练：先联合优化几何和材质，固定几何后仅优化材质以恢复更多细节。

3. 主要贡献 (Key Contributions)

1. 低成本、易用的采集方案：仅需单段智能手机闪光灯视频，无需特殊设备（偏振镜）或特殊环境（暗室/户外），即可重建完整人脸。
2. 混合表示法：提出结合网格（用于眼睛）和神经场（用于皮肤/头发）的新架构，有效解决了高反光眼睛与漫反射皮肤混合重建的难题，并支持导出为通用 CG 软件（如 Blender）兼容的资产。
3. 紧凑光照与反射率约束：提出联合光照模型，仅需单段视频即可解算；引入 AlbedoMM 先验，显著提升了漫反射与高光分离（Disentanglement）的质量。

4. 实验结果 (Results)

• 重建质量：
  • 能够重建包含眼睛（含逼真高光）、头发、口腔内部的完整人脸。
  • 在眼睛区域的重建质量显著优于纯神经场方法（Holistic Rep），避免了眼球变形和材质错误。
  • 在重光照（Relighting）测试中，能生成逼真的新环境光照效果。
• 对比实验：
  • vs. NextFace++：在几何拟合度（PSNR, SSIM）和重光照真实感上均优于基于统计模型（BFM）的方法，特别是在五官细节和眼睛处理上。
  • vs. WildLight：仅需单段视频（WildLight 需两段），且在眼睛重建和纹理细节上表现更好。
  • vs. Light Stage (工作室级)：虽然受限于手机摄像头分辨率和拍摄时长，细节略逊于专业设备，但在低成本方案中达到了极高的质量，且能处理更复杂的面部表情。
• 应用：结合 Reflectance Transfer 技术，实现了低成本的可重光照面部表演捕捉。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 极大地降低了高质量 3D 人脸数字化的门槛，使普通用户在家即可创建可用于游戏、电影或元宇宙的逼真数字人资产。
  • 解决了“完整人脸”（含眼睛、头发）重建的难题，填补了现有低成本方法仅关注皮肤的空白。
  • 生成的资产可直接导入 Blender 等主流软件，具有极高的实用价值。
• 局限性：
  • 眼球参数：眼球的位置和半径仍需手动设置（未来计划通过多注视点视频自动估计）。
  • 拍摄时长：约 25 秒的拍摄时间可能导致细微运动模糊（如眨眼、眼皮移动），影响纹理清晰度。
  • 头发建模：目前假设头发为漫反射表面，未建模发丝的高光细节，飞发（Flying hairs）重建效果一般。
  • 睫毛：未显式建模睫毛，导致睫毛纹理被烘焙到眼球漫反射中（但在整体尺度下不明显）。

总结：该论文通过创新的混合表示法和紧凑的光照建模，成功将工作室级别的面部扫描能力下放至家庭环境，实现了低成本、高保真、完整的面部几何与外观重建，是人脸数字化领域的重要进展。