Learning a Delighting Prior for Facial Appearance Capture in the Wild
本文提出了一种新颖的野外人脸外观采集流程，该流程利用经过训练的除光网络先验，并通过数据集潜在调制增强以统一异构训练数据，从而能够从日常视频中实现高质量的反射率估计，并构建了大规模开源的 NeRSemble-Scan 数据集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想要创建一个完美的人脸数字孪生体，其逼真程度足以用于电影或电子游戏。通常，要达到这种质量水平，你需要将人物置于一个巨大且昂贵的摄影棚内，里面装满了数百盏可单独开关的灯光。这就像试图用专业的工业烤箱来烘焙一个完美的蛋糕。
本文介绍了一种名为OpenDelight的新方法，它允许你仅使用在混乱、不可预测的环境（如公园或客厅）中用普通智能手机拍摄的视频，就能获得同样高质量的结果。这就像用标准厨房烤箱和一套巧妙的全新食谱来烘焙专业级蛋糕。
以下是他们如何实现这一点的分解说明，分为几个简单概念：
1. 问题：照片中的“阴影”
当你在户外拍摄某人时，阳光或路灯会在其脸上产生阴影和高光。如果你想将那张脸放入电子游戏中，游戏引擎就需要知道皮肤在去除这些阴影后实际的样子。这被称为将皮肤与光线“解耦”。
旧方法试图通过数学计算来解决这个问题，但这就像试图仅凭尝一口汤就猜出其中的配料；数学计算会被复杂的光线搞糊涂，并经常留下“ baked-in"（ baked-in 意为 baked-in，此处指 baked-in 阴影，即 baked-in artifacts）的 baked-in 阴影（伪影），看起来很不自然。
2. 解决方案：一个“去阴影”超级大脑
作者没有对每张照片进行复杂的数学计算，而是训练了一个特殊的 AI（神经网络）作为“去阴影先验”。你可以将这个 AI 想象成一位品尝过成千上万种汤的大厨，无论汤是如何端上来的，他都知道配料应该是什么味道。
- 目标：当你向它输入一张光线杂乱的照片时，它能瞬间“剥离”阴影和高光，揭示出下方干净、纯净的皮肤纹理。
- 结果：这种干净的纹理随后可用于以你喜欢的任何方式重新照亮人脸（例如，使其看起来像是在日落下或摄影棚灯光下），而不会受到原始阴影的干扰。
3. 秘诀：混合两种类型的数据
训练这个 AI 很棘手，因为你需要的两种数据类型截然不同，而且它们通常无法很好地协同工作：
- 类型 A（真实但模糊）：在真实摄影棚中拍摄的照片，每次只开一盏灯。这些照片看起来非常真实，但由于拍摄间隔中相机有轻微移动，所以略显模糊。
- 类型 B（清晰但虚假）：来自 3D 扫描的计算机生成图像。这些图像完美清晰且数学上完美，但看起来有点“塑料感”，与真实的人类皮肤不太匹配。
如果你只是将它们混合在一起，AI 会感到困惑并产生平庸的结果。
创新点：“数据集潜在调制”（DLM）
作者发明了一种名为数据集潜在调制的技巧。想象 AI 是一个学生，而这两个数据集是两位不同的老师。
- 老师 A（真实数据）教学生如何处理现实世界的混乱。
- 老师 B（虚假数据）教学生如何做到精确和清晰。
通常，如果学生在课程中途切换老师，会感到困惑。但作者赋予了 AI 特殊的“身份证”（称为源感知令牌）。
- 当 AI 看到来自老师 A 的照片时，它会戴上“真实身份证”。
- 当它看到来自老师 B 的照片时，它会戴上“清晰身份证”。
这使得 AI 能够从两位老师那里学习最佳课程而不会感到困惑。它从清晰数据中学习“皮肤规则”，但从真实数据中学习如何处理“现实世界噪声”。
4. 成果：从手机视频到电影魔法
一旦这个“去阴影大脑”训练完成，整个过程就变得简单了：
- 录制：你用智能手机拍摄一个人走动约 30 秒。
- 清理：AI 瞬间从视频中去除所有阴影和奇怪的光线。
- 重建：系统结合这些干净图像来构建人脸的 3D 模型。
- 导出：你可以将此模型导入游戏引擎（如 Blender），并按你喜欢的任何方式对其进行布光。
该论文声称，此方法是全自动的。与之前需要人工手动修复错误或涂抹瑕疵的方法不同，该系统完全自主完成所有工作。
5. 回馈：NeRSemble-Scan 数据集
由于这种方法效果如此出色，作者利用它将现有的人脸视频集合（称为 NeRSemble）转换成了一个巨大的新库，其中包含高质量、4K 分辨率的 3D 人脸扫描数据。他们正在免费向公众发布这个库（NeRSemble-Scan）及其代码。
总结：他们构建了一个智能 AI，它知道如何从手机照片中去除不良光线以揭示完美的皮肤，并利用一个巧妙的技巧从真实数据和计算机生成数据中学习。这使得创建逼真的数字人类变得像拍摄自拍视频一样简单。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。