💻 computer science

Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

本文提出了一种通过直接针对神经辐射场密度值进行人类反馈强化学习，来微调预训练 3D 感知人脸 GAN（EG3D）的方法，从而在不需要显式网格监督或形状先验的情况下，生成用户偏好的 3D 人脸几何结构。

原作者： Archer Moore, Mingming Gong, Liam Hodgkinson

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Archer Moore, Mingming Gong, Liam Hodgkinson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位大师级的雕塑家（一个名为 EG3D 的计算机程序），他是一位极具天赋的人像画家。如果你要求这位雕塑家“画一张脸”，他可以画出一张栩栩如生、具有照片级真实感的图像。然而，如果你要求他构建这张画作之下真实的 3D 粘土模型，结果往往会一团糟。鼻子可能太尖，脸颊可能有奇怪的凸起，或者脸部两侧看起来像皱巴巴的纸。画作看起来很棒，但底下的 3D 结构却是破碎的。

这篇论文介绍了一种新方法，教这位雕塑家如何无需展示完美的粘土模型进行模仿，就能修复粘土模型。相反，他们通过聆听人类对于哪些模型看起来“更好”的意见来学习。

以下是他们实现这一目标的步骤，通过简单的拆解来呈现：

1. 问题所在：“3D 恐怖谷”

目前的 AI 模型擅长制作 2D 人脸图像。但当它们试图弄清楚图像背后的 3D 形状时，往往会出错。这就像一个魔术师能在纸上画出一只完美的兔子，但如果你试图从帽子里拉出一只真实的兔子，它却是由硬纸板做的，而且还会散架。论文指出，即使是目前最优秀的模型（如 EG3D）也存在这些“纸板”缺陷，尤其是在鼻子和脸部两侧。

2. 解决方案：针对“隐形粘土”的“品鉴师”

通常，为了修复 3D 模型，研究人员会尝试将不可见的计算机数据转化为可见的网格（wireframe/线框），然后修复这个线框。但这篇论文说：“不，我们跳过线框阶段。”

相反，他们构建了一个**“品鉴师”**（奖励模型），它直接观察 3D 脸部的“密度”（density）。

类比： 想象 3D 脸部是由看不见的雾气组成的。有些部分是浓雾（皮肤），有些部分是稀薄的雾（空白空间）。AI 雕塑家创造了这种雾气。“品鉴师”不需要看到一个实心的雕像；它只需要闻一闻这些雾气。它知道，平滑且连续的雾气模式看起来像一张真实的脸，而锯齿状、破碎的雾气模式则看起来像是一个故障。

3. 训练过程：“选这个，而不是那个”

研究人员不需要成千上万的专家或复杂的指令。他们只需要一个人来玩一个简单的游戏：

AI 生成许多 3D 脸部。
人类观察它们，并选出其中“最好”的一个和“最差”的一个。
AI 学习到：“噢，人类喜欢平滑的鼻子，不喜欢凹凸不平的侧脸。”

他们大约进行了 4,300 次这样的操作。AI 学习到了一个关于 3D 形状看起来有多好的“评分”，而这完全是基于人类的偏好。

4. 微调：带着“安全网”进行雕刻

一旦 AI 有了这个“品鉴师”，他们就让它去微调雕塑家（EG3D）。

目标： 让 3D 粘土模型变得更平滑、更真实。
安全网： 他们担心如果把粘土改动得太多，2D 绘画可能会不再看起来像同一个人。因此，他们增加了一条规则：“你可以改变形状，但你必须保持这张脸看起来还是原来那个人。”

结果：

修复效果： AI 成功地抹平了鼻子和脸部两侧奇怪的凸起。
权衡： 2D 图像的质量略有下降（极其轻微的质量损失），但 3D 形状变得更加真实。
结论： 当他们把“修复前”和“修复后”的脸展示给其他人看时，74.4% 的情况下，人们更喜欢新的、修复后的 3D 形状。

5. 为什么这很特别

大多数其他方法试图通过以下方式修复 3D 形状：

使用文本提示（例如，“做一个看起来像希腊雕像的鼻子”）。
先将形状转换为网格（这很慢且会丢失细节）。
从不同角度观察 2D 图像。

这篇论文的方法是独特的，因为它：

无需文本： 它适用于 AI 生成的任何脸部，而不局限于用文字描述的脸。
直接读取： 它直接读取“密度”（即雾气），跳过了将形状转化为线框的繁琐步骤。
数据简单： 它仅通过一个人的意见进行学习，证明了你不需要庞大的专家大军来教 AI 什么才是“好看”。

总结

这就像在教一个孩子画一个 3D 立方体。你不需要给他一把尺子和一个量角器（复杂的数学工具），你只需要给他看两幅画，然后说：“这一幅看起来像个真实的盒子，那一幅看起来像团皱巴巴的纸。”孩子会学会捕捉好形状的“感觉”。这篇论文正是对 AI 做了同样的事情，通过倾听人类的偏好来教它更好地雕刻 3D 脸部，从而在不丢失 2D 特征身份的前提下，让脸部在 3D 空间中看起来更加真实。

技术摘要：雕刻 NeRF 几何结构：基于人类偏好的 3D 感知人脸 GAN 微调

1. 问题陈述

尽管 3D 感知生成模型（如 EG3D）已能在 2D 图像集合上实现高逼真度的 2D 图像合成，但它们经常无法产生真实的 3D 几何结构。尽管 RGB 输出质量很高，但底层的 3D 形状往往表现出不真实的间断、不规则和伪影（例如鼻子或脸部两侧的沟壑）。现有的改进 3D 质量的方法通常依赖于显式表面表示（网格）、需要文本提示词调节，或者依赖大规模多视角渲染和网格提取流水线。这些方法在处理潜空间中的“汇陷”（sink traps）时表现不佳（即编辑提示词不再改变几何结构），或者需要复杂的多维人类评分。核心挑战在于：如何在不依赖外部网格先验、文本调节或显式表面提取的情况下，直接根据人类偏好对无条件的 3D 感知 GAN 进行 3D 几何结构的微调。

2. 方法论

所提出的方法通过强化学习（RLHF）来微调预训练的 3D 感知人脸 GAN (EG3D)，但采用了一个直接作用于神经辐射场（NeRF）密度场的独特架构。

A. 奖励模型架构
奖励模型 $r_\theta$ 并非对渲染的 2D 图像或显式网格标记进行评分，而是直接作用于 NeRF 的连续 3D 密度场 ( $\sigma$ )。

输入： 模型从生成器的 $\sigma$ 体积中提取一个“正面脸部切片”（包含脸部的 3D 网格裁剪区域）。该切片被归一化到 $[0, 100]$ 范围内。
骨干网络： 一个带有挤压-激励 ResNet 骨干网络的 3D U-Net (ResNet-SE-3D-UNet) 处理 $\sigma$ 切片以提取全局特征，随后通过 MLP 将其映射为标量质量得分。
训练数据： 通过对来自生成器的 3D 几何结构（通过 Marching Cubes 可视化）进行批量排序来收集偏好。数据集由 4,346 个来自单个标注者的成对比较 ( $x_w \succ x_l$ ) 组成。为确保鲁棒性，每个批次都通过从潜空间中心提取的高质量“锚点”样本进行增强。
损失函数： 奖励模型使用成对偏好损失（修改自 InstructGPT）进行训练，以最大化优选样本相对于非优选样本的得分。

B. 微调程序
使用结合了学习到的奖励信号的改进型 GAN 循环来微调生成器。

生成器损失 ( $L_G$ )： 标准 GAN 损失被两个项所增强：
1. 奖励损失 ( $L_r$ )： 最小化负奖励得分，以鼓励更高的几何质量。一个截断函数限制了奖励梯度，以防止不稳定。
2. 一致性损失 ( $L_c$ )： 微调生成器与原始预训练生成器之间的密度场 $L_1$ 距离约束。这确保了在重塑几何结构的同时，2D 外观和身份保持定性的相似性。
优化： 该过程涉及在 FFHQ 数据集上进行 20,000 张图像 (20kimg) 的微调，使用的是修改后的 GAN 循环更新，而非近端策略优化 (PPO) 或分数蒸馏采样 (SDS)。

3. 核心贡献

直接基于密度的偏好学习： 本文证明了可以通过对少量生成器输出的 3D 形状质量进行人类排序，直接从隐式 $\sigma$ 密度场中学习 3D 形状质量，从而无需网格提取或文本提示。
无条件奖励模型： 开发了一个无需语言提示调节或颜色信息的质量评分模块。它仅作用于 3D 密度表示，避免了与文本提示相关的“汇陷”问题。
高效的数据需求： 该方法通过来自单个标注者的 4,346 个成对比较这一适度规模的数据集，实现了稳健的几何改进，显著小于当代 3D RLHF 方法（例如 16,000–25,000 个对）所需的数据集。
选择性几何改进： 该方法成功地重塑了 3D 几何结构（平滑了鼻子和脸部两侧），同时保留了 2D 身份和外观，且 FID 仅有受限的增加（从 4.09 增至 6.66）。

4. 结果

奖励模型性能： $\sigma$ 场表示在预测人类偏好方面显著优于深度图和点云。在留存的“困难”分布内对（排除高质量锚点）中，基于 $\sigma$ 的模型达到了 91% 的准确率，而表现最好的深度图模型为 74%，点云模型则处于随机水平。
用户研究： 在涉及 40 对人脸（微调前后）的外部用户研究中，用户在成对比较中 74.4% 的情况下更倾向于微调后的几何结构（Cohen's $h = 1.135$ ，表明具有显著效应量）。
几何与外观的权衡：
- FID： FID-50k 分数从 4.09（预训练）增加到 6.66（微调后），表明存在可衡量但受限的分布成本。
- 身份保持： 通过视觉检查和定量指标（LPIPS 和人脸识别余弦相似度）确认，2D 身份和整体外观保持定性的相似，仅在光照和发丝方面有细微差异。
- 无模式崩溃： 通过与截断均值脸（truncation-mean face）的分析，微调后的样本在几何上仍比均值脸更接近其原始种子（93–98% 的情况），排除了简单的向均值形状崩溃的可能性。
归因分析： SHAP 和集成梯度（Integrated Gradients）分析显示，基于 $\sigma$ 的奖励模型关注语义明确的区域（鼻子、嘴巴、脸颊），而深度图和点云模型则倾向于关注脸部边缘和边界，导致几何修正效果较差或发生畸变。

5. 重要性与主张

本文声称，可以有效地利用人类偏好来微调隐式 3D 表示（NeRF 密度场），而无需显式的网格先验或文本调节。通过将奖励信号与文本提示解耦，并直接作用于密度体积，该方法避免了提示词调节系统的失效模式以及网格提取的计算开销。

作者将这项工作定位为一种概念验证，证明了当单个标注者的偏好被蒸馏到作用于生成器内部密度场的奖励模型中时，可以有选择性地提高 3D 几何质量。该方法被呈现为一种数据和计算高效的方案，作为现有 3D RLHF 流水线的替代方案，在保持 2D 外观定性保真度的同时，实现了显著的几何改进。作者承认了局限性，特别是目前的奖励模型受限于特定的生成器架构（EG3D）及其 $\sigma$ 分布，由于数值密度机制的不同，在不进行重新训练的情况下，无法干净地迁移到其他 3D 生成器（如 PanoHead, SphereHead）。