技术摘要：从人脸草图生成 3D 模型

问题陈述

从人脸的二维线条草图生成 3D 模型是计算机图形学中的一个重大挑战。虽然现有方法可以从抽象草图生成 3D 形状，或基于轮廓匹配对模型进行变形，但它们往往难以应对面部表情的具体复杂性。面部表情会显著改变面部轮廓，产生中性脸所不具备的特征（皱纹、褶皱）。此外，现有数据集常在性别或种族方面存在偏差，且许多方法依赖于定义模糊的情感类别（例如“快乐”或“悲伤”），而非精确的解剖学运动，导致输出结果像漫画或缺乏真实感。本文解决的核心问题是：如何从简单的手绘草图中准确重建包含特定表情的真实 3D 人脸模型。

方法论

所提出的方法结合了三个不同的组件：用于表情检测的卷积神经网络（CNN）、用于初始重建的参数化 3D 人脸模型，以及用于细粒度变形的主动蛇形轮廓（Active Snake Contours）。工作流程分为三个主要阶段：

1. 数据集生成与表情检测（深度学习）

为了训练系统识别草图中的表情，作者生成了一个包含超过 21,000 对 3D 模型及其对应草图的自定义数据集。

• 生成：利用参数化人脸模型"Valley Girl"和引导性轮廓（Suggestive Contours）渲染技术，作者随机化了 53 个参数，包括面部动作（FACS 动作单元）、头部旋转、面部特征（眼睛大小、形状）、性别和种族。这确保了数据集无偏差且具有随机变化。
• 训练：作者训练了 12 个独立的卷积神经网络（CNN），用于从草图中检测特定的面部动作编码系统（FACS）动作单元（AUs）。每个 CNN 都是经过微调的 GoogLeNet 架构，并增加了卷积层、最大池化层和 softmax 层。任务是对 frontalis（额肌）、brow furrow（眉间纹）、smile（微笑）、squint（眯眼）和 grimace（鬼脸）等 AUs 进行二分类（激活与非激活）。
• 输入处理：对于新的输入草图，这些训练好的 CNN 会检测激活的 AUs，从而有效解码绘图中的表情。

2. 参数化模型初始化

一旦检测到激活的 AUs，系统便将此表情复制到"Valley Girl"参数化 3D 模型上。Valley Girl 是在 Autodesk Maya 中开发的符合生理学的模型，其面部肌肉使用由 FACS AU 参数控制的混合形状（blendshapes）进行建模。这一步生成了具有正确表情的 3D 模型，但其几何比例相对于特定草图可能不准确。

3. 轮廓匹配与变形（主动蛇形轮廓）

为了使参数化模型与输入草图的具体特征对齐，系统采用主动蛇形轮廓。

• 过程：输入草图与表情匹配的 Valley Girl 模型的灰度渲染图进行对齐（通过用户输入）并调整大小。草图被转换为二值图像，并提取轮廓。
• 蛇形映射：这些轮廓充当“蛇”（可变形模型），被映射到 3D 模型的渲染图上。蛇形通过最小化由内部能量（平滑度）和外部能量（图像力，如边缘和亮度）组成的能量函数来工作。
• 变换：系统计算蛇形在草图上的位置与其在模型渲染图上的位置之间的差异（位移）。这些差异按目标顶点取平均值以避免过度校正。大的差异会被丢弃以防止映射错误。
• 应用：计算出的变换通过“软选择”（Soft Select）变形应用于 3D 模型顶点。这使得模型能够变形并填补参数化基础与草图具体轮廓之间的间隙，处理仅靠参数化模型无法生成的特征。

主要贡献

该论文确定了该领域的三项主要贡献：

1. 合成数据集创建：利用 Valley Girl 生成了大规模、随机化的 3D 模型/草图对数据集。与源自真实照片的数据集（可能包含人口统计偏差）不同，该数据集确保了性别、种族和表情的随机化，为深度学习提供了稳健的训练基础。
2. 从草图检测 FACS AU：这项工作代表了文献中首次训练 CNN 专门直接从手绘人脸草图中检测 FACS 动作单元。这超越了粗略的情感分类，实现了精确的解剖学表情识别。
3. 混合生成流程：创新性地结合了深度学习（用于表情）、程序化建模（Valley Girl）和轮廓匹配（主动蛇形）来生成 3D 模型。这种方法允许在参数化模型上重现表情，随后进行几何变形以匹配草图的具体轮廓。

结果

该系统使用四个示例进行了评估：一个来自合成数据集，三个为手绘草图。

• 表情检测：CNN 成功检测了草图中的激活 AU。虽然出现了一些误报（例如，仅存在"grimaceL"时检测到"grimace"，或将唇部凹陷误判为"sneer"），但检测到的表情总体上是准确的，足以驱动参数化模型。
• 变形：主动蛇形轮廓成功将草图轮廓映射到 3D 模型上。由此产生的“像素差异”允许对模型进行变形以匹配草图的具体几何形状。
• 最终输出：最终的 3D 模型被描述为具有真实感，并且与输入草图充分匹配。该系统成功处理了各种表情，包括微笑、皱眉以及复杂的组合，如畏缩和冷笑。
• 性能：在 Macbook Pro 上，每个模型的平均处理时间约为 35.56 秒（AU 检测 23.33 秒，蛇形处理 4.10 秒，变换应用 8.13 秒）。

意义与主张

该论文将这项工作定位为推动专业艺术家和新手进行 3D 人脸建模的进步。

• 表情检测的创新性：作者声称，从草图中检测 FACS AU 此前未曾尝试过，这使他们的工作区别于依赖广泛情感类别或基于照片数据集的方法。
• 解决纯深度学习的局限性：通过将 CNN 与轮廓匹配相结合，作者解决了纯基于深度学习的方法（如 DeepSketch2Face）的局限性，这些方法在处理训练分布中不存在的新颖特征或特定轮廓细节时往往力不从心。主动蛇形的使用使系统能够识别和处理那些无法映射到参数化模型的轮廓，为解决“新颖特征”问题（例如疤痕或不寻常的皱纹）提供了一条途径，即使当前的实现排除了这些特定轮廓。
• 实用价值：该方法使用户能够快速原型化角色设计或将草图可视化为 3D 渲染，弥合了 2D 概念艺术与 3D 生产资产之间的差距。

作者对系统当前的能力保持谦逊，承认了局限性，例如无法创建全新的特征（例如第三只眼）以及依赖用户输入进行初始对齐。他们建议未来的工作可以包括扩展数据集、改进交互性用户界面，以及完善对不对称性和新颖轮廓的处理。