🤖 machine learning

Pain in 3D: Generating Controllable Synthetic Faces for Automated Pain Assessment

本文介绍了 3DPain，这是一个包含 82,500 帧图像的大规模合成数据集及其对应的 ViTPain 框架，旨在通过生成多样化、经过临床验证且具备身份感知能力的面部疼痛表情，来克服自动化疼痛评估中的数据稀缺和控制限制问题。

原作者： Xin Lei Lin, Soroush Mehraban, Abhishek Moturu, Babak Taati

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Lei Lin, Soroush Mehraban, Abhishek Moturu, Babak Taati

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图通过观察脸部表情来教机器人理解人类的情感。这就是计算机视觉的世界——它是人工智能的一个分支，机器通过它学习“看见”并解读视觉世界。但其中有一个棘手的部分：疼痛。疼痛是一种私密的、内在的体验，但它经常通过我们的脸部“泄露”出来——比如紧锁的眉头、紧缩的双眼或痛苦的表情。科学家们希望构建能够识别这些细微线索的系统，以帮助那些无法言说的患者，例如痴呆症患者或重伤患者。问题在于，教计算机掌握这项技能就像试图在沙漠中学习游泳；那里根本没有足够的水。关于剧烈疼痛的真实世界数据极其罕见，因为为了研究而故意伤害人类进行面部拍照是不符合伦理道德的。由于缺乏多样化的样本，计算机会感到困惑，往往仅仅因为见过某个特定的人哭泣，就认为那个人的脸部呈现出“痛苦”，而不是真正学会跨越不同人群去识别痛苦的本质特征。

这时，一群研究人员决定亲手打造一片数据的海洋。他们创建了 3DPain，这是一个包含 82,500 张显示痛苦状态的合成（计算机生成）面部的庞大库，其中包含了 2,500 个不同年龄、性别和种族特征的独特“数字人”。为了避免伤害真实的志愿者，他们使用了一个巧妙的三步配方来生成这些面孔。首先，他们构建了一个面部的 3D 骨架。第二，他们使用了一种“扩散模型”——你可以把它想象成一位数字艺术家，能在那个骨架上绘制出极其逼真的皮肤纹理和皱纹。第三，他们使用了一种名为“神经驱动”（neural rigging）的技术来拉动数字面部的“丝线”，扭转特定的肌肉，以匹配由医学专家定义的精确疼痛等级。其结果是一个每个面孔都附带精确疼痛评分的数据集，而这种评分在现实世界的照片中几乎是无法获取的。

为了测试这些数字数据是否真的有效，该团队构建了一个新的 AI 大脑，名为 ViTPain。把这个 AI 想象成一名侦探，它不仅观察一张痛苦中的照片，还会观察同一个人在平静和中性状态下的照片。通过对比这两者，AI 可以忽略个人的独特特征（如鼻型或瞳色），而完全专注于由疼痛引起的改变。当他们用这个合成的 3DPain 库训练这个 AI，并在一个规模较小的真实患者数据集上进行测试时，结果令人振奋。与仅使用稀缺真实数据进行训练的模型相比，该 AI 学习速度更快，并且在识别不同类型人群的疼痛方面表现得更好。虽然论文表明这种方法有望彻底改变医院监测疼痛的方式，但作者也谨慎地指出，他们的合成面孔虽然逼真，但仍需进一步弥合与完美模拟真实人类皮肤复杂纹理之间的差距。他们已经建立了一个强大的基础，但要实现一个完全自动化、临床级的疼痛检测器，仍是一个正在进行的工程。

技术摘要：3D 疼痛 (Pain in 3D)

问题陈述

通过面部表情进行自动化疼痛评估，对于监测非语言沟通患者（如痴呆或认知障碍患者）至关重要。然而，研究进展受到两个主要瓶颈的严重制约：

数据稀缺与不平衡： 出于伦理限制，无法在多样化的参与者中诱发严重的疼痛来进行数据采集。因此，现有的基准数据集（如 UNBC-McMaster）规模较小，缺乏人口统计学多样性，并且存在极端的类别不平衡，即高强度疼痛帧是罕见的离群值。
生成模型的局限性： 当前的生成式方法（如 GAN 逆向过程、基于提示词的扩散模型）难以提供疼痛评估所需的精确临床控制。它们通常无法针对面部动作单元（Facial Action Units, AUs）——即由面部动作编码系统（FACS）定义的 AUs 进行精准控制，也无法保证与 Prkachin 和 Solomon 疼痛强度（PSPI）指标的一致性。此外，许多标准训练数据集缺乏对关键疼痛相关 AU（特别是 AU7 和 AU43）的标注，且基于 2D 的方法缺乏实现多视角鲁棒性所需的几何一致性。

方法论

1. 3DPain 数据集生成流水线

作者引入了 3DPain，这是一个大规模合成数据集，包含 82,500 帧图像和 2,500 个独特的身份特征。其生成过程遵循一个三阶段可控流水线，旨在确保解剖学一致性、人口统计学多样性和精确的 AU 控制：

阶段 1：3D 网格与深度调节：
- 使用 FLAME 参数化模型采样多样化的中性 3D 面部网格，覆盖广泛的年龄、性别和族裔。
- 将这些网格渲染为正面深度图。
阶段 2：基于扩散模型的合成：
- 中性面部生成： 使用深度调节的 Kandinsky 2.2 模型（辅以 ControlNet）将 FLAME 深度图转化为写实的 2D 中性面部。通过文本提示词来强制实现人口统计学多样性。
- 纹理合成： 使用 Hunyuan3D 2.1 生成基于物理的渲染（PBR）纹理，该纹理以中性图像为条件，捕捉精细的皮肤细节和族裔特征。
阶段 3：神经驱动与渲染：
- 神经面部驱动（NFR）： 利用 DiffusionNet 和神经雅可比场（Neural Jacobian Fields），系统根据源自 PSPI 公式特定的 AU 配置（AU4, AU6, AU7, AU9, AU10, AU43）对 3D 网格应用精确变形。这使得能够生成具有已知且精确 PSPI 分数的疼痛表情。
- 多视角渲染与修复： 从多个视角渲染驱动后的网格。随后使用 Kandinsky 2.2 进行背景修复和头发补全，以确保照片级的写实度。

生成的数据集包括配对的中性/疼痛图像、精确的 AU 配置、PSPI 分数以及疼痛区域热图。

2. ViTPain 架构

为了利用这些合成数据，作者提出了 ViTPain，一种用于疼痛估计的视觉 Transformer 框架：

中性参考交叉注意力： 模型处理目标疼痛图像（ $I_{pain}$ ）和同一身份的中性参考图像（ $I_{neutral}$ ）。两者均使用带有 LoRA 适配器的 Dino-V3 主干网络进行编码。通过交叉注意力机制，疼痛特征可以查询中性参考特征。其设计目的是将动态疼痛表情与静态身份特征进行解耦。
基于查询的 AU 交叉注意力： 与六个疼痛相关 AU 对应的可学习查询标记（query tokens）从上下文补丁中提取局部肌肉运动信息，从而提供辅助监督。
多任务预测：
- 回归： 一个头部通过 CLS token 预测连续的 PSPI 分数。
- 二分类： 一个辅助头部区分疼痛与无疼痛状态，以缓解回归任务中的均值塌陷问题。
- AU 回归： 独立的头部预测特定 AU 的强度。
推理策略： 采用多样本推理策略，通过对多个中性参考帧进行条件化平均预测，以提高鲁棒性。

核心贡献

3DPain 数据集： 一个大规模、多样化的合成数据集（82,500 帧，2,500 个身份），具有精确的 AU 标注和 PSPI 分数，解决了现实世界疼痛数据稀缺的问题。
可控生成流水线： 一个结合了 FLAME 几何、扩散式纹理合成和神经驱动的新颖三阶段框架，能够生成具有精确 AU 控制的临床有效、多视角的疼痛表情。
ViTPain 框架： 一种具备参考意识的视觉 Transformer 架构，通过与中性面部的交叉注意力来隔离动态疼痛特征，展示了优于标准基准模型的泛化能力。

实验结果

模型在 UNBC-McMaster 肩部疼痛表情存档上进行了评估，并采用受试者无关（subject-independent）划分进行 5 折交叉验证。

预训练影响： 在 3DPain 上进行预训练显著提升了所有架构的性能。对于所提出的 ViTPain 模型，预训练将 F1 分数（在阈值 $\ge 2$ 时）从 0.43 提高到 0.50，并将 AUROC 从 0.79 提高到 0.86。
消融实验：
- 添加二分类头提高了高强度疼痛的 F1 分数。
- 引入中性参考和多样本推理提高了全局判别指标（AUROC 和 PCC），表明更好地实现了身份与表情的分离，尽管由于更保守的预测偏差，这略微降低了高强度 F1 分数。
与最先进技术（SOTA）对比： ViTPain（使用单帧）取得了与基于视频的 SOTA 方法具有竞争力的结果。在阈值 $\ge 2$ 时，ViTPain 的 AUROC 为 0.86，F1 为 0.51，优于之前的图像类方法如 PwCT（AUROC 0.82，F1 0.48），并接近了基于视频的基准方法。

重要性与主张

论文声称 3DPain 和 ViTPain 建立了一个“可控、多样且具有临床依据的基础”。其主要意义在于填补了历史上限制开发受试者无关疼痛识别模型的领域数据空白。通过证明具有精确临床标注的合成数据可以有效地预训练用于现实应用的模型，这项工作为昂贵且受伦理约束的临床数据采集提供了一种可扩展的替代方案。

作者也谦虚地指出，虽然该框架提高了泛化能力，但在皮肤纹理写实度和长期动态建模方面仍存在挑战，这些被确定为未来的研究方向。