💻 computer science

RegHead: Non-Humanoid Head Blendshapes via Feed-Forward Registration

RegHead 引入了一种快速的前馈框架，该框架通过利用大规模数据集和稠密随机锚点运动表示，为可驱动非类人头部化身构建具有可解释性的语义混合形状集，从而实现从人类追踪信号到高保真、实时表情重定向的转换。

原作者： Jiahao Luo, Hao Zhang, Jianqi Chen, Yijie He, Jiaxu Zou, Michael Vasilkovsky, Sergei Korolev, Sergey Tulyakov, Chaoyang Wang, Peter Wonka, James Davis, Jian Wang

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiahao Luo, Hao Zhang, Jianqi Chen, Yijie He, Jiaxu Zou, Michael Vasilkovsky, Sergei Korolev, Sergey Tulyakov, Chaoyang Wang, Peter Wonka, James Davis, Jian Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想在电子游戏或 AR 应用中赋予一个卡通龙、一只机器人猫或一个发光的外星人生命力。你希望它们能像人类一样微笑、皱眉或眨眼。但问题在于：这些生物并不拥有人类的面部。它们可能长着三只眼睛、可以脱臼的下颚，或者根本没有鼻子。让它们动起来通常是艺术家的噩梦，因为每当他们想要让一个新角色看起来很开心时，都必须从头开始手动雕刻这张脸。这就像是每遇到一位新的骑士，都要为他量身定制一套盔甲，一个接一个地去做。

这篇论文介绍了一个名为 RegHead 的新工具，它就像是一个超级快速、充满魔力的翻译官。RegHead 不再需要手动雕刻每一张脸，而是学习了一种“通用的表情语言”（如“开心”、“悲伤”或“惊讶”），并能瞬间教会任何非人类角色如何使用这种语言。

核心问题：“迷失在翻译中”的问题

作者指出，虽然我们已经有了优秀的生成 3D 面部的工具，但它们通常在两方面表现不佳：

一致性（Consistency）： 如果你要求 AI 在一条龙的脸上画出“皱眉”，然后再在机器人身上画出“皱眉”，AI 画出的效果可能会完全不同。机器人的“皱眉”可能是在它的天线上，而龙的“皱眉”则是在它的吻部。它们之间没有共享的地图。
“拼图碎片”的混乱（The "Jigsaw Puzzle" Mess）： 即使你得到了一个很酷的机器人皱眉 3D 模型，计算机也不知道这个“皱眉”状态下的机器人面部部分与“中性”状态下的哪个部分相匹配。这就像是拥有两个拥有相同图像但碎片数量不同的拼图，而你需要将它们完美地粘合在一起，才能让它们动起来。

论文明确反对旧有的做法，即那种缓慢、沉重的计算机优化过程。作者认为，为每个角色单独解决拼图碎片的做法太慢了（有时每个角色需要几分钟甚至几小时），而且成本太高，无法规模化。他们也排除了依赖人类骨骼或骨架的方法，因为龙的下颚或机器人的天线运动方式并不像人类的手臂那样。

RegHead 的解决方案：三步魔术

1. 海量的“表情”库
首先，团队构建了一个包含约 20,000 个不同非人类角色的庞大库。他们从一组高质量的人造艺术家角色出发，利用一种智能图像编辑工具，将同一套表情“涂抹”到数千个全新的、独特的身份上。这产生了一个巨大的数据集，其中每个角色都拥有相同的“面部词汇量”，即使它们的样貌截然不同。

2. “随机锚点”舞池（The "Stochastic Anchor" Dance Floor）
为了让面部动起来，RegHead 并不使用骨骼。相反，它使用了被称为**密集随机锚点（dense stochastic anchors）**的技术。想象一下，在角色的脸上撒上数千个微小的、隐形的磁铁。这些磁铁是“随机的”，这意味着每次计算机学习时，它们的确切位置都会被随机打乱，从而迫使系统保持灵活性，而不依赖于固定的模式。

类比： 把这些锚点想象成一个舞池，舞者们（面部点）不需要知道邻居的具体舞步，他们只需要知道如何相对于最近的几个磁铁进行移动。这使得系统能够处理奇特的形状，比如下颚向下掉落或眼睑向侧面滑动，而不会感到困惑。

3. “由粗到精”的翻译器（The "Coarse-to-Fine" Translator）
这是核心引擎。当 RegHead 看到一个新角色的“皱眉”脸时，它不会试图一次性解决整个拼图。它分两步走：

第一步（全局匹配器）： 它进行一个快速、粗略的猜测，将整个面部移动到大致正确的区域。这就像是在说：“好吧，嘴巴确实变低了，而且眼睛在眯起来。”
第二步（局部匹配器）： 一旦面部进入了大致范围，它就会放大观察。它会观察那些磁铁周围的微小邻域，以确定超精细的细节，比如单只眼睑的抽动或皱纹的形成。
论文指出，这种两步走的过程至关重要。如果跳过粗略猜测，系统会迷失方向；如果跳过放大观察，面部看起来就会僵硬且虚假。

结果：快速且准确

团队将 RegHead 与其他方法进行了测试。

速度： 虽然旧方法处理单个角色需要从 5 秒（对于较简单的方法）到 1,800 秒（约 30 分钟！）不等，但 RegHead 仅需约 5 秒。这在数量级上实现了飞跃。
质量： 在衡量 3D 模型与目标图像接近程度的测试中，RegHead 的得分高于其他方法。例如，它实现了 23.8421 的 PSNR（一种图像质量度量），而排名第二的方法为 23.4349。它还拥有更低的“倒角距离”（Chamfer distance，一种形状误差度量），为 0.00358，这意味着其 3D 形状比竞争对手更接近目标。

实时魔力

最酷的部分是什么？因为它的速度非常快，所以你可以使用实时技术。作者展示了一个演示：人类演员的面部动作被追踪，系统瞬间将这些动作映射到一个机器人、一条龙和一个卡通外星人身上。这些角色不仅移动了头部，还复制了特定的、细微的面部表情，比如微妙的眼神眯起或嘴唇的卷曲，而且是实时进行的。

它目前还做不到什么

作者坦诚地说明了局限性。他们指出，RegHead 在处理与标准头部形状差异过大的生物时可能会遇到困难，比如昆虫或面部特征非常模糊的动物（即很难分辨哪里是“嘴”或“眼睛”的地方）。如果“词汇表”对该生物而言不再适用，系统就无法完美翻译。此外，如果图像编辑器生成的初始 3D 模型本身很奇怪或有缺陷，RegHead 只会忠实地复制这些错误。

简而言之，RegHead 提供了一种跳过繁琐、手动搭建非人类面部驱动（rigging）的方法。通过使用一种“随机但聪明”的磁铁系统和两步匹配过程，它将一个庞大且混乱的问题转化为了一个快速、自动化的过程，让我们能够以处理人类演员般的轻松程度，去驱动一个充满奇特且精彩的生物宇宙。

技术摘要：RegHead

问题陈述

创建可动画化的 3D 非人型头部头像对于 AR、社交媒体和游戏至关重要，但目前仍处于探索阶段。一个实用的动画接口需要语义混合形状（semantic blendshapes）：即一组具有固定词汇表、可解释的表情，且在不同身份之间共享顶点对应关系。这允许进行低维控制和跨身份重定向，而无需在运行时解决新的对应问题。

然而，为非人型头部构建这些混合形状集面临三个主要瓶颈：

监督数据匮乏： 当前的图像/视频生成模型难以在不同的非人型身份上一致地生成相同的预定义表情（例如“皱眉”），这使得获取具有一致语义标签的大规模 2D 观测变得困难。
缺乏对应关系： 现代 3D/4D 生成方法能产生高质量的特定表情表面，但通常缺乏跨表情的顶点对应关系，导致其无法直接作为混合形状基底使用。通过基于优化的非刚性配准来恢复对应关系计算成本高昂且难以扩展。
局部变形： 非人型面部表情通常涉及高度局部化、物种特有的变形（例如特定的下颌关节运动或眼睑运动），这些变形难以被通用的全局变形模型捕捉。

现有方法要么依赖沉重的优化管线（速度慢），要么依赖参数化先验（如 3DMM，当几何结构显著偏离人类解剖结构时会失效）。

方法论

RegHead 提出了一个前馈框架，能够通过单次传递将未注册的表情网格转换为具有对应关系的语义混合形状基底。该管线由三个主要阶段组成：

1. 大规模数据集构建

为了解决一致语义标签缺失的问题，作者使用一个高质量、由艺术家绑定（artist-rigged）的非人型资产库定义了一个固定的表情词汇表 $\mathcal{E}$ 。他们针对来自该库的配对渲染图微调了一个图像编辑模型，以实现从中性参考到目标表情的可控编辑。该模型被应用于文本生成图像，从而将词汇表扩展到约 20,000 个非人型身份。通过图像调节的 3D/4D 生成管线从这些图像中重建出特定表情的 3D 表面，生成的原始网格 $\{\tilde{M}_t\}$ 在语义上是一致的，但缺乏顶点对应关系。

2. 密集随机锚点运动表示

为了处理没有预定义骨架或模板的多样化拓扑结构，RegHead 引入了一种**密集随机锚点（dense stochastic anchor）**表示法：

随机锚点： 模型不是优化固定的锚点坐标，而是在每次训练迭代时在中性网格上重新采样一组变形锚点 $\mathcal{A}$ 。这促使模型学习具有锚点布局不变性的预测。
查询点： 在中性形状上采样一组更密集的查询点 $\mathcal{Q}$ 。
体素 Token： 将表情网格体素化，以创建基于多视图非投影的体素 Token $\mathcal{V}_t$ ，其中包含 8 通道潜码和非投影的语义分割掩码（例如眼睛）。
传播： 模型预测每个锚点的相似变换 $\mathcal{T}_t$ 。这些变换通过基于逆马哈拉诺比斯距离（inverse Mahalanobis distances）到最近锚点的预计算皮肤权重，通过线性混合蒙皮（LBS）传播到密集的查询点。这实现了高效且富有表现力的从稀疏到密集的变形。

3. 前馈配准模型

核心创新是一个由粗到细的对应关系感知匹配网络，用于预测从中性网格到每个目标表情的变形：

全局匹配器： 使用交叉注意力机制将长程上下文从全局体素 Token 聚合到锚点 Token 中。它预测一个粗略的变形，将锚点带入正确的“盆地（basin）”进行局部匹配，从而解决大范围支撑运动（例如下颌运动）。
结构化局部匹配器： 对于每个粗略变形后的锚点，模型从体素 Token 中收集一个结构化的、多半径的模板邻域（而非简单的 kNN）。它使用局部交叉注意力来精细化锚点 Token 并预测残差变换。这一阶段旨在捕捉细粒度的、局部的面部变化。
训练： 模型在没有地面真值点对应关系的情况下进行训练。它使用可微渲染损失（比较预测点与目标点的渲染 RGB 和分割）以及在粗略锚点位置上的辅助 Chamfer 距离损失，以确保几何一致性。

4. 实时重定向

在应用层面，一个小型 MLP 将人类面部追踪系数（来自标准的 3DMM 拟合）映射到非人型混合形状词汇表的权重上。这使得从人类表现到非人型角色的实时重定向成为可能，无需每帧进行优化。

核心贡献

数据集： 构建了一个包含约 2 万个身份的大规模非人型头部数据集，具有固定的语义表情词汇表，从而实现了混合形状生成的规模化研究。
运动表示： 引入了密集随机锚点，这是一种对于局部非人型面部变形的拓扑无关表示，不依赖于预定义的骨骼、骨架或共享模板。
前馈配注： 一种新型的配准模型，能够通过单次传递将未注册的网格转换为对应的混合形状。该模型在没有地面真值对应关系或变形场的情况下进行训练。
性能： 证明了其在保真度方面优于优化类基准方法，且推理速度显著提升（数量级提升），支持实时重定向。

实验结果

作者将 RegHead 与 ActionMesh（前馈式）、V2M4（基于优化）和 T2Bs（基于优化对齐）进行了评估。

定量指标： RegHead 在渲染外观（PSNR: 23.84, SSIM: 0.9078, LPIPS: 0.0551）和可见几何（Chamfer Distance: 0.00358, Silhouette IoU: 0.9865）方面均优于所有基准方法。
速度： RegHead 每个身份运行时间约为 5 秒，而基于优化的方法（V2M4, T2Bs）则需要约 100 秒至 1800 秒。
定性分析： RegHead 能更好地捕捉细粒度的、空间局部化的表情变化（如眼睑闭合），同时保持全局结构。基准方法经常低估局部运动或在微妙区域出现伪影。
消融实验：
- 移除随机锚点（使用固定锚点）会导致性能下降，证实了布局不变性的益处。
- 降低锚点密度会显著降低保真度，证明了密集锚点对于精细细节的必要性。
- 移除局部匹配阶段会导致性能大幅下降，验证了其作为精细表情变形主要驱动力的作用。
- 使用结构化模板邻域的效果优于标准的 kNN 邻域。

重要性与主张

论文声称 RegHead 以可扩展的前馈方式，解决了生成具有语义一致性、对应关系的非人型头部资产的核心挑战。通过避免基于模板的解剖约束和沉重的优化，该框架能够创建高保真、可动画化的头像，并支持实时控制和跨身份重定向。作者指出，该方法专门设计用于处理细粒度的、物种特有的变形，填补了现有关节运动或整体物体生成方法的空白。

局限性： 作者承认 RegHead 可能会在解剖结构远离常见头部结构（如昆虫类或具有模糊面部区域的长尾物种）的身份上出现欠拟合，因为这些身份的语义对应关系较弱。此外，最终的混合形状受限于上游未注册网格中存在的伪影。