💻 computer science

Identity-Consistent Expression Fields: A Disentangled Neural Radiance Field Framework for Few-Shot Facial Expression Synthesis

本文提出了身份一致性表情场（Identity-Consistent Expression Fields, ICEF），这是一个解耦的神经辐射场框架，它将静态身份特征与动态表情变形分离，并采用置信度加权的变形机制，旨在实现即使在向新表情外推的情况下，也能在少样本场景下实现高质量、保持身份一致性的面部表情合成。

原作者： Minh Tran

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minh Tran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画出一位特定的朋友。你手里只有三张他们的照片：一张在微笑，一张在惊讶，以及一张表情中性的。你的目标是让机器人生成一张全新的、从未见过的、带有夸张搞怪表情的照片，比如吐着舌头并挑起眉毛。这就是**神经辐射场（Neural Radiance Fields, NeRF）**的世界，一种计算机利用数学将扁平的 2D 照片转化为 3D 世界的巧妙方法。不要把 NeRF 仅仅看作是由三角形组成的 3D 模型，而要把它看作一种神奇的“雾”，它知道在任何位置根据你观察的角度，其颜色和密度应该是多少。

长期以来，这些 3D 雾气机器在展示新角度的面部时表现出色，但如果要求它们仅使用极少数照片来改变“表情”（比如从微笑变为皱眉），它们往往会陷入混乱。它们会尝试改变整个面部，但在这样做时，却不小心改变了这个人独特的特征。这就像是在电子游戏中尝试更换角色的服装，但游戏引擎在换衣服的同时，竟然把角色的鼻子形状或皮肤纹理也给改了。这是为电影或电子游戏制作虚拟化身时的一个大问题，因为你希望角色看起来还是“他自己”，只是在做一些不同的动作，而不是变成一个陌生人。

于是，一个名为 ICEF（身份一致性表情场，Identity-Consistent Expression Fields）的新想法诞生了。该论文的研究人员注意到，以往的方法试图通过扭曲一个单一且杂乱的“特征体积”（一个包含面部所有细节的数字容器）来适应新的表情。问题在于这个容器过于灵活了；当被要求拉伸成一种未见过的表情时，它会连同人的身份特征一起发生扭曲。ICEF 提出了一种更聪明的方法：与其使用一个庞大且纠缠不清的容器，不如将面部拆分为两个截然不同的部分。首先，保留一张静态且不可改变的“身份证”，它以中性状态保存着此人面部的所有独特细节（他们的皮肤纹理、鼻子的精确形状、眼睛的颜色）。第二，创建一个独立的、灵活的“模具”，它只负责移动面部中真正随表情变化的部位（如嘴巴、眼睛和眉毛）。

该论文提出，通过严格分离这两者，计算机可以拉伸“模具”来制造新的表情，而永远不会触及“身份证”。为了确保模具不会意外抓取到身份证，他们增加了一条特殊的规则（正则项），告诉计算机：“只移动嘴巴和眼睛；让额头和脸颊保持不动。”此外，他们意识到，如果你要求计算机做出一个与给定的少量照片差异极大的表情，它可能会开始胡乱猜测并出错。为了解决这个问题，ICEF 使用了一个“置信度计量器”。如果新的表情远离它已知的示例，系统会自动切换到一种更简单、更稳妥的面部运动方式，而不是信任其复杂且具有风险的猜测。

在测试中，作者发现这种方法在保持人物身份一致性方面表现得更好，尤其是在新表情与训练照片差异很大时。他们展示了虽然旧方法在受到极限挑战时会开始模糊或扭曲人物的身份，但 ICEF 能保持身份的清晰与一致。该论文并不声称这是一种适用于所有面孔的完美、最终成品，但它表明这种“拆分”策略是解决少样本面部动画中身份漂移问题的有效途径。这是迈向让数字虚拟化身在表演任何场景时都不会丢失自身面貌的一步。

技术摘要：身份一致性表情场 (Identity-Consistent Expression Fields, ICEF)

问题陈述

本文针对少样本动态神经辐射场 (Few-shot Dynamic NeRF) 在面部表情合成中的一个关键局限性进行了研究。虽然现有方法（如 FDNeRF）能够通过少量图像重建 3D 面部并实现表情编辑，但它们通常依赖于根据目标表情参数对单个学习到的特征体 (Feature Volume) 进行变形（Warping）。

作者观察到，这种方法缺乏显式的约束来保留身份特定细节（如皮肤纹理和精细几何结构），特别是当模型被驱动向远离少样本输入集的表情（即在进行外推时）时。因此，变形后的特征体往往会发生“漂移”，在改变预期表情的同时，也无意中改变了身份特定的属性。这会导致伪影并造成身份一致性的丧로，尤其是在外推到新颖表情时。

方法论：ICEF 框架

所提出的身份一致性表情场 (ICEF) 框架通过三个核心机制解决了这一问题：显式解耦、针对性正则化器以及置信度加权变形策略。

1. 静态-动态解耦 (Static-Dynamic Disentanglement)

与以往变形单个纠缠特征体的方法不同，ICEF 将辐射场分解为两个截然不同的部分：

静态规范场 ( $F_{static}$ )：在规范（中性）空间中编码身份特定的外观和几何结构。至关重要的是，该场仅接收变形后的坐标和视向，绝不直接接收原始表情参数，从而确保身份细节不会受到表情的直接调制。
动态变形场 ( $D_\phi$ )：根据表情参数 ( $\beta_{exp}$ ) 将观测空间中的点映射到规范空间。所有与表情相关的变化都被强制通过这个显式的变形场进行流动。

渲染方程定义为：
$c(x, d), \sigma(x) = F_{static}(D_\phi(x, \beta_{exp}), d)$

2. 身份保持正则化器 (Identity-Preservation Regularizer)

为了防止变形场改变身份特定区域，ICEF 引入了一个基于粗略面部区域掩码 ( $M(x)$ ) 的正则化项 ( $L_{id}$ )。

机制：该掩码由投影的面部关键点导出，用于识别高表情相关区域（嘴部、眼睛、眉毛）和低表情相关区域（远离眉毛的额头皮肤、脸颊、鼻梁）。
约束：正则化项会对低相关区域的变形幅度进行惩罚：
$L_{id} = \mathbb{E}_x [(1 - M(x)) \cdot \|D_\phi(x, \beta_{exp}) - x\|^2]$
这促使网络有效地使非表情区域的身份特定规范几何和外观保持不变。

3. 置信度加权变形 (Confidence-Weighted Warping)

为了减轻在外推到远离训练分布的表情时产生的伪影，ICEF 采用了置信度加权的混合机制：

外推距离 ( $\delta$ )：计算为目标表情与观测到的少样本表情之间的最小距离。
置信度权重 ( $\kappa(\delta)$ )：定义为 $\exp(-\delta/\lambda)$ ，当目标表情远离训练数据时，该权重会随之减小。
混合：最终的变形是全容量学习网络 ( $D_\phi$ ) 与低容量、平滑线性基准 ( $D_{lin}$ ，即一阶泰勒近似) 的混合：
$D_{final} = \kappa(\delta) \cdot D_\phi + (1 - \kappa(\delta)) \cdot D_{lin}$
这确保了对于远距离外推的表情，模型会更多地依赖于更平滑、更安全的线性变形，以避免激进且低置信度的变形。

核心贡献

论文概述了四个主要贡献：

显式解耦：提出了一种用于少样本动态 NeRF 的静态身份/动态表情分解方法，这与以往的单特征体变形方法形成对比。
身份保持正则化器：一种约束机制，将受表情调制的变形限制在表情相关的面部区域，直接解决了外推过程中的身份漂移问题。
置信度加权变形：一种自适应机制，根据目标表情与观测到的少样本分布的接近程度来缩放变形能力。
评估协议：一种新型协议，通过按外推距离对评估进行分层，并在标准渲染质量指标（PSNR, SSIM, LPIPS）之外，测量身份一致性指标（面部识别嵌入相似度）。

结果与评估主张

本文提出了一个评估框架，而非在本文中展示带有数值结果的完整实证研究。然而，它阐明了关于性能的具体预期：

远外推层级 (Far-Extrapolation Tier)：作者预期 ICEF 的优势在此处最为显著。置信度加权机制预计会减少对学习网络的依赖，转而使用更平滑的线性回退方案，同时正则化器严格约束变形，从而比基准方法更好地保持身份。
近外推层级 (Near-Extrapolation Tier)：预计性能差距较小，因为基准方法在靠近训练表情的区域已有良好的支持。
指标：评估旨在量化身份漂移随外推距离的变化情况，假设显式解耦能特别是在具有挑战性的少样本、远外推场景下提高身份保持能力。

意义与局限性

意义：
ICEF 旨在解决先前少样本动态 NeRF 方法中观察到的“身份漂移”失效模式。通过将身份外观与表情变形显式分离，并引入外推保障措施，该框架针对的是在有限数据下渲染新颖表情并保持一致身份的特定挑战。

局限性：
作者承认，用于正则化的面部区域掩码 ( $M(x)$ ) 是一个基于关键点的粗略、固定的先验，而非学习到的或针对特定身份的分割。因此，它可能无法完美捕捉所有面部结构的表情相关区域。论文建议，将 $M(x)$ 与模型联合学习或使其以身份特定几何为条件进行调节，是未来改进的一个自然方向。