💻 computer science

NBAvatar: Neural Billboards Avatars with Realistic Hand-Face Interaction

NBAvatar 提出了一种结合定向平面基元训练与神经渲染的新方法，通过显式与隐式表示的融合，实现了在高分辨率下对包含手脸交互非刚性变形的头部 Avatar 进行具有时间一致性和精细外观细节的高质量渲染。

原作者： David Svitov, Mahtab Dahaghin

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： David Svitov, Mahtab Dahaghin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 NBAvatar 的新技术，它的核心目标是解决一个非常具体但很常见的问题：当你在视频通话或虚拟现实中用手摸脸时，电脑如何生成既真实又自然的画面？

想象一下，你正在和远方的朋友视频，你笑着用手托住了下巴。现在的很多虚拟形象（Avatar）技术，要么只能生成静止的脸，要么手和脸“打架”时会出现奇怪的扭曲、模糊或者像果冻一样的假象。NBAvatar 就是为了解决这个“摸脸”难题而生的。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项技术：

1. 核心难题：为什么“摸脸”这么难？

以前的虚拟形象技术就像是在给一个硬塑料模型贴照片。

硬塑料模型（几何结构）： 脸和手的形状是固定的，或者只能做简单的弯曲。
贴照片（外观）： 皮肤的颜色和纹理是贴上去的。
问题： 当你用手摸脸时，皮肤会被挤压、变形，还会产生阴影（比如手挡住光，脸上变暗）。硬塑料模型不懂这种“软绵绵”的变形，贴上去的照片也变不了，结果就是画面看起来像融化的蜡像，或者手和脸之间有一层奇怪的“雾气”。

2. NBAvatar 的解决方案：双重身份特工

NBAvatar 发明了一种叫 “神经广告牌”（Neural Billboards） 的新东西。你可以把它想象成一种**“会思考的透明玻璃片”**。

传统方法（3D 高斯泼溅）： 就像是用无数个小光点（像萤火虫）堆出来的模型。虽然快，但光点堆在一起容易显得模糊，边缘也不整齐，像是一团雾。
NBAvatar 的方法（神经广告牌）：
- 显性部分（广告牌）： 想象在人脸和手的表面，贴满了无数张微小的、透明的、可以旋转的玻璃片。这些玻璃片紧紧贴在皮肤上，负责构建准确的形状（比如手指弯曲的弧度、下巴被压下去的凹陷）。这保证了“骨架”是准的。
- 隐性部分（神经纹理）： 这些玻璃片不仅仅是透明的，它们还连接着一个超级聪明的“大脑”（神经网络）。这个大脑不直接画颜色，而是画“特征”。当手碰到脸时，大脑会根据周围的情况，自动调整玻璃片上的颜色和阴影。
- 比喻： 就像你手里拿着一张普通的白纸（广告牌），但当你把它放在阳光下，它会根据周围的光线和接触情况，自动显示出逼真的阴影和皮肤被挤压的红晕（神经纹理）。

3. 关键技术：如何防止“精神分裂”？

这里有一个巨大的挑战：如果让“形状”和“颜色”都去负责变化，电脑会晕。

问题： 脸变红了，是因为皮肤真的红了（颜色变了），还是因为脸被挤变形了（形状变了）？如果电脑分不清，它就会乱画，导致画面闪烁或模糊。
NBAvatar 的妙招（解耦训练）： 作者设计了一套特殊的“训练规则”。
- 他们先让“玻璃片”（形状）严格地贴合人的轮廓，就像给模特穿上一件紧身衣，确保形状绝对准确。
- 然后，再让“大脑”（颜色/纹理）去负责处理那些复杂的细节，比如手摸脸时的阴影、皮肤的挤压感。
- 比喻： 就像教一个画家画画。先让他把轮廓线画得笔直、准确（几何监督），然后再让他去上色和画光影（神经渲染）。这样就不会出现“为了画阴影把轮廓线都画歪了”的情况。

4. 为什么它更厉害？（不用专门教“摸脸”）

以前的方法可能需要专门教电脑：“当手碰到鼻子时，这里要变暗”。
NBAvatar 不需要这么麻烦。它利用了**“空间特征聚合”**。

比喻： 想象一个智能的滤镜。它不需要知道“手”和“脸”是什么，它只需要看到屏幕上的像素点靠得很近。当它发现“手”的像素和“脸”的像素挤在一起时，它会自动判断：“哦，这里肯定有接触，肯定有阴影，皮肤肯定被压扁了”，然后自动调整画面。
这意味着，即使你做了一个电脑从未见过的奇怪摸脸姿势，它也能根据周围的像素关系，举一反三，生成逼真的效果。

5. 实际效果如何？

更清晰： 在高分辨率下，NBAvatar 生成的画面比之前的技术（如 GaussianAvatars）清晰得多，没有那种毛茸茸的“雾气感”。
更真实： 手摸脸时，皮肤的凹陷、阴影的变化都非常自然，就像真人在摸一样。
数据说话： 论文中提到，在衡量画面真实感的指标（LPIPS）上，它比现有的最好方法提升了约 30%。

总结

NBAvatar 就像是一位既懂雕塑又懂光影的大师。
它不再是用一堆模糊的光点去堆砌人脸，而是用无数张智能的、会思考的透明玻璃片，紧紧贴合在皮肤上。它把“形状”和“光影”分开训练，确保形状准、光影真。最终，它能让虚拟形象在视频通话中，当你用手托腮、摸鼻子时，展现出像真人一样细腻、自然的互动效果，彻底告别了“假脸”和“模糊边缘”。

这项技术对于未来的元宇宙、虚拟会议和数字人来说，是一个巨大的进步，让我们离“以假乱真”的虚拟互动又近了一步。

NBAvatar: 神经广告牌化身（Neural Billboards Avatars）技术总结

1. 研究背景与问题定义

核心问题：在虚拟化身（Avatar）的渲染中，**手 - 脸交互（Hand-Face Interaction）**是一个极具挑战性的场景。现有的方法通常存在以下局限：

单一模态限制：大多数现代方法专注于头部或手部的独立渲染，忽略了两者交互时的非刚性形变（Non-rigid deformations）和颜色变化（如遮挡产生的阴影、皮肤挤压）。
现有技术的缺陷：
- 基于 NeRF 的方法：推理速度慢，难以满足实时性要求。
- 基于 3D 高斯泼溅（3DGS）的方法（如 GaussianAvatars, SplattingAvatar）：虽然速度快，但在处理动态接触区域时容易产生伪影（如模糊的纹理、边界处的高斯球突出），且难以模拟复杂的接触阴影。
- 现有交互方法（如 InteractAvatar）：虽然尝试结合 3DGS 和 MLP 来处理交互，但仍受限于 3DGS 固有的伪影，导致接触区域不够真实。

目标：提出一种能够生成照片级真实感（Photorealistic）的新视角和新姿态渲染方法，能够准确处理手 - 脸交互引起的非刚性形变、颜色变化及阴影，同时保持实时渲染能力。

2. 方法论 (Methodology)

NBAvatar 提出了一种名为**神经广告牌（Neural Billboards）**的混合表示法，结合了显式几何与隐式神经渲染的优势。

2.1 核心表示：神经广告牌 (Neural Billboards)

混合架构：
- 显式部分：使用定向平面基元（Oriented Planar Primitives）（即广告牌）来描述化身的几何结构。这些广告牌锚定在参数化网格（FLAME 面部 + MANO 手部）的表面，随网格运动。
- 隐式部分：用**可学习的神经纹理（Neural Textures, NT）**替代传统的 RGB 纹理贴图。神经纹理包含特征通道（6 通道），而非直接的颜色值。
渲染流程：
1. 光栅化：将神经广告牌投影到屏幕空间，累积神经纹理特征值，生成 6 通道特征图（ $I_f^{NB}$ ）和 1 通道不透明度图（ $I_\alpha^{NB}$ ）。
2. 神经解码：使用一个基于 U-Net 的延迟渲染器（Deferred Renderer, $R$ ）将 6 通道特征图解码为最终的 RGB 图像。
3. 优势：这种设计允许几何结构保持刚性（跟随网格），而外观细节（如接触阴影、皮肤挤压）由神经纹理和 U-Net 隐式学习，从而捕捉高频细节和姿态依赖的效果。

2.2 驱动与形变

参数化模型拟合：利用 FLAME（面部）和 MANO（手部）模型拟合多视角输入视频。
粗形变估计：使用基于位置的动态（PBD, Position-Based Dynamics）物理模拟来估计手触脸引起的面部网格粗形变。
广告牌锚定：计算每个网格多边形变换后的全局姿态，将神经广告牌锚定在网格表面，确保几何一致性。

2.3 训练策略：几何与外观解耦

由于平面基元可以独立移动，优化过程中容易出现几何漂移与外观特征混淆的问题（即几何和外观竞争解释图像变化）。为此，作者提出了几何感知训练方案：

中间轮廓监督（Intermediate Silhouette Supervision）：在神经纹理解码之前，对广告牌的光栅化不透明度图（ $I_\alpha^{NB}$ ）施加分割损失（Dice Loss）。这强制几何结构紧密贴合真实轮廓，将刚性几何与姿态相关的外观（如阴影、软组织形变）解耦。
正则化：引入 KNN 正则化，约束相邻广告牌的旋转和缩放，使其保持平滑；同时约束广告牌位置靠近网格表面，防止过度漂移。
隐式交互学习：不设计显式的交互条件模块，而是依赖 U-Net 在屏幕空间中的特征聚合能力，隐式地学习手与脸接触时的动态效果。

3. 主要贡献 (Key Contributions)

神经广告牌（Neural Billboards）表示法：提出了一种混合表示，将表面对齐的平面基元与延迟神经渲染（Deferred Neural Rendering）相结合，实现了可驱动的、具有照片级细节的化身。
几何感知训练方案：引入中间轮廓监督损失，解决了显式几何与隐式神经特征联合优化中的不稳定性问题，有效分离了刚体几何与动态外观。
隐式交互建模：证明了仅通过屏幕空间的特征聚合（无需显式的交互条件模块），即可有效建模复杂的手 - 脸交互效应（如接触阴影和形变），提高了模型的泛化能力。

4. 实验结果 (Results)

实验在 Decaf 数据集（多视角手 - 脸交互视频）上进行，对比了 GaussianAvatars (GA)、SplattingAvatar (SA) 和 InteractAvatar (IA)。

定量指标（新视角合成，1024x1024 分辨率）：
- LPIPS（感知距离）：NBAvatar 相比基于高斯的方法（GA, SA）降低了约 26%-30% 的 LPIPS 分数，显著提升了感知质量。
- PSNR 与 SSIM：在大多数测试主体上取得了最优或次优的 PSNR 和 SSIM 分数。
- 新姿态合成（Self-reenactment）：在未见过的姿态下，NBAvatar 同样表现出最佳的平均 LPIPS，证明了其良好的泛化性。
定性对比：
- 相比 InteractAvatar，NBAvatar 消除了 3DGS 常见的“霜冻”边界伪影和模糊纹理，生成了更锐利的面部细节和更真实的接触阴影。
- 相比纯高斯方法，NBAvatar 能更准确地重建非刚性形变和动态外观。
消融实验：
- 移除分割损失（ $\mathcal{L}_{NB}$ ）会导致几何噪声和伪影。
- 移除正则化（ $\mathcal{L}_{Reg}$ ）会降低指标。
- 移除延迟渲染（DNR）会导致无法处理接触阴影和非刚性形变。

5. 意义与局限性 (Significance & Limitations)

意义：

NBAvatar 解决了虚拟化身渲染中手 - 脸交互这一长期被忽视的难题，填补了现有方法在接触区域真实感上的空白。
通过结合显式几何的稳定性与隐式神经渲染的表达能力，为实时、高保真的虚拟人交互提供了新的技术路线。
其提出的解耦训练策略为混合表示法的优化提供了重要参考。

局限性：

方法对 3DMM（如 FLAME/MANO）的拟合质量非常敏感。如果参数化模型拟合不准确（特别是在未见过的姿态下），会直接影响客观指标和渲染质量。
未来工作计划引入姿态相关的形变机制，以更好地补偿参数化模型的拟合误差。

总结：NBAvatar 通过创新的“神经广告牌”架构，成功实现了高保真、实时的手 - 脸交互渲染，在感知质量上显著超越了现有的高斯泼溅和交互专用方法，是虚拟人技术向更自然交互迈进的重要一步。