💻 computer science

ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars

本文提出了 ProgressiveAvatars，一种基于模板网格自适应隐式细分和层级 3D 高斯构建的渐进式可动画 3D Avatar 表示方法，能够根据屏幕空间信号动态分配资源并支持增量加载与渲染，从而在网络带宽和计算资源波动的 XR 及远程呈现场景中实现平滑的质量提升。

原作者： Kaiwen Song, Jinkai Cui, Juyong Zhang

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaiwen Song, Jinkai Cui, Juyong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 ProgressiveAvatars（渐进式虚拟化身）的新技术，它的核心目标是解决一个我们都很熟悉的痛点：在网速慢或电脑配置低的时候，如何快速看到并流畅地使用高质量的 3D 虚拟形象？

为了让你更容易理解，我们可以把这项技术想象成"点外卖"或者"搭积木"的过程。

1. 以前的痛点：必须等“整桌菜”上齐才能吃

想象一下，你想看一个高清的 3D 虚拟人（比如你的数字替身）。

传统方法（像 GaussianAvatars）：就像去一家餐厅，厨师必须把整桌菜（所有的细节数据）全部做完、全部装在一个大盒子里，然后一次性端给你。
- 问题：如果网络不好，这个“大盒子”传输很慢，你得干坐着等很久，屏幕上一片空白。只有等 100% 的数据传完了，你才能看到那个虚拟人，而且一开始就是全高清的。
- 结果：等待时间长，体验不流畅，一旦网络波动，整个体验就卡住了。

2. 新方案：ProgressiveAvatars —— “先上汤，再上菜，最后上甜点”

这项新技术就像是一个聪明的送餐员，它不再等你把整桌菜做完，而是采用**“渐进式”**的策略：

第一步：先上“汤”（基础轮廓）
只要传过来一点点数据（比如 5%），你就能立刻看到一个大概的、能动的虚拟人。虽然它看起来有点模糊，像低分辨率的素描，但你可以立刻看到它在动，能和你互动。这就像先给你上一碗热汤，让你立刻能“吃”上饭，不再干等。
第二步：边吃边加“菜”（细节填充）
随着网络继续传输数据，新的细节会像“加菜”一样，一点点叠加在原来的基础上。
- 先看到衣服的轮廓，然后慢慢出现衣服的褶皱。
- 先看到牙齿的白影，然后慢慢看清牙齿的纹理。
- 关键点：你不需要把之前的“汤”倒掉重做，新来的“菜”是无缝叠加在旧数据上的。画面会变得越来越清晰，越来越真实，而且中间没有卡顿或闪烁。

3. 它是怎么做到的？（核心魔法）

这项技术用了三个聪明的“魔法”：

魔法一：像“俄罗斯套娃”一样的层级结构

以前的方法可能是把整个模型切成很多块，每一块都是独立的（像不同大小的俄罗斯套娃，要换就得全换）。
而 ProgressiveAvatars 是在一个模板上，像长树一样生长。

它先有一层粗糙的“树干”（基础网格）。
当系统发现某个地方（比如眼睛、嘴巴）需要更多细节时，它就像树枝分叉一样，只在那个地方**“长”**出更细的树枝（更细的网格）。
好处：哪里需要细节就在哪里“长”细节，不会浪费资源在光滑的额头或脸颊上。

魔法二：给每个细节贴“重要性标签”

系统会给每一个微小的细节（3D 高斯点）打分，看它对画面有多重要。

重要（比如眼睛、嘴唇）：优先传输，让你先看到关键部位。
不重要（比如背景里的衣服褶皱）：晚点再传。
比喻：就像你在拼一幅巨大的拼图，系统会先把人脸这块拼好，让你一眼认出是谁，然后再慢慢拼衣服、拼背景。这样即使只拼了 20%，你也知道这是谁了。

魔法三：跟着表情“动”的胶水

虚拟人是要做表情的（眨眼、张嘴）。以前的技术，如果模型变复杂了，动起来可能会变形或卡顿。
这项技术把每一个微小的细节（3D 高斯点）都像是用强力胶水粘在了底层的“皮肤网格”上。

不管底下的网格怎么动（做鬼脸、转头），粘在上面的细节都会跟着动，而且无论细节多还是少，它们都能完美配合，不会散架。

4. 这项技术有什么用？

网速慢也不怕：在 5G 信号不好或者用 WiFi 的时候，你也能立刻看到虚拟人，然后看着它慢慢变清晰。
手机也能跑：因为它是按需加载，手机可以先只加载简单的版本，等性能允许了再加载高清版，不会把手机卡死。
元宇宙/VR 社交：想象一下在 VR 里开大会，如果每个人都要等几分钟加载高清形象，会议就开不起来了。用这个技术，大家一进来就能互动，形象随着时间推移越来越逼真。

总结

ProgressiveAvatars 就像是一个智能的、会生长的 3D 画家。它不再要求你一次性下载完所有画布，而是先画个草图让你看，然后随着时间推移，一笔一笔地添加细节，直到变成一幅 masterpiece（杰作）。

它让高质量的 3D 虚拟人变得**“即点即用”，并且能随着网络状况“越变越好”**，彻底解决了“等待下载”的烦恼。

1. 研究背景与问题 (Problem)

在实时 XR（扩展现实）和远程临场（Telepresence）应用中，网络带宽和计算资源经常波动。现有的高保真 3D 数字人（Avatar）传输方案面临以下挑战：

启动延迟高：传统的静态资产传输需要下载完整模型后才能开始渲染，导致用户在等待下载时无法看到任何内容，破坏了沉浸感。
缺乏渐进式支持：现有的基于 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）的数字人方法通常不支持渐进式流式传输。它们缺乏增量加载机制，无法在带宽增加时平滑地累积细节。
LOD（细节层次）切换僵化：现有的多细节层次方法通常依赖离散的 LOD 范式（即存储多个独立的模型副本），这导致严重的存储冗余，且在切换不同质量等级时会产生明显的跳变（Pop-in）和延迟。
资源分配不均：直接增加高斯数量会显著增加传输大小和加载时间；而均匀细分（Uniform Subdivision）会导致在平滑区域过度细化，而在高频细节区域（如五官）细化不足。

核心目标：构建一种渐进式、可动画的 3D 高斯 Avatar 表示，能够在网络波动下实现最小启动延迟，并随着数据流的到达连续、平滑地提升渲染质量。

2. 方法论 (Methodology)

作者提出了 ProgressiveAvatars，这是一种基于自适应隐式细分（Adaptive Implicit Subdivision）和连续细节累积的渐进式 Avatar 表示。

2.1 核心架构

基础骨架：基于 FLAME 模型（参数化人脸模型）提供可动画的基础结构。
面局部绑定（Face-Local Binding）：
- 将 3D 高斯绑定在 FLAME 网格的每个三角形面（Face）的局部坐标系中。
- 高斯的位置、旋转和缩放通过相对于三角形面中心的残差（Residuals）定义。
- 优势：无论表情和头部姿态如何变化，高斯都能随网格变形而稳定移动，保持身份一致性。
层级细分树（Hierarchical Subdivision Tree）：
- 在模板网格的每个面上构建隐式细分树。
- 通过重心插值（Barycentric Interpolation）递归生成子顶点，形成“三角形面森林”。
- 每个层级（Level）对应不同精度的细节。

2.2 自适应生长 (Adaptive Growing)

训练过程：利用屏幕空间梯度（Screen-space Gradients）作为信号。
- 仅在最精细层级累积梯度，识别细节不足的区域。
- 每隔固定步数，对梯度超过阈值 $\epsilon$ 的叶子面进行细分，并为其分配新的高斯。
- 优势：资源自动集中在高频细节区域（如眼睛、嘴巴、头发），避免在平滑区域（如脸颊、颈部）浪费资源。

2.3 渐进式渲染与传输 (Progressive Rendering & Transmission)

重要性排序（Importance Ranking）：
- 训练完成后，计算每个面及其绑定高斯的“重要性得分”（基于聚合的屏幕空间梯度和透射率）。
- 根据得分对高斯进行排序，得分高的优先传输。
增量加载：
- 初始阶段：传输最粗糙层级（Base Level）的高斯，立即生成一个可动画但粗糙的 Avatar。
- 后续阶段：随着数据流到达，按重要性顺序增量添加新的高斯。
- 无缝融合：新到达的高斯直接叠加到现有内容上，无需丢弃旧数据或进行模型替换，实现无闪烁（Pop-free）的质量提升。

3. 关键贡献 (Key Contributions)

范式转变：从离散的、冗余的 LOD 模型切换，转变为单一的、连续的可流式资产。任何接收到的子集高斯都可以立即渲染。
渐进式表示：提出了基于网格锚定的 3D 高斯层级结构，通过自适应隐式细分实现细节的连续累积，同时保持所有流式阶段的可动画性。
增量加载机制：通过“逐步激活”（Gradual Activation），允许在带宽受限时立即呈现粗略 Avatar，并随带宽增加平滑提升视觉质量。
自适应优化：利用屏幕空间信号指导细分，实现了视觉保真度与高斯数量之间的最佳权衡，优于均匀细分策略。

4. 实验结果 (Results)

实验在 NeRSemble 数据集上进行，对比了 GaussianAvatars、PointAvatar 等 SOTA 方法。

重建质量：
- 在 100% 预算下，ProgressiveAvatars 的 PSNR、SSIM 和 LPIPS 指标与 GaussianAvatars 等 SOTA 方法相当（例如 NVS PSNR: 31.47 vs 31.10）。
- 在 5% 的极低预算下（仅传输约 2.6MB 数据），仍能生成可用的 Avatar，PSNR 达到 27.89，远优于其他方法在同等低预算下的表现。
渐进式性能：
- 随着传输百分比增加（5% -> 25% -> 50% -> 100%），图像质量单调提升，细节（如纽扣、牙齿、头发）逐渐清晰。
- 帧率（FPS）保持稳定（约 260-290 FPS），未因模型复杂度增加而显著下降。
消融实验：
- 自适应生长 vs 均匀细分：自适应策略在相同高斯数量下重建质量更高，且能更好地处理 FLAME 模板中非均匀细分的区域（如颈部和衣物）。
- 多层级监督：仅监督最精细层级会导致低层级无法学习完整头部结构；联合监督所有层级是必要的。
- 重要性排序：按重要性排序传输比随机排序能显著减少颜色漂移和伪影，提升感知质量。

5. 意义与影响 (Significance)

解决实时流媒体痛点：ProgressiveAvatars 解决了高保真 3D 数字人在弱网或波动网络环境下的启动延迟问题，使得“即传即看”成为可能。
资源效率：通过自适应细分和重要性排序，极大地优化了带宽和存储效率，避免了传统 LOD 方法的冗余存储。
通用性：虽然本文聚焦于头部 Avatar，但其提出的“网格锚定 + 自适应层级高斯”框架具有通用性，可推广至通用 3D 资产流式传输和 4D 体积视频领域。
未来应用：对于社交 VR、元宇宙会议等需要多用户实时交互且网络环境复杂的场景，该技术是至关重要的基础能力，有助于将 3DGS 内容普及到异构网络和终端设备上。

总结：该论文提出了一种创新的渐进式 3D 高斯 Avatar 表示法，成功平衡了高保真度、可动画性、低延迟启动和带宽适应性，为下一代实时 3D 通信和沉浸式交互提供了强有力的技术支撑。