💻 computer science

Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length

本文介绍了 Live Avatar，这是一个协同设计的算法-系统框架，它通过将蒸馏后的因果扩散流水线与时间步强制流水线并行技术（Timestep-forcing Pipeline Parallelism）相结合，实现了首个实用的、实时且无限长度的 140 亿参数音频驱动化身生成，在达到 45 FPS 的同时消除了长时程身份漂移问题。

原作者： Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人讲故事。你希望它能说话、动嘴、并根据你的声音完美同步地改变面部表情，同时看起来像一个真人。这就是**音频驱动数字人生成（audio-driven avatar generation）的世界。长期以来，科学家们一直在利用一种叫做扩散模型（diffusion model）**的 AI 技术来构建“数字演员”。你可以把扩散模型想象成一位雕塑家，他从一块充满噪声的静态块开始，通过一点点剔除噪声，最终显现出一尊完美的雕像。通常，这位雕塑家工作得非常严格：他必须先完成头部，然后才能开始制作身体，而且必须按部就班地进行，这需要很长时间。

一个大问题是，如果你要求这个机器人讲一个小时的故事，它往往会变得混乱。它可能会忘记角色五分钟前长什么样，或者它的声音听起来可能完全变成了另一个人。这被称为“漂移（drift）”。此外，由于雕塑家的工作速度很慢，你无法与它进行实时对话；等你一句话说完，它才刚完成，而你早已忘记了刚才说了什么。研究人员的目标一直是构建一个既能实时与你交谈，又足够聪明能保持数小时身份一致性，且细节足够逼近照片级真实感的数字演员。

于是有了 Live Avatar，这是一个像指挥家一样指挥着庞大计算机芯片管弦乐团的新项目。由中国科学技术大学和阿里巴巴团队领导的研究人员发现，他们可以让一个拥有 140 亿参数（在 AI 领域这是一个巨大的规模，即“14B”模型）的巨型 AI 模型在不“发疯”的情况下进行说话、动作和视频流传输。

通常情况下，制作如此长且如此快速的视频是一个矛盾。你可以选择速度，或者选择质量，但两者不可兼得。Live Avatar 通过改变 AI 对“时间”和“记忆”的思考方式解决了这个问题。系统不再试图记住过去每一个完美的细节（这会导致 AI 产生混乱和漂移），而是存储一种“带有噪声的”记忆。想象一下，尝试通过哼唱旋律的大致轮廓来回忆一首歌，而不是试图精准回忆每一个音符。这种“粗略”的记忆就像一个过滤器，在让嘴部自然运动的同时，保持角色面部的稳定。

该团队还发明了一种被称为**时间步强制并行流水线（Timestep-forcing Pipeline Parallelism）**的巧妙加速方法。想象一个工厂的装配线，与其让一名工人完成造车的每一个步骤，不如让一个团队分工协作。在普通的视频 AI 中，每个工人都要等待前一个人完成后才能开始。Live Avatar 改变了规则：流水线上的每个工人（或每个计算芯片，即 GPU）都被分配了一个特定的步骤。当工人 A 正在抛光车轮时，工人 B 正在喷漆车门，而工人 C 正在安装引擎，所有这些都在同一时间进行。这把一个缓慢的顺序过程变成了一个快速的并行过程。

结果令人印象深刻。在配备了 5 张强大的 H100 显卡的设置下，Live Avatar 可以以 **45 帧每秒（FPS）**的速度生成视频，这比人类视觉的速度还要快。在你说话后，它仅需 1.21 秒即可开始生成第一帧。最重要的是，它可以永远持续下去。研究人员通过让数字人连续说话超过 10,000 秒（接近三小时）进行了测试，角色没有发生漂移，没有出现闪烁，也没有丢失其身份特征。

这不仅仅是一个理论上的胜利；团队还建立了一个新的测试场 GenBench，以证明其他方法在长时长表现上的失败，以及他们方法的成功。他们发现，虽然其他系统在几秒钟内看起来不错，但在几分钟后就会开始退化、变色或丢失人的面部特征。然而，Live Avatar 却能保持一致性。这表明，通过结合“噪声记忆”策略和智能的“装配线”系统，我们终于可以拥有准备好进行无限实时对话的数字人。

论文明确排除了“需要用数小时的视频来训练 AI 以使其能够工作数小时”的观点。相反，他们展示了只要使用特殊的“噪声历史”技巧，使用短片段（约 3 秒）进行训练就足够了。他们也反驳了旧有的观念，即必须在快速低质模型和缓慢高质量模型之间做出选择。通过他们的方法，你可以拥有一个庞大且高质量且能实时运行的模型。

尽管该系统速度极快，但作者指出仍存在微小的延迟。包括网络传输时间在内，从你说话到视频出现在屏幕上的时间大约为 3 秒。这对于许多交互场景来说已经足够快，但对于追求毫秒必争的无缝面对面交谈可能还不够。然而，对于流媒体、虚拟助手和数字叙事而言，这是一个巨大的飞跃，预示着无限实时数字人的时代已不再仅仅是一个梦想。

技术摘要：Live Avatar

1. 问题陈述

音频驱动的头像生成旨在合成由输入音频流驱动的逼真人类面部视频。虽然扩散模型已实现了顶尖的视觉保真度，但将其部署用于交互式、实时且无限长度的生成时，面临着两个根本性的、相互冲突的挑战：

长程一致性（Long-Horizon Consistency）： 现有方法在自回归展开过程中存在误差累积问题，导致在生成数分钟后出现身份漂移、颜色伪影和时间不稳定性。目前的解决方案要么无法扩展到大规模模型（例如 14B 参数），要么在分钟级的生成中性能迅速下降。
实时性与保真度的权衡（Real-Time–Fidelity Trade-off）： 大规模扩散模型（如 14B）具有卓越的质量，但由于顺序多步去噪过程，其本质上速度较慢。相反，实时化方法通常依赖于非迭代生成或小型模型，从而牺牲了视觉保真度。

本文认为，目前尚无现有方法能同时利用大规模扩散模型实现流式传输、实时吞吐量和无限长度的稳定性。

2. 方法论

Live Avatar 是一个基于 140 亿参数扩散模型的算法-系统协同设计框架。它通过两阶段训练流水线和一种新型系统级并行策略来解决上述挑战。

A. 算法创新

该框架采用两阶段流水线，将预训练的双向扩散模型适配为因果、少步数的流式模型：

第一阶段：带有运动帧支架（Motion-Frame Scaffolding）的扩散强迫预训练（Diffusion Forcing Pretraining）：
- 模型使用分块独立噪声调度和因果注意力掩码进行预训练。
- 运动帧支架： 为了加速收敛，将噪声运动帧（当前剪辑之前的上下文帧）作为辅助上下文注入。这起到了“支架”的作用，用于教授动态与身份的解耦，而无需承担自强迫（self-forcing）展开的高昂成本。这一阶段相比于不使用支架的训练，实现了 5 倍的收敛加速。
第二阶段：带有历史损坏（History Corrupt）的自强迫分布匹配蒸馏（DMD）：
- 将双向教师模型蒸馏为因果、少步数的学生模型。
- 历史损坏（History Corrupt）： 这是一个关键的设计选择，即键值（KV）缓存存储的是噪声表示而非干净的历史记录。
  - 机制： 高斯噪声充当低通滤波器，在保留低频运动动态的同时，抑制高频累积伪影。
  - 益处： 这迫使模型依赖持久的“汇帧（sink frame）”来维持身份和外观，而由噪声缓存处理运动。这有效地实现了身份与运动的解耦，尽管是在约 3 秒的片段上进行训练，却能实现超过 10,000 秒的稳定外推，防止了误差累积。
- 自适应注意力汇（Adaptive Attention Sink, AAS）： 为了防止由于真实参考图像与模型生成流形之间的不匹配导致的分布漂移，在初始块之后，汇帧被替换为模型自身生成的第一个潜在表示。
- 滚动 RoPE（Rolling RoPE）： 为了减轻测试时的条件漂移，汇帧的 RoPE（旋转位置嵌入）索引会被动态调整，以保持与当前噪声状态的相对位置一致，从而防止长程生成中的注意力退化。

B. 系统创新：时间步强迫流水线并行（Timestep-forcing Pipeline Parallelism, TPP）

为了打破扩散模型的顺序采样瓶颈，作者提出了 时间步强迫流水线并行（TPP）：

概念： 不同于在单个设备上进行顺序去噪，将 $T$ 个去噪步骤划分到 $T$ 个 GPU 上。每个 GPU 被分配一个固定的时间步 $t_i$ ，并重复执行变换 $t_i \to t_{i-1}$ 。
机制：
- 将顺序扩散链转换为异步空间流水线。
- 由于 KV 缓存是噪声化的（历史损坏），每个 GPU 维护自己的局部滚动 KV 缓存，无需进行 GPU 间的缓存更新通信。
- GPU 仅将紧凑的潜在表示传递给下一个设备。
结果： 吞吐量由单次去噪前向传播决定，而非所有步骤的总和，实现了与去噪步数成比例的理想线性加速。

3. 核心贡献

因果、可流式适配框架： 一种两阶段训练方法，通过利用运动帧支架将双向模型蒸馏为因果、少步数的流式模型，实现了 5 倍的收敛加速。
长程稳定性： 证明了在 KV 缓存中仅存储噪声历史（历史损坏）可以实现“短训练-长推理”的能力，支持超过 10,000 秒的稳定生成。AAS 和 Rolling RoPE 进一步解决了分布和位置漂移问题。
时间步强迫流水线并行（TPP）： 一种系统级优化，通过为 GPU 分配固定时间步来打破顺序瓶颈，实现了大规模模型的高吞吐量推理。
标准化基准（GenBench）： 引入了一个包含超过 5 分钟长视频测试用例的基准，用于评估长程性能。

4. 实验结果

系统在 5 台 NVIDIA H100 GPU 上对 14B 参数模型进行了评估：

性能： 实现 45 FPS 的吞吐量，首帧时间（TTFF）为 1.21 秒。
规模： 据作者所知，这是首个能够针对无限长度头像生成进行 14B 扩散模型实时流式传输的实用方案。
质量指标（GenBench）：
- 短视频： 在视觉质量（IQA: 4.51, ASE: 3.44）和身份一致性（Dino-S: 0.96）方面优于现有最先进方法（如 Ditto, OmniAvatar, WanS2V），同时保持了极具竞争力的音画同步性。
- 长视频： 在不同时长下保持近乎一致的质量（例如，IQA 从 4.51 $\to$ 4.76，Dino-S 从 0.96 $\to$ 0.97），而 OmniAvatar 和 WanS2V 等基准模型随时间推移表现出明显的质量和身份一致性下降。
消融实验：
- 移除 历史损坏（History Corrupt） 会导致身份一致性严重下降（Dino-S 降至 0.81）和视觉质量下降。
- 移除 AAS 会导致渐进式的色彩饱和度降低。
- 移除 Rolling RoPE 会引发身份漂移（Dino-S 降至 0.86）。
- TPP 被证明是实现高 FPS 的关键；若不使用 TPP，系统在 4 个 GPU 上的运行速度仅为约 5 FPS。

5. 重要性与声明

论文声称 Live Avatar 解决了音频驱动头像生成中模型规模、视觉保真度和实时性能之间长期存在的权衡问题。通过将算法（噪声 KV 缓存、蒸馏）与系统（TPP）协同设计，它实现了首个可用于无限长度、实时流式传输的 14B 扩散模型的实际部署。

作者强调，其长程稳定性策略是基于头像交互中固有的静态场景先验（即主体和背景基本保持不变）。他们承认，随着原生长时长训练变得可行，这些先验可能不再必要。此外，他们指出，虽然系统实现了实时吞吐量（45 FPS），但端到端延迟（包括网络传输约为 3 秒）尚未达到无缝双向对话的严苛要求，但这代表了迈向交互式数字通信的重要一步。