技术摘要：Avatar-Forever

问题陈述

现有的用于生成交互式数字人的流式视频系统通常依赖于顺序式的、以蒸馏为中心的训练流水线，以实现少步数长视频生成。这种范式面临两个关键局限性：

1. 训练不稳定性： 在顺序流水线早期阶段引入的失败或分布偏移会负面影响后续优化，导致收敛复杂化，并使得诊断特定阶段的贡献变得困难。
2. 长程生成中的质量退化： 以蒸馏为中心的目标往往倾向于短期生成质量，但在自回归误差累积的长程生成中会遭遇质量退化问题。早期的伪影、身份漂移或唇形同步错误会成为历史上下文的一部分，逐渐降低后续生成的质量。

目前的方法试图通过一个涉及教师强制（teacher forcing）、ODE 初始化和复杂强制策略的紧耦合顺序流水线，将高效的少步数生成与长时程鲁棒性结合起来，以解决这些问题。这种纠缠使得训练过程非常脆弱，难以扩展到大型视频基础模型。

方法论

作者提出了 Avatar-Forever，该框架将高效的少步数生成与长时程鲁棒性的目标进行解耦，使它们并行训练而非顺序训练。该框架由三个核心组件组成：

1. 解耦并行训练

不同于将蒸馏与长上下文适配交织在一起，Avatar-Forever 采用了两个独立的训练分支：

• 效率分支（少步数蒸馏）： 该分支使用 分布匹配蒸馏（DMD） 进行全参数蒸馏。它将预训练的 22B 视频基础模型（LTX）压缩为一个高质量的四步生成器。该分支专注于仅在减少去噪步数的情况下，保持短期视觉质量、运动真实感和高效采样，而不引入自回归展开或受损的历史记录。
• 鲁棒性分支（面向恢复的展开训练 - RRT）： 该分支训练一个轻量级的 LoRA 适配器，以提高在扩展展开条件下的稳定性。RRT 通过模拟自回归误差的累积来解决训练与测试之间的失配。
  • 机制： 模型对早期的历史块进行扰动（使用噪声、模糊或掩码等随机退化），然后执行多步自回归展开（$K$ 个块）且不进行梯度追踪。
  • 监督： 与仅监督局部重建的方法不同，RRT 仅在误差通过展开过程传播到最终目标块之后，才对该目标块应用标准的流匹配（flow-matching）监督。这训练了模型从模型诱导的上下文漂移中恢复，而不仅仅是从合成的损坏中恢复。

2. 推理时优化：ForeverCache

为了加速流式推理，作者引入了 ForeverCache，一种块状自回归历史特征缓存机制。

• 问题： 标准的自回归推理在每个去噪步骤都会重新计算整个可见的历史窗口，即使只有当前块在更新。
• 解决方案： ForeverCache 仅在初始去噪步骤（$t=T$）时对历史窗口进行一次完整的前向传播，以填充每块的历史上下文特征。在随后的步骤中，它会重用这些稳定的缓存特征，同时仅向前传播当前块的 Token。
• 收益： 这消除了对固定历史块的冗余计算，在保持身份一致性和运动连贯性的同时，将长时程生成的吞吐量提高了 23%。

3. 部署组合

在推理时，来自效率分支的全参数更新（$\Delta\theta_{DMD}$）和来自鲁棒性分支的 LoRA 更新（$\Delta\theta_{RRT}$）将与基础模型（$\theta_0$）合并，形成最终生成器：
$$\theta^* = \theta_0 + \Delta\theta_{DMD} + \Delta\theta_{RRT}$$
这使得系统能够利用蒸馏生成器的高保真度，同时以极低的额外成本增加对抗自回归漂移的鲁棒性。

4. 合成数据流水线

为了支持可扩展的适配，作者构建了一个完全合成的数据流水线。他们使用视频基础模型从高质量的对话提示词中合成训练视频，随后进行自动过滤以剔除低质量、静态或语义不一致的样本。这确保了训练数据与目标生成分布自然对齐。

核心贡献

1. Avatar-Forever 框架： 一种解耦的并行训练范式，证明了少步数效率和自回归鲁棒性可以在并行状态下被有效学习，避免了顺序流水线中的目标干扰。
2. 面向恢复的展开训练 (RRT)： 一种新型训练策略，通过在误差通过多块展开传播后进行监督，针对自回归生成的主要失效模式（误差累积），使用标准的流匹配目标进行训练。
3. ForeverCache： 一种块状历史特征缓存机制，可在去噪步骤间重用稳定的上下文特征，消除了冗余计算并提高了长时程生成的吞效 23%。
4. 可扩展实现： 该框架使用 22B 视频基础模型和合成数据流水线实现，实现了实时、高质量、长时长的音频驱动数字人生成。

实验结果

该框架在包括 TalkVid、EMTD 和 HDTF 在内的数据集上，针对短视频（5秒）和长视频（30秒）切片进行了评估。

• 性能： Avatar-Forever 在长时程音频驱动数字人生成方面达到了最先进水平（SOTA）。在单张 H100 GPU 上，它支持 768 × 512 分辨率视频的无限制音频驱动生成，帧率为 27.2 FPS。
• 质量指标： 与强基线模型（OmniAvatar, LiveAvatar, SoulX-FlashTalk, InfiniteTalk）相比，Avatar-Forever 在 LLM 综合评分上平均提升了 4.6%（短时程）和 5.0%（长时程）。它在视觉质量（IQA, ASE）、运动真实感和唇形同步（Sync-C/Sync-D）方面也表现出显著提升，同时降低了 FID 和 FVD。
• 长时程稳定性： 在 30 秒和 11 分钟连续生成测试中，Avatar-Forever 保持了稳定的身份、面部结构和场景内容，没有出现竞争方法中所观察到的渐进式漂移、重复动作或视觉退化。
• 效率： ForeverCache 版本在短视频上降低了 19.1% 的延迟，在 30 秒视频上降低了 31.2% 的延迟，同时保持了具有竞争力的质量指标。
• 用户研究： 在双盲用户研究中，Avatar-Forever 在所有感知维度（音画同步、视觉、运动、综合）上均排名第一，人类评分者指出其具有更优越的时序自然度和动作多样性。

意义与主张

论文声称，Avatar-Forever 通过从根本上重新思考训练流水线，为稳定的实时数字人提供了一条切实可行的路径。其核心洞察是：少步数效率和长时程稳定性运行在不同的时间尺度上，不应在单一的蒸馏目标中纠缠在一起。

通过将这些目标解耦并在并行状态下进行训练，该框架简化了训练过程，使每个目标都更容易优化和诊断，并避免了顺序流水线的脆弱性。作者将其定位为一种可扩展的解决方案，用于生成高保真、连贯且可以无限期生成的交互式数字人，克服了以往阻碍长时程生成的误差累积限制。这项工作还强调了使用完全合成数据流水线来训练针对特定高要求任务（如数字人生成）的大规模视频基础模型的可行性。