💻 computer science

Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming

Vorch-Streamer 是一个后训练框架，它通过结合采用混合强制策略训练的因果生成器、用于长时程稳定性的 DMD 蒸馏，以及用于语音规划的外部语言模型，实现了实时、长篇幅的文本到音视频流式传输，从而实现高速、同步且一致的数字人生成。

原作者： Menglin Han, Yang Ding, Yulei Lu, Haoran Yu, Xin Ma, Junyi Chen, Zhangkai Ni, Lin Ma, Yaohui Wang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Menglin Han, Yang Ding, Yulei Lu, Haoran Yu, Xin Ma, Junyi Chen, Zhangkai Ni, Lin Ma, Yaohui Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人讲故事。你希望它能同时说话、动嘴唇并改变面部表情，就像真人一样。长期以来，最优秀的机器人只能做到这一点极短的时间片段，比如一段 5 秒钟的问候。它们的工作方式就像一位在拍摄场景前先看完整个剧本的导演，通过预看后续来决定当前动作。但在现实世界中，我们没有时间等待整个故事写完才开始说话。我们需要机器人在仅基于已说出内容的情况下，现在就开始说话，同时保持面部和声音完美同步。这就是“实时流式传输”的挑战。问题在于，如果机器人在第一秒犯了一个微小的错误，这个错误会随着时间的推移不断累积，导致机器人的脸部看起来很怪异，或者声音偏离主题。科学家们一直试图研究如何让这些数字虚拟化身进行长达数分钟的交谈，而不至于失去理智或节奏。

于是有了 Vorch-Streamer，一个像超级组织有序的实时讲述者一样的全新系统。Vorch-Streamer 并不试图在说话前背诵整个剧本，而是使用一种巧妙的两部分策略来让表演持续进行超过两分钟而不中断。把它想象成一支正在进行长篇即兴演奏的乐队。通常情况下，如果音乐家弹错了一个音符，整首歌可能会变得混乱。但 Vorch-Streamer 有一个特殊的“排练”模式。首先，它练习演奏短小的片段，并接受一位老师（一个知道如何完美执行的预训练模型）的温和纠正。然后，它练习从头到尾演奏完整的一首歌，但这一次，它会倾听自己之前的错误，并学习如何在进行中即时修复它们，同时由一位“指挥”（一个 AI 规划器）准确地告诉它接下来该说什么词。

结果是，一个数字虚拟化身可以同时生成视频和音频，速度达到 27.12 帧/秒 (FPS)。为了让你有个直观的概念，标准视频播放速度为 24 FPS，这意味着这个机器人的速度实际上比实时还要快！它可以让自己的面部看起来始终是同一个人，嘴唇与词汇完美同步，并且在近两分钟的时间里保持声音清晰准确。研究人员发现，如果没有一个专门的“规划”步骤来决定接下来要说什么，机器人就会变得困惑，开始说胡话或不断重复。通过添加这个规划器，该系统成功解决了如何在不需要预知未来的情况下，让长对话流畅进行的难题。这证明了你可以将一个强大但缓慢、掌握完整故事的机器人，转化为一个快速、现场表演、且只需掌握足够信息即可让演出逐秒持续下去的表演者。

技术摘要：Vorch-Streamer

问题陈述

在将预训练的双向扩散模型适配到流式设置时，实时、长时程的数字人音视频生成面临两个主要的困境：

曝光偏差与视觉漂移（Exposure Bias and Visual $\text{Visual Drift}$ ）： 长时程流式生成需要自回归生成，即模型的预测结果将作为后续数据块的上下文。外观、动作或同步方面的微小误差会随时间累积，导致训练与测试之间存在不匹配——即干净的训练数据与自生成的推理历史之间的不匹配。这会导致复合伪影和时间漂移，从而使长程生成变得不稳定。
全局语音与因果上下文的不匹配（Global Speech vs. Causal Context Mismatch）： 在文本生成音频-视频（T2AV）任务中，输入提示词描述的是一个完整的表达。然而，一个运行在流式窗口中的因果生成器只能关注有限的局部历史。如果没有显式的规划，模型在确定下一段话应该说哪部分内容时会感到困难，这通常导致音频在句子中间开始、失去时间对齐，或者生成错误的语音内容。

现有的模型通常设计用于短时的离线片段并采用双向注意力机制，这使得它们与必须在观察到未来内容之前生成下一段内容的流式系统不兼容。此外，许多现有的流式数字人依赖于外部提供的驱动音频或参考帧，无法实现真正从文本出发、以因果方式联合合成语音和视频。

方法论

Vorch-Streamer 是一个后训练框架，旨在将预训练的双向 LTX2.3 音视频基础模型扩展为因果、实时、长时程的流式生成器。该方法由三个主要阶段组成：

1. 合成语料库构建

作者使用预训练的双向 LTX2.3 模型构建了一个包含 80,000 个高质量数字人音视频片段（时长 12–21 秒）的合成语料库。这确保了训练数据与模型的初始化保持一致，为后续的因果训练提供了一致的模型监督。

2. 因果音视频流式生成（第二阶段）

为了将双向模型转换为块自回归流式生成器，作者采用了混合训练策略：

混合教师强制与扩散强制（Mixed Teacher Forcing and Diffusion Forcing）： 模型采用样本级混合训练，其中 10% 的样本使用干净的地面真值历史（教师强制），90% 的样本使用受损的历史（扩散强制）。这通过在训练期间让模型接触不完美的自生成上下文，减少了训练与测试之间的差异。
因果注意力掩码（Causal Attention Masking）： 模型在每个同步的音视频块（约 1 秒）内部保留双向注意力以建模细粒度的交互，但在块与块之间强制执行因果注意力。
有界上下文（Bounded Context）： 为了保持恒定的内存占用，模型关注一个由前三个块（持久前缀）和最近的一个前置块组成的有界窗口。

3. 长程自我强制（第三阶段）

为了解决长序列中误差累积的问题，该框架应用了带有分布匹配蒸馏（DMD）的自我强制（Self Forcing）：

因果学生模型通过其自身的预测，逐块生成完整的 12–21 秒序列。
一个冻结的双向 LTX2.3 模型充当“真实得分（real-score）”教师，代表目标分布。
一个可训练的“伪得分（fake-score）”模型用于估计学生模型不断演变的分布。
学生模型通过最小化其分布与教师分布之间的差异进行优化，从而有效地将预训练双向模型的质量转移到长程因果轨迹中，同时让模型接触到其推理时的展开分布。

4. 基于 LLM 的语音规划

为了解决全局文本提示与局部因果生成之间的不匹配，Vorch-Streamer 引入了一个显式的语音规划路径：

一个外部大语言模型（Fun-CosyVoice）以 25 Hz（40 ms 单位）预测离散的语音规划标记（tokens）。
这些标记被转换为连续特征，并通过专门的交叉注意力模块注入到音频扩散分支中。
一个门控融合算子将这些规划特征与原始的文本调节音频特征进行自适应组合。
这将语音规划（说什么以及何时说）与音频生成（如何合成它）解耦，从而允许中断、切换以及包含可学习的静音标记以进行交互式聆听。

核心贡献

框架： 提出了 Vorch-Streamer，这是一个后训练框架，能够将预训练的双向音视频扩散模型适配为因果、实时的长时程流式生成器。
训练策略： 构建了 80K 合成语料库，并提出了一种结合混合教师/扩散强制、长程自我强制以及教师蒸馏的新型训练流水线，以使因果训练与流式推理保持一致。
语音规划： 提出了基于 LLM 的语音规划路径，为音频分支提供连续的规划特征，实现了对语音进度、中断和静默聆听的显式控制，而无需在流开始时固定整个未来的表达。
性能： 展示了在 27.12 FPS 下实现实时、长时程 T2AV 流式生成的性能（超过了 24 FPS 的实时阈值），同时保持了极具竞争力的同步性和语音准确度。

实验结果

作者在连续长时程展开（约 2 分钟）中评估了 Vorch-Streamer，并将其与原生 T2AV 基准模型（LTX2.3, JoyAI-Echo, OmniForcing, Hallo-Live）以及条件 TIA2V 参考模型（LiveAvatar, SoulX-FlashTalk）进行了对比。

速度： Vorch-Streamer 在单张 NVIDIA H200 GPU 上达到了 27.12 FPS，是唯一一个超过实时播放速度的被评估的原生 T2AV 方法。它显著快于双向 LTX2.3（1.83 FPS）和其他流式基准模型。
语音准确度： 该模型实现了 7.92% 的字错率（WER），与离线双向 LTX2.3（7.59%）相当。相比之下，没有显式语音规划的基准模型（OmniForcing, Hallo-Live）在推演至长时长时会出现灾难性的 WER（>90%）。
同步性： 该模型保持了强大的音画同步能力（Sync-C: 6.62, Sync-D: 8.95），与速度慢得多的双向 LTX2.3 相当。
长程稳定性： 在两分钟的展开过程中，Vorch-Streamer 在身份保持（ArcFace 相似度稳定在 0.73–0.77 左右）和场景一致性（CLIP 相似度在 0.92–0.94 左右）方面表现出极小的退化。其他原生 T2AV 方法在类似时长内表现出明显的漂移和身份丢失。
消融实验：
- 去除 LLM 语音规划器会导致 WER 达到 184%，证实了显式规划对于因果 T2AV 的必要性。
- 去除第二阶段（因果初始化）会导致运动塌陷（动态程度从 0.2706 降至 0.0824）。
- 去除第三阶段（长程自我强制）会导致更高的 WER（9.17%）和增加的漂移。
- 3+1 的上下文窗口（3 个持久前缀块 + 1 个最近块）被证明是平衡身份保持与误差累积的最优选择。

意义

本文声称 Vorch-Streamer 为将强大的双向基础模型适配为实时、交互式数字人生成提供了一条切实可行的路径。通过利用长程自我强制解决曝光偏差问题，并通过显式 LLM 规划解决语音进度问题，该框架实现了原生的文本生成音视频（T2AV）生成，且具备因果性和长时程特性。与依赖外部音频或参考帧的条件流水线不同，Vorch-Streamer 从头开始生成两种模态，在长时间运行下仍能保持稳定性和同步性，且不需要随序列长度增长而增加内存消耗。