💻 computer science

OmniForcing: Unleashing Real-time Joint Audio-Visual Generation

OmniForcing 提出了一种首个将离线双流双向扩散模型蒸馏为高保真流式自回归生成器的框架，通过引入非对称块因果对齐、音频汇点令牌及联合自强制蒸馏等创新机制，有效解决了多模态时序不对称与训练不稳定问题，在单 GPU 上实现了约 25 FPS 的实时生成，同时保持了与双向教师模型相当的同步性与视觉质量。

原作者： Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OmniForcing 的新技术，它的核心目标非常明确：让 AI 生成视频和声音时，不再需要“憋大招”等半天，而是能像直播一样实时、流畅地同步生成。

为了让你轻松理解，我们可以把现有的 AI 视频生成技术想象成两种不同的“拍电影”方式，而 OmniForcing 就是那个打破规则的“超级导演”。

1. 以前的困境：要么“慢吞吞”，要么“不协调”

传统的“全知全能”导演（双向扩散模型）：
以前的顶级 AI（比如论文里提到的 LTX-2）像是一个极其严谨的导演。在开拍前，它必须把整部电影（比如 5 秒钟的视频）的每一个镜头、每一句台词、每一个音效都在脑子里过一遍，确保它们完美同步。
- 缺点： 这种“全知全能”的代价是太慢了。就像你要等导演把整本剧本写完、排练好才能开始拍，生成 5 秒视频可能需要等 3 分钟（197 秒）。这对于想实时互动的用户（比如玩游戏、直播）来说，根本没法用。
传统的“流水线”导演（级联模型）：
为了解决慢的问题，以前的做法是“先拍画面，再配声音”。就像先让一个画师画完所有图，再让一个配音员照着图配音。
- 缺点： 这样虽然快了一点，但画面和声音经常“对不上”。比如画面里猫刚张嘴，声音却慢了半拍；或者画面里下雨了，声音却是晴天。而且，因为必须等画面画完才能配音，依然无法做到真正的“实时直播”。

2. OmniForcing 的解决方案：让“直播”成为可能

OmniForcing 就像是一个拥有超能力的现场直播导演。它不需要等整部电影拍完，而是一边拍一边播，而且画面和声音严丝合缝。

它是怎么做到的呢？论文里用了三个巧妙的“魔法”：

魔法一：把时间切成“积木块”（非对称块因果对齐）

问题： 视频和声音的“节奏”完全不同。视频一秒钟只有 3 帧（像慢动作），声音一秒钟有 25 帧（像快进）。如果强行让它们一帧一帧对齐，就像让大象和兔子赛跑，根本跑不到一起。
OmniForcing 的做法： 它不再纠结于每一帧，而是把时间切成1 秒钟的“大积木块”。
- 在这 1 秒的积木里，视频有 3 个小格子，声音有 25 个小格子。
- 它规定：只要这 1 秒的积木内部是自由的（可以互相参考），但下一块积木必须等上一块拍完才能开始。
- 比喻： 就像接力赛，每 1 秒是一个接力区。在这个区域内，大家随便配合；但到了下一秒，必须等上一秒的交接棒完成。这样既保证了实时性，又不会乱套。

魔法二：给声音找个“定海神针”（音频 Sink Token）

问题： 在实时生成声音时，刚开始的那几毫秒，声音模型看到的“历史”太少了（就像刚开口说话，前面没词儿）。这时候，AI 的注意力机制容易“崩溃”，导致声音变成乱码或噪音（论文里叫 Softmax collapse）。
OmniForcing 的做法： 它在声音序列的最前面，强行插入了几个特殊的“定海神针”（Sink Tokens）。
- 比喻： 想象你在一个空旷的大厅里说话，声音会乱飘。OmniForcing 在大厅里放了几个巨大的“吸音海绵”（Sink Tokens）。无论你说什么，这些海绵都能稳稳地吸住你的声音，防止它飘走。
- 这些“海绵”被设定为没有时间属性（Identity RoPE），它们不随时间变化，只是作为一个稳定的锚点，让 AI 在刚开始说话时不会慌，保证声音清晰稳定。

魔法三：让模型学会“自我纠错”（联合自我强迫蒸馏）

问题： 实时生成时，模型必须依赖自己刚才生成的内容（而不是标准答案）来生成下一步。如果第一步有一点点小错，第二步就会错得更离谱，最后画面和声音彻底对不上（这叫“暴露偏差”）。
OmniForcing 的做法： 它在训练时，强迫模型自己扮演“老师”和“学生”。
- 比喻： 就像一个学生（模型）在练习时，老师（预训练好的大模型）会不断检查他的作业。如果学生刚才画歪了，老师会立刻告诉他：“嘿，刚才那笔歪了，下一笔要往回拉一点，不然整幅画就毁了。”
- 通过这种“自我纠错”的训练，模型学会了在长视频中不断修正自己的小错误，确保画面和声音始终同步。

3. 最终效果：快如闪电，画质如初

经过这些“魔法”改造，OmniForcing 实现了惊人的效果：

速度： 以前生成 5 秒视频要等 3 分钟，现在只需要 5.7 秒（几乎实时），而且首帧延迟（从输入指令到看到第一画面）只要 0.7 秒。
质量： 虽然它是“直播”模式，但画质和音质并没有打折，和那个“慢吞吞”的顶级导演（LTX-2）几乎一样好。
同步： 画面里的猫叫、人说话、机器声，都精准地卡在时间点上，不再“口型对不上”。

总结

OmniForcing 就像是把原本需要“精雕细琢”的电影制作流程，升级成了高清实时直播技术。

它通过切分时间块解决了节奏不同步的问题，通过加“定海神针” 解决了声音不稳定的问题，通过自我纠错解决了长视频越做越偏的问题。这让未来的 AI 应用（比如实时虚拟主播、交互式游戏、即时视频通话）变得真正可行，不再需要用户对着屏幕干等。

OmniForcing 技术总结

1. 研究背景与问题 (Problem)

现有的联合音视频生成模型（如 LTX-2, Veo 3）基于双向注意力机制（Bidirectional Attention）的扩散 Transformer（DiT）架构，虽然能生成高质量的音视频，但存在严重的高延迟问题。

核心痛点：双向模型需要同时处理整个物理时间线，导致**首块生成时间（TTFC, Time-To-First-Chunk）**极长（例如 LTX-2 生成 5 秒视频需 197 秒），无法支持实时交互或流式应用。
现有方案的局限：
- 级联流水线（Cascaded Pipelines）：先生成视频再生成音频（或反之），割裂了联合分布，导致同步性差，且无法实现真正的流式生成（必须等前一个模态生成完毕）。
- 直接迁移因果蒸馏：将现有的单模态（仅视频）因果蒸馏方法直接应用于双模态架构会引发严重的训练不稳定。这是由于音视频模态间存在极端的时间不对称性（视频 3 FPS vs 音频 25 FPS），导致音频模态在因果掩码下出现极端的Token 稀疏性，进而引发 Softmax 坍塌和梯度爆炸。

2. 方法论 (Methodology)

OmniForcing 提出了一种创新的框架，将离线、双向的音视频基础模型蒸馏为高保真的流式自回归生成器。其核心包含三个关键阶段和多项技术创新：

2.1 非对称块因果对齐 (Asymmetric Block-Causal Alignment)

为了解决音视频频率比（25:3）非整数导致的对齐困难，论文提出了基于物理时间的宏块（Macro-block）对齐：

全局前缀（Global Prefix, $B_0$ ）：将 $t=0$ 时刻的初始 Latent 合并为一个零截断的全局前缀块。该块内的注意力是双向的，作为所有后续 Token 的语义锚点，确保多模态在时间轴上的完美同步。
块级因果掩码：将序列划分为 1 秒的块（包含 3 个视频 Latent 和 25 个音频 Latent）。在块内允许双向注意力，块间严格因果。这种设计既保留了局部上下文，又实现了流式生成。

2.2 架构稳定器：音频 Sink Token 与 Identity RoPE

针对音频模态在因果转移初期因 Token 极少（仅 25 个/块）导致的注意力机制不稳定（Softmax 坍塌、梯度爆炸）：

音频 Sink Token：在音频序列前引入可学习的 Sink Token（类似语言模型中的 Attention Sink），作为全局记忆缓冲区，人为增加注意力分母，恢复熵值，防止梯度爆炸。
Identity RoPE 约束：对 Sink Token 施加恒等旋转位置编码约束（ $\cos=1, \sin=0$ ），使其成为**位置无关（Position-agnostic）**的语义锚点，避免引入虚假的时间偏差。

2.3 联合自强迫蒸馏 (Joint Self-Forcing Distillation)

为了解决长序列自回归生成中的**暴露偏差（Exposure Bias）**导致的跨模态同步漂移：

采用Joint Self-Forcing策略，在训练过程中让模型基于自身生成的 KV Cache 进行自回归展开，而非依赖 Ground Truth。
通过联合 DMD（Distribution Matching Distillation）损失，强制视频和音频流动态适应彼此的预测漂移，确保长序列下的跨模态同步。

2.4 模态独立滚动 KV 缓存 (Modality-Independent Rolling KV-Cache)

利用视频（14B）和音频（5B）分支在注意力路径上的解耦特性，设计了一种模态独立的滚动 KV 缓存。
将每步推理的上下文复杂度降低至 $O(L)$ ，并允许在单 GPU 上并行执行两个模态流，实现真正的实时同步生成。

3. 主要贡献 (Key Contributions)

首个实时流式联合生成框架：成功将双向音视频基础模型（LTX-2）蒸馏为流式自回归生成器，在保持多模态严格同步的同时实现了超低延迟。
解决多模态因果蒸馏的不稳定性：提出了非对称块因果对齐和带 Identity RoPE 的音频 Sink Token机制，有效解决了因模态 Token 密度不匹配导致的 Softmax 坍塌和梯度爆炸问题。
高效的推理架构：结合联合自强迫蒸馏和模态独立滚动 KV 缓存，在单 GPU 上实现了约 25 FPS 的流式生成，推理速度比原双向模型快约 35 倍。

4. 实验结果 (Results)

在 JavisBench 和 VBench 基准测试中，OmniForcing 表现优异：

效率提升：
- TTFC：从 197 秒降低至 0.7 秒。
- 吞吐量：达到 ~25 FPS，支持真正的实时流式播放。
- 总耗时：生成 5 秒 480p 音视频仅需 5.7 秒（相比 LTX-2 的 197 秒，提速 35 倍）。
生成质量：
- 视觉质量：FVD 为 137.2（教师模型 125.4），在 VBench 的审美、成像质量和主体一致性指标上甚至略优于教师模型。
- 音频质量：FAD 为 5.7，与最强竞品相当，且能生成复杂的混合声音（如人声与环境音叠加）。
- 同步性：AV-IB 和 JavisScore 等跨模态同步指标在除教师模型外的所有方法中排名第一，DeSync（同步误差）仅为 0.392，接近教师模型的 0.384。
消融实验：验证了 Sink Token 数量（需 $\ge 4$ ）和 Identity RoPE 对训练稳定性和生成质量的关键作用。

5. 意义与影响 (Significance)

OmniForcing 打破了联合音视频生成模型在延迟与质量之间的权衡僵局。

技术突破：首次证明了双向扩散模型可以通过蒸馏转化为高保真的流式自回归模型，解决了多模态因果蒸馏中的核心稳定性难题。
应用前景：为交互式 AI 应用（如实时虚拟人、即时视频生成、低延迟多模态对话系统）提供了可行的技术路径，使得在单张消费级 GPU 上部署大规模多模态基础模型成为可能。
未来方向：该工作为后续研究长上下文、高分辨率的多模态流式生成奠定了架构基础。