💻 computer science

Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention

本文提出了一种同步感知加速框架，该框架利用一种受保护的稀疏注意力策略，通过选择性地稀疏化冗余的跨模态交互，同时保留对维持音视频同步至关重要的关键标记，从而降低音视频生成模型的高昂推理成本。

原作者： Shengchuan Gao, Teng Hu, Bohao Feng, Luchen Li, Wenqiang Wang, Hongqian Deng, Ran Yi

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Shengchuan Gao, Teng Hu, Bohao Feng, Luchen Li, Wenqiang Wang, Hongqian Deng, Ran Yi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：计算机不仅能创造动态图像，还能发明属于这些图像的声音，使两者感觉像是一个统一的、有生命的整体。多年来，研究人员一直致力于开发独立的系统：一个用于生成视频，另一个用于生成音频。最近，他们开始构建统一的模型，能够同时生成两者，确保角色的嘴型与声音完美同步，或者鼓点与鼓棒敲击的视觉动作精准匹配。这是向前迈出的重要一步，将同步从后期制作的修复过程转变为创作过程的核心部分。然而，这种统一也带来了沉重的代价。创建这些同步视频需要计算机进行大量的复杂数学运算，反复检查每一帧画面和每一个音符，以保持和谐。这个过程非常耗时，以至于即使生成短短几秒钟的内容也需要很长时间，这使得其使用过程既缓慢又昂ль。

挑战在于这些模型是如何思考的。为了提高速度，工程师们开发了一些技术来跳过不必要的计算，就像读者通过只关注最重要的句子来略读书籍一样。在仅生成视频的情况下，这种方法效果很好，因为场景的大部分是静态或重复的；一片天空或一面墙在每一时刻的变化并不大，因此计算机可以安全地忽略这些细节。但当加入音频时，规则改变了。一片天空在视频本身看来可能并不重要，但如果天空中有一只鸟在鸣叫，那么这个特定的视觉细节对于计算机生成正确的音效就变得至关重要。如果加速技术盲目地跳过这些“不重要”的视觉部分以节省时间，它可能会意外地删除计算机维持声画同步所需的关键证据。其结果就是视频虽然变快了，但感觉不对劲，音频落后于动作，或者声音与屏幕上的事件无法匹配。

上海交通大学和阿里巴巴的研究人员提出了一种处理这一问题的新方法。他们没有将视频分支和音频分支视为可以独立加速的独立实体，而是设计了一个理解两者深层联系的系统。他们的核心洞察在于，计算机自身的内部注意力机制已经知道哪些视频部分对声音很重要，反之亦然。当模型观察一帧视频以决定发出什么声音时，它会自然地将注意力集中在特定区域，例如人的嘴巴或正在被敲击的鼓。同样，当它观察一段声音以决定创造什么样的视觉效果时，它会专注于音频中与视觉事件相对应的特定时刻。研究人员意识到，这种注意力模式并非随机的，它是高度结构化的，并揭示了同步发生的精确位置。

为了在不破坏同步的前提下解决速度问题，团队引入了一种称为“同步感知保护性稀疏注意力”（synchronization-aware protected sparse attention）的方法。简单来说，这意味着计算机被允许跳过绝大部分的视频和音频数据计算，但严禁跳过那些被模型识别为保持声画同步至关重要的特定部分。该系统通过首先绘制出这些关键区域来工作。它观察视频分支和音频分支是如何相互交流的，并创建一个指南，突出显示最重要的“标记”（tokens）或数据点。在生成过程中，计算机仅对这些被强调的区域进行完整的、详细的计算。对于其他部分，它则使用一种更快速、更简化的方法来跳过繁重的计算任务。这种方法确保了同步的“骨架”保持完整，即使在其他计算过程被精简的情况下也是如此。

研究人员还解决了复用旧数据的问题。在视频生成中，如果场景变化不大，通常会保存当前步骤的结果并将其用于接下来的几步。然而，在视听生成中，视频中极其微小的变化（例如手部的轻微移动）都可能需要完全不同的声音。新系统为这种复用过程增加了安全检查。在决定复用保存的结果之前，它不仅检查视频看起来是否相似，还会检查视频与音频之间的关系是否保持不变。如果视觉与听觉交互的关键区域发生了即使是极细微的偏移，系统就会拒绝复用旧数据，并重新进行计算。这防止了模型为了节省时间而意外地锁定声画不匹配的情况。

在对现有开源模型的测试中，该方法证明了其高效性。在一个流行的模型上，研究人员在保持视频质量和同步精度几乎与缓慢的非加速版本完全一致的情况下，实现了近乎两倍的处理速度。在另一个模型上，他们在仅有轻微质量权衡的情况下也看到了类似的提速效果。结果表明，通过保护那些对同步至关重要的计算，系统可以运行得更快，而不会产生通常困扰加速模型的伪影或时序错误。视频质量保持清晰，音频听起来自然，且两者始终步调一致。

这项工作表明，高效媒体生成的未来不仅在于让计算变得更快，还在于让计算变得更聪明——即明确哪些内容需要保留，哪些需要舍弃。通过聆听模型自身关于“什么重要”的内部信号，研究人员找到了保持视听平衡的方法。其结果是，该系统可以更快地生成同步的视听内容，为这些强大工具走向更实际、更广泛的应用打开了大门。研究结果表明，我们不必在速度和质量之间做选择；只要有正确的引导，我们可以兼得两者。

技术摘要：通过同步感知型跨模态稀疏注意力实现高效音视频生成

1. 问题陈述

近期的统一音视频生成模型（如 Ovi、Harmony、LTX-2）通过双向跨模态扩散技术来合成同步的视频和声音。然而，由于需要对长时空 Token 序列进行重复的密集注意力计算，这些模型的推理成本极高。

现有的视频生成加速技术——如低比特量化、注意力稀疏化和特征缓存——主要针对单模态（仅视频）任务设计。这些技术依赖于识别单一模态内部的冗余性（例如视频帧中的空间或时间冗余）。将这些方法直接应用于音视频模型是存在问题的，因为：

跨模态依赖性： 在视频分支中看似冗余的 Token 或特征，可能通过双向交互为音频分支提供关键证据（反之亦然）。
同步风险： 与模态无关的加速策略可能会无意中跳过或近似那些“同步关键型”的计算，从而导致音视频对齐度、音频质量以及视觉保真度的下降。

核心挑战在于：如何在不依赖于任何单一流独立分析的情况下，区分出哪些计算是可以安全近似的，而哪些计算承载着本质的跨模态证据。

2. 方法论

作者提出了一种无需训练的同步感知加速框架，该框架利用模型原生的双向跨模态注意力作为其内部显著性信号。该框架基于以下观察：跨模态交互具有高度结构化且非均匀的特性，即高响应集中在特定的声源相关视觉区域和时间线索上。

该框架由三个部分组成：

A. 双向跨模态显著性估计

该方法聚合来自双向跨模态注意力层的注意力质量（Attention Mass），以生成模态特定的显著性图：

视频显著性 ( $s^v$ )： 源自音频查询（Queries）对视频键（Keys）的注意力，用于识别与发声物体或事件相关的视频 Token。
音频显著性 ( $s^a$ )： 源自视频查询对音频键的注意力，用于识别表征语音或声学事件的音频 Token。
滞后显著性复用： 由于在每个 Block 内，跨模态注意力是在模态特定自注意力执行之后计算的，因此当前的显著性图无法指导刚刚执行完毕的自注意力。为了避免昂贵的密集剖析过程，该方法采用了滞后显著性缓存。它通过当前步骤与前一步的移动平均来更新缓存的显著性图 ( $\bar{s}$ )，利用了相邻去噪步骤间跨模态交互具有经验稳定性这一特性。

B. 同步感知保护型稀疏注意力

该组件修改了标准的稀疏注意力，以保留关键 Token 的高保真计算：

保护型查询选择： 基于缓存的显著性图，在视频和音频分支中选择一小部分查询（例如前 5%）作为“受保护”对象。
混合注意力机制：
- 受保护查询： 保留密集注意力连接性（与所有键进行完整交互），以确保同步关键内容的表示更新具有高保真度。
- 普通查询： 遵循标准的稀疏注意力模式（受限的连接性）以减少冗余计算。
  这确保了与声音相关的视觉 Token 能够在与音频分支交互之前，聚合完整的视觉上下文；反之亦然。

C. 同步感知缓存复用

标准特征缓存会在全局特征变化较小时复用中间表示。本方法引入了更严格的标准，以防止可能破坏对齐的安全性复用：

多因子指标： 缓存复用决策 ( $\Delta^{sync}$ $Δ^{sy n c}$ ) 是以下四个因子的最大值：
1. 全局视频特征变化 ( $\Delta^v$ )。
2. 全局音频特征变化 ( $\Delta^a$ )。
3. 保护区域变化 ( $\Delta^p$ )： 特别测量显著性图中识别出的高显著性区域的变化。
4. 显著性漂移 ( $\Delta^s$ )： 测量当前显著性图与缓存显著性图之间的余弦相似度漂移。
复用条件： 只有当 $\Delta^{sync}$ 低于阈值 $\tau$ 时，才会复用 Block。这防止了在同步关键区域或跨模态依赖关系发生显著偏移时进行缓存，即使此时全局特征变化很小。

3. 核心贡献

跨模态交互分析： 本文证明了双向音视频注意力揭示了结构化、非均匀的交互过程，其中高响应集中在与声音相关的视觉/时间区域。这可以作为识别同步关键内容的内在显著性信号。
保护型稀疏注意力： 一种无需训练的机制，利用模态特定的显著性图来为关键 Token 保留密集注意力，同时对低显著性交互进行稀疏化处理，从而有效平衡效率与同步性。
同步感知缓存复用： 一种新型缓存准则，综合考虑了模态特定特征变化、显著区域变化以及跨模态依赖关系的漂移，以防止不安全的特征复用。
实证验证： 该方法在开源模型（Ovi 和 LTX-2.3）上得到了验证，在保持视频保真度、音频质量和同步性的同时，实现了显著的加速。

4. 实验结果

该方法在 Ovi（141 帧，5 秒视频）和 LTX-2.3（10 秒视频）上针对密集基准模型及最先进的视频加速方法（SparseVideoGen, TeaCache, BWCache, SeaCache, FasterCache）进行了评估。

效率：
- Ovi： 实现了 1.992× 端到端加速（延迟从 448.75s 降至 225.30s）。
- LTX-2.3： 实现了 1.281× 加速（延迟从 255.41s 降至 199.38s）。
质量与同步：
- 所提方法在 PSNR、SSIM、LPIPS 和 Q-Align（感知质量）方面均优于所有其他加速基准方法。
- 至关重要的是，它保持了卓越的音视频同步性（Sync-C 和 Sync-D 指标）和音频相似度（VISQOL），而其他方法往往会导致同步性显著下降。
- 例如，在 Ovi 上，所提方法的 PSNR 为 25.69，Sync-C 为 4.61，而 SparseVideoGen 为 21.76/3.66，TeaCache 为 24.78/3.74。
误差分析： 特征误差分析表明，原生稀疏注意力会在显著性 Token 上引入高误差，而保护型方法在显著降低这些关键区域误差的同时，并未增加非显著区域的误差。

5. 重要性与主张

本文主张，加速音视频生成不仅仅是识别计算冗余，更需要区分哪些计算承载着跨模态证据。通过在加速过程中显式考虑跨模态依赖性，该框架能够：

保持同步性： 它防止了由于模态无关方法跳过关键交互而导致的音视频对应关系“削弱”。
维持质量： 它在提供实质性加速的同时，实现了与密集推理相当的高保真生成。
无需训练： 该方法不需要重新训练生成骨干网络，使其适用于现有的开源双分支模型。

作者得出结论，使加速策略与音视频交互模式相匹配，对于实现高效、高质量的统一音视频生成至关重要。