Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

技术摘要：通过负向音频引导实现逐步视频到音频合成

问题陈述
目前的视频到音频（V2A）生成模型通常在单次传递中生成单个完整的音频轨道。虽然这些模型在语义和时间对齐方面取得了很高的水平，但它们缺乏增量细化的机制。在传统的拟音（Foley）工作流中，艺术家会通过叠加互补的声音（例如脚步声、织物摩擦声）来构建复合音频轨道。现有的 V2A 模型无法复制这一交互过程；如果生成的轨道遗漏了特定的事件，则必须重新生成整个轨道。此外，通过标准的条件学习来实现逐步生成，需要成本高昂的多参考视频-音频数据集（即单个视频配对多个不同的、非重叠的音频轨道），这类数据难以大规模获取。

方法论
作者提出了一种由**负向音频引导（Negative Audio Guidance, NAG）驱动的逐步视频到音频（Step-by-Step V2A）**合成框架。该方法能够迭代地生成互补的音频轨道，以填充缺失的声音事件，同时避免重复已存在于先前生成轨道中的声音。

1. 概念否定公式化：
   核心挑战是在给定视频 $V$、文本提示 $C_2$ 和先前生成的音频轨道 $x^{(1)}$ 的条件下，生成目标音频 $x^{(2)}$，使得 $x^{(2)}$ 与 $V$ 和 $C_2$ 对齐，但排除 $x^{(1)}$ 中存在的概念。作者将此问题公式化为一个概念否定问题，通过将 $x^{(1)}$ 视为负向条件（$\neg x^{(1)}$）来近似目标分布 $p(x^{(2)} | V, C_2, x^{(1)})$。

2. 引导流推导：
   基于流匹配（flow-matching）模型和分类器自由引导（classifier-free guidance），作者推导出了一个新的引导公式。他们将目标概率分布进行分解，包含一个使生成过程远离调节音频 $x^{(1)}$ 的项。最终得到的引导流 $\tilde{u}_{\theta, \psi}(x_t)$ 由以下部分组成：

   • 一个无条件流项。
   • 一个增强对视频 $V$ 和文本 $C_2$ 保真度标准的标准引导项。
   • 一个**负向音频引导（NAG）**项：$\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$。该项将采样轨迹推离 $x^{(1)}$ 的声学内容。

3. 训练策略（无需专门数据）：
   为了避免需要专门的多参考数据集，作者使用来自同一视频的非重叠音频片段来训练音频调节分支（由 $\psi$ 参数化）。

   • 架构： 他们利用了一个适配了 MMAudio（一种预训练的流匹配 V2A 模型）的 ControlNet 式架构。音频调节通过单模态 Transformer 块注入，这些模块从参考音频 $x^{(1)}$ 中提取特征并将其添加到主分支中。
   • 数据构建： 从标准的单参考数据集（如 VGGSound）中，他们采样两个非重叠的 4 秒片段：一个作为目标（$x_{tgt}$），另一个作为条件（$x_{cond}$）。这迫使模型学习共享的声学上下文（环境、音色、录制条件）而非复制波形，从而使其在推理时能够充当“排斥先验”。

4. 推理过程：
   生成过程是迭代进行的。对于第 $k$ 步，所有先前生成的轨道之和（$\sum_{l=1}^{k-1} x^{(l)}$）被用作负向调节信号 $x^{(1)}$，以生成下一个互补轨道 $x^{(k)}$。

核心贡献

• 逐步合成公式化： 本文将 V2A 生成公式化为一个为单个视频创建多个互补轨道的迭代过程，实现了类似拟音风格的交互式创作。
• 负向音频引导（NAG）： 一种新颖的引导机制，在采样期间通过负向使用音频调节分支，以防止序列轨道间出现声音重复。至关重要的是，该方法可以通过标准的单参考视听数据集通过非重叠片段采样进行训练。
• 提升可分性与质量： 该方法证明了生成不重叠内容的独特且高质量音频轨道是可能的，其表现优于依赖独立生成或基于文本负向提示的基线模型。

结果
作者在一个新构建的数据集 Multi-Caps VGGSound 上评估了其方法，该数据集包含视频及其配对的描述不同声音事件的多个不同标题。

• 客观指标：
  • 复合音频： 与 Seeing-and-Hearing、FoleyCrafter 和标准 MMAudio 等基线相比，所提方法在 Fréchet 距离 (FD)、KL 散度和时间对齐 (DeSync) 方面均取得了最佳得分。它优于“独立生成”（不带上下文生成轨道）和“带有负向提示的逐步生成”（使用文本排除先前声音）。
  • 单个轨道： 与 vanilla MMAudio 相比，该方法显著提高了音频可分性（通过 CLAP 音频-音频相似度衡量）。虽然负向提示提高了可分性，但会降低音频质量和文本对齐度。NAG 在实现卓越可分性的同时，保持了高音频质量和视频-文本对齐度。
• 主观评估：
  • 用户研究表明，在最终复合音频中，所提方法在音频质量、语义对齐和时间对齐方面更受青睐。
  • 对于单个轨道，该方法在可分性方面获得了显著更高的评分，并在音频质量和文本忠实度方面获得了略高的评分。
• 可扩展性： 通过改变生成步骤（2 到 5 个标题）进行的分析显示，随着所需音频事件数量的增加，NAG 的优势（特别是可分性方面）变得更加明显，且不会降低整体保真度。

意义与主张
本文声称这项工作解决了自动化拟音中的一个关键瓶颈：即无法在不重新生成整个序列的情况下交互式地细化音频轨道。通过引入 NAG，作者实现了一种用户可以逐步创作多个声音事件的工作流，类似于传统的拟音师，但无需耗时的多参考训练数据。该方法弥合了高质量生成模型与实用、可控的声音设计之间的差距，确保生成的的声音不仅在语义上与视频对齐，而且在复合混音中彼此截然不同。作者强调，由于该方法利用了现有的预训练模型和标准数据集，因此具有很强的实用性，避免了对专门的、难以获取的多轨道视听对的需求。