Training-Free Multimodal Guidance for Video to Audio Generation

技术摘要：面向视频到音频生成的免训练多模态引导

问题陈述
视频到音频（V2A）生成旨在从无声视频中合成真实且语义对齐的音频，该任务对于视频编辑、拟音音效设计及辅助多媒体等应用至关重要。尽管近期基于扩散的方法取得了令人瞩目的成果，但它们面临显著局限。现有方法通常需要在大规模配对数据集上对视频和音频模型进行代价高昂的联合训练，而这些数据集收集成本高昂，且常包含无意义的配对，需要仔细预处理。另一种免训练方法（如Seeing&Hearing）则依赖成对余弦相似度（例如通过 ImageBind）来对齐模态。然而，成对对齐可能无法捕捉全局多模态一致性，导致引导信号缺乏几何一致性，进而产生语义错位或带有噪声的音频生成。

方法论：多模态扩散引导（MDG）
作者提出了一种新颖的免训练机制，称为多模态扩散引导（MDG），用于在不重新训练骨干网络或编码器的情况下引导预训练的音频扩散模型。其核心创新在于利用模态嵌入所张成的几何体积，而非依赖成对相似度。

1. 基于体积的几何对齐：
   该方法不再通过成对余弦相似度对齐视频、音频和文本嵌入（$e_v, e_a, e_p$），而是利用编码器（GRAM）将它们映射到共享的潜在空间。它构建矩阵 $Z = [e_v, e_a, e_p]$ 并计算格拉姆矩阵 $K = Z^\top Z$。由这些嵌入张成的高维平行多面体的体积 $V$ 定义为 $V = \sqrt{\det K}$。

   • 直观理解： 当三种模态指代相同的语义内容时，其嵌入形成低体积构型。相反，不匹配的三元组会导致更大的体积。

2. 免训练引导信号：
   MDG 作为即插即用的控制信号，在潜在扩散模型（如 AudioLDM）的采样（去噪）过程中运行。

   • 在每个去噪步骤 $t$，模型预测干净的音频潜在变量 $\tilde{z}_0$。
   • 从该潜在变量中提取音频嵌入 $e_a$。
   • 利用固定的视频嵌入 $e_v$、文本嵌入 $e_p$ 和当前音频嵌入 $e_a$ 计算体积 $V$。
   • 更新潜在变量以最小化该体积：$z_t \leftarrow z_t - \eta \nabla_{z_t} V$。
   • 这一迭代过程将音频生成引导至与视觉和文本输入联合兼容的表示，从而强制实现三模态一致性。

3. 效率：
   该方法无需配对训练数据、无需联合训练，也无需修改扩散骨干网络。计算开销极小，每步仅增加嵌入的 $O(D)$ 和 $3 \times 3$ 体积计算的 $O(1)$。

主要贡献

• 新颖的采样策略： 提出了一种免训练采样策略，利用潜在多模态引导，无需配对的大规模训练数据、无需联合训练，也无需修改骨干网络。
• 基于体积的三模态目标： 提出了一种用于 V2A 生成的联合引导机制，利用跨视频、音频和文本的基于体积的对齐目标来引导预训练扩散模型，超越了成对对齐。
• 性能提升： 证明了基于体积引导的推理优于先前的基于余弦的对齐器（如 ImageBind），通过促进更强的多模态一致性并减少语义漂移。

实验结果
该方法在VGGSound（域内）和AudioCaps（域外）数据集上进行了评估，与包括SpecVQGAN、Diff-Foley以及免训练的Seeing&Hearing框架在内的基线进行了比较。

• 感知质量与对齐： 在 VGGSound 上，MDG 实现了6.04的弗雷歇音频距离（FAD），显著优于Seeing&Hearing（7.80）和SpecVQGAN（7.74）。它还表现出更优越的音视频一致性，弗雷歇音视频距离（FAVD）为2.60，感知音视频同步评估器（PEAVS）得分为3.40。
• 泛化能力： 在具有挑战性的 AudioCaps 数据集（其中声源可能不可见）上，MDG 在几乎所有指标上继续优于Seeing&Hearing，证明了对域偏移的鲁棒性。
• 语义一致性： 对体积指标和跨模态余弦相似度的分析证实，与基于成对的方法相比，MDG 生成的音频在语义上与源视频和字幕更加对齐。定性分析（频谱图）显示，MDG 生成了结构化的、符合语境的音频，而基线方法往往退化为宽带噪声。

意义
该论文声称，MDG 为 V2A 生成提供了一种轻量级且有效的解决方案，它克服了联合训练的计算和数据限制，同时解决了成对对齐的几何不一致性。通过在推理过程中强制模态间统一的几何结构，该方法证明了无需修改底层生成架构或依赖昂贵的配对数据集，即可生成高质量且语义一致的音频。这验证了基于体积的几何约束作为多模态扩散模型强大控制信号的有效性。