Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

技术摘要：基于公有领域电影集的对话感知视频转音乐生成研究

问题陈述
视频转音乐生成领域缺乏一个通用的、持久的训练数据集，以作为可复现的基准。目前的进展受到“可复现性鸿沟”的阻碍：大多数模型是在通过 URL 引用的网络爬取语料库（如 YouTube、TikTok）上进行训练的。这些数据集存在“链接失效”问题，即视频会随着时间的推移被删除或设为私有，并且受限于速率限制，导致重新获取数据非常耗时。此外，现有的自托管数据集规模通常过小（例如约 36 小时），不足以训练具有竞争力的模型。此外，现有方法往往忽略了**对话（dialogue）**作为一种调节信号的作用，尽管在专业制作中，屏幕上的语音与电影音乐之间存在紧密的时序耦合关系。

方法论
作者提出了一个两管齐下的方法：构建一个新数据集以及一种创新的对话感知生成架构。

1. 数据集构建 (OSSL-v2)：
   作者引入了第二版开源银幕原声库 (OSSL-v2)，这是一个源自 1,886 部公有领域电影的自托管语料库。该数据集包含 34,343 个视频片段，总时长为 246.4 小时。

   • 源分离： 应用开源电影源分离模型从原始音频中提取音乐轨道。
   • 事件检测： 为了确保高质量，使用自动事件检测模型来估计音乐事件与非音乐事件的概率。所选片段需满足：音乐概率超过非音乐概率持续至少 10 秒，并增加一个额外的过滤器，排除非音乐概率过高（阈值 > 0.05）的片段。
   • 结果： 一个可复现的、符合版权意识的、不存在链接失效问题的数据集，适用于训练和公平比较。

2. 对话感知生成架构：
   作者提出了一个轻量级的对话调节模块，用于插入现有的开源视频转音乐骨干网络（具体为 VidMuse、GVMGen 和 Diff-V2M）。

   • 信号处理： 使用源分离技术隔离对话轨道，并通过 1-D 卷积层将其编码为逐帧的声学表示（例如：响度、能量）。
   • 调制： 通过一个两层 MLP 将这些表示映射为特征线性调制 (FiLM) 参数 ($\gamma_i, \beta_i$)。这些参数逐帧调制视频调节向量：$\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$。
   • 时序对齐： 为了确保模型能够遵循对话相对于视觉事件的时序，作者修改了骨干网络中的交叉注意力机制。对于像 GVMGen 这样将帧压缩为全局向量的模型，作者通过向 Q-Former 输出添加学习到的逐帧位置嵌入，并对交叉注意力的键 (Keys) 和值 (Values) 启用固定的正弦位置嵌入，从而恢复时间轴。这使得对话能够实现逐帧的特征调制。

核心贡献

• OSSL-v2 数据集： 一个大规模（246.4 小时）、自托管的视频-音乐语料库，源自公有领域电影。它解决了以往网络抓取数据集的不稳定性及规模化问题，实现了研究的可复现性。
• 对话调节： 证明了对话是电影音乐生成中有效的调节信号。所提出的适配器将声学对话特征集成到视频调节路径中，且无需对模型进行彻底重构。
• 架构适配： 对自回归和扩散模型中的交叉注意力机制进行了特定修改，以保留时序特性，从而实现由对话驱动的帧对齐调制。

实验结果
模型在 OSSL-v2（9:1 拆分）和分布外（out-of-distribution）商业电影集 (OES-Com) 上进行了训练和评估。评估指标包括分布保真度（FAD、精确度 Precision、召回率 Recall）以及配对保真度（CLAP 相似度、KL 散度）。

• 基准性能： 在基准模型中，GVMGen 在公有领域测试集上取得了最强的综合表现。Diff-V2M 在分布外数据上表现出较高的配对保真度，但未能生成符合真实分布的样本（Precision = 0.00）。
• 对话适配器的影响：
  • 配对保真度： 对话适配器一致地提高了配对保真度（对真实值的语义忠实度），特别是在降低 KL 散度和提高 CLAP 相似度方面。
  • 泛化能力： 这种提升在分布外集合 (OES-Com) 上比在分布内集合 (OSSL-v2) 上更为显著，表明对话信号起到了正则化器的作用，有助于提高泛化能力。
  • 分布保真度： 适配器并未系统性地改变生成的分布（FAD 和 Precision 变化不一致）。
  • 鲁棒性： 这些增益在低残留音乐 (LRM) 子集上依然存在，在该子集中，分离出的对话音轨中几乎没有泄露的音乐。这证实了改进是由对话信号本身驱动的，而非源于不完美的源分离产生的伪影。

意义与主张
本文声称，OSSL-v2 通过提供一个持久的自托管基准，降低了视频转音乐生成领域实现可复现研究和公平比较的门槛。关于方法论，作者谦逊地指出，其对话感知公式改进了现有最先进的基准模型，特别是在时序保真度（与真实值的相似度）和对商业电影的泛化能力方面。他们认为，将对话作为一种时间对齐的调节信号，解决了当前电影领域生成中的一个空白，即仅靠全局视频级信息不足以捕捉语音与音乐之间局部的、时序性的交互作用。这项工作并不声称解决了该领域的所有挑战，而是指出对话调节是一个极具前景的未来发展方向。