MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

想象一下这样一个世界：你可以把你最喜欢的歌曲瞬间重混成一种全新的风格——比如把一首忧伤的民谣变成一首欢快的摇滚乐——同时保持原有的旋律和歌词完美无缺。这就是“翻唱歌曲生成”（Cover Song Generation）的梦想，这是一个试图教会计算机成为“音乐变色龙”的人工智能分支。为了实现这一点，AI 需要同时理解两件截然不同的事情：一是“音乐”（曲调、节奏、音符），二是“文字”（构成语言的具体声音，比如“b”和“p”之间的区别）。这就像是在烘焙一个蛋糕，你既要遵循严格的配方来保证口味（歌词），又要同时即兴创作一种新的装饰风格（音乐）。如果 AI 把装饰做对了但味道做错了，你最后得到的可能是一个吃起来像柠檬味的巧克力蛋糕。长期以来，AI 擅长做装饰，但在处理口味方面表现糟糕，经常把歌词搞得乱七八糟，变成了胡言乱语。

这篇论文介绍了一个名为 MPEcho 的新系统，它通过教 AI 去倾听语音的“微小构建模块”，而非仅仅是大词，解决了这个问题。研究人员意识到，为了让歌词准确，计算机需要精确知道每个细微声音何时开始、何时结束，就像指挥家知道每位小提琴手何时该拉响单个音符一样。为此，他们构建了一个名为 Phonsa 的特殊工具，它充当了一个超级精准的速记员，倾听歌手并记录下歌曲中每一个声音的精确时间。通过将这种超精确的定时与旋律相结合，M Code 可以生成歌词清晰且曲调忠实的全新翻唱歌曲。结果表明，这种方法极大地减少了 AI 在演唱时的错误次数，将错误率从接近一半的单词降低到了不到五分之一，证明了关注声音的微小细节是让 AI 唱得更好的秘诀。

问题所在：当 AI 唱歌时，它在含糊不清

翻唱歌曲生成是一场棘手的平衡博弈。你希望 AI 保留参考歌曲的核心旋律和准确的歌词，但同时改变风格、乐器和声音。之前的尝试，例如一个名为 SongEcho 的模型，试图通过向 AI 输入“音高”（音符的高低）和一个仅表示“正在唱歌”或“不在唱歌”的简单标签来解决这个问题。

想象一下，你只能通过哼唱曲调并说“我正在唱歌”或“我没在唱歌”来告诉朋友如何唱一首歌。这并没什么帮助！AI 可能会猜出旋律，但它完全不知道应该唱哪些词，或者在什么时候从一个声音切换到下一个声音。结果呢？AI 往往能唱出正确的曲调，却把歌词弄得支离破碎，把“Hello”变成了“Helo”或“Halo”。事实上，旧的方法在约 45.62% 的单词上都会出错。这就像是在读一份菜单，其中一半的项目都拼写错误。

解决方案：一种全新的聆听与演唱方式

由李威觉（Wei-Jaw Lee）和杨宜萱（Yi-Hsuan Yang）领导的研究团队意识到，要修复歌词问题，他们需要借鉴来自“歌唱语音合成”（Singing Voice Synthesis, SVS）领域的技巧。SVS 通常用于让机器人根据乐谱唱出特定的歌曲，并且表现得非常出色，因为它知道每个微小声音（音素）的精确时间。

他们构建了 MPEcho，这是一个通过为系统添加“音素编码器”（phoneme encoder）和“长度调节器”（length regulator）的新框架。

• 音素编码器： AI 不再仅仅知道“正在进行演唱”，现在它会得到一份包含每一个单独声音（如 /h/、/e/、/l/、/o/）以及每个声音应该持续多久的清单。
• 长度调节器： 它充当了歌词的节拍器，拉伸或压缩声音，使其完美地契合进音乐的时间轴中。

但这里有一个难点：为了教 MPEcho 这些知识，他们需要一个庞大的歌曲库，其中每一个声音都已经被精确计时。然而，这样的数据并不存在。于是，他们构建了 Phonsa。

Phonsa 就像是一个神奇的翻译官。它获取一段歌手的录音，并自动写下歌曲中每个声音的精确起始和停止时间。它是基于一个著名的语音工具 Whisper 开发的，但针对歌唱进行了专门的调整。它使用了一种特殊的“分块”（chunked）注意力机制（以微小的、重叠的部分进行思考），并添加了专门用于“呼吸”和“边界”的特殊标记，以处理歌唱中混乱且富有情感的特性。

结果：从胡言乱语到清晰歌词

团队在超过 1,427 小时 的中文流行歌曲和传统歌曲数据集上测试了他们的系统。他们将 MPEcho 与旧的 SongEcho 模型及其他一些变体进行了对比。

1. 计时的魔力： 当他们使用 Phonsa 为 MPEcho 提供精确的音素定时时，单词错误率（称为音素错误率，PER）大幅下降。

   • 旧模型 (SongEcho)： 在 45.62% 的单词上出错。
   • 新模型 (MPEcho)： 仅在 18.65% 的单词上出错。
   • 这是一个巨大的进步，将原本含糊不清的混乱变成了可以被理解的内容。

2. 完美的结合点： 他们发现，如果只使用旋律，效果并不理想（歌词依然混乱）；如果只使用音素定时，效果也不好（旋律变得奇怪）。但当他们将两者结合——同时给出曲调和精确的声音定时——便得到了两全其美的结果。歌曲听起来富有音乐性，歌词也非常清晰。

3. “即兴式” vs “SVS 式”： 他们还测试了两种组织声音的不同方式（称为“即兴式”，按词分组；以及他们的新型“SVS 式”，按单个声音分组）。结果显示，“SVS 式”的效果更好。“即兴式”就像是通过说“去下一条街”来提供方向，而“SVS 式”则像是说“在红房子处左转，然后在蓝色信箱处右转”。这种额外的精确度帮助 AI 避免了迷失方向。

4. 人类评价： 最后，他们邀请真人来聆听这些歌曲。听众对 MPEcho 生成的歌曲在旋律一致性、人声自然度和整体质量方面的评分更高。有趣的是，人类听众对歌词清晰度的认可程度甚至高于计算机指标所显示的，这证明了清晰的歌词确实能带来更好的聆听体验。

这意味着什么

这篇论文表明，如果你想让 AI 生成听起来像人类且演唱清晰的完整歌曲，你不能只看大局（旋律和歌词）。你必须放大并理解声音产生的那些微秒级的细节。通过将音乐生成的精髓与语音合成的精准度相结合，MPEcho 展示了 AI 终于可以一边正确地演唱歌词，一边保持创作者的艺术感。

研究人员谨慎地指出，该系统目前在单人歌手和普通话环境下表现最佳。他们建议，未来的工作可以探索如何使其适用于多位歌手、不同语言，甚至是更丰富的情感表达。但就目前而言，他们已经破解了制作那些不仅听起来悦耳，而且逻辑通顺的 AI 翻唱歌曲的密码。