💻 computer science

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

LeVo 2 是一个混合了 LLM 与 Diffusion 的框架，它通过采用分层建模方法以及一种渐进式的、以美学为引导的后训练调度方案，解决了全局语义规划与单曲级声学精细化之间的权衡问题，从而实现了稳定、悦耳且可控的全长歌曲生成。

原作者： Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教机器人写出一首热门单曲

想象一下，你想教一个机器人从零开始创作一首完整的歌曲。这个机器人需要同时完成三件极其困难的事情：

规划歌曲： 决定旋律、节奏，以及人声与乐器如何配合。
编写细节： 确保歌手听起来像真人，吉他声清晰有力，而不是充满机械感。
遵循指令： 如果你要求一首“关于雨水的忧伤民谣”，它必须真的听起来像那样，而不是一首欢快的摇滚乐。

之前的 AI 模型之所以表现不佳，是因为它们试图在一个庞大且混乱的步骤中完成所有这些工作。它们要么能把整体规划做好但音质很差，要么音质很好但歌曲逻辑混乱。

LeVo 2 是一个全新的系统，它通过让一个指挥家和一支专业的乐手团队协同工作来解决这个问题。

1. 架构：指挥家与乐手

LeVo 2 并没有让一个大脑尝试做所有事情，而是将任务拆分为两个层级，就像一位将军和一支特种部队。

将军（混合语义语言模型/Mixed Semantic LM）： 这部分负责全局观。它现在还不必担心吉他弦的微小细节，而是规划歌曲的“骨架”：旋律、节奏以及副歌的位置。它创造了一个“混合”计划，以确保人声和乐器能够和谐共处。
特种部队（特定轨道语言模型/Track-Specific LM）： 一旦将军制定了计划，这支团队就会接管工作。他们观察计划并填充高清晰度的细节。一组专门专注于让人声听起来完美，另一组则专注于让乐器听起来完美。他们并行工作，因此不会互相干扰。
音响工程师（音乐编解码器/Music Codec）： 最后，第三个组件接收来自将军和特种部队的指令，并将它们转化为你可以聆听的、高质量的实际音频波形。

类比： 想象建造一座房子。将军绘制蓝图（墙在哪里）。特种部队是油漆匠和电工，负责添加精细细节（油漆的颜色、布线）。音响工程师是施工队，负责真正把房子盖好，让你能够居住其中。

2. 训练：音乐家的三阶段学校

作者意识到，你不能直接把一个机器人扔进录音室就指望它立刻变优秀。他们创建了一个由“自动化音乐评委”引导的三阶段训练学校。

第一阶段：音乐理论课（预训练）
机器人聆听成千上万首歌。但不仅仅是听任何歌——它使用一个自动化系统对歌曲进行评分。它首先从“前 5%”的歌曲中学习。它学习音乐规则（旋律、节奏），并建立起对“好音乐”的感知。这就像通过向学生展示历史上最伟大的经典作品来教学。
第二阶段：纪律训练（渐进式后训练）
现在机器人懂得了音乐理论，但它可能仍会犯错，比如唱错词或忽略你的指令。
- 首先，它进行监督式微调（SFT）：它只在最顶尖的歌曲上进行练习，以提高质量。
- 接着，它进行 离线 DPO：这就像一位严厉的教练。机器人生成许多版本的歌曲，教练从中挑选出最符合歌词且最符合提示词（Prompt）的版本。机器人由此学会停止“幻觉”（编造虚假词汇）并开始听从指令。
- 最后，它进行 半在线 DPO：机器人开始生成自己的新歌，并从自身的改进中学习，在不丢失纪律的前提下提升艺术创造力。
第三阶段：大师班（模块化扩展）
此时，将军（规划者）已经趋于完美并被“冻结”（不再改变）。特种部队（细节团队）接受额外的训练。他们练习如何将一个粗略的草图转化为晶莹剔透、高保真的录音。这确保了人声和乐器听起来既丰富又细腻。

3. “审美指南”

本文的一个关键创新是 自动化音乐审美评估框架。想象一个机器人评委，它听完一首歌后会给其“音乐性”打分：

在训练期间，这个评委会为歌曲贴上“音乐性等级”标签（例如：“顶级”、“平均”、“低级”）。
机器人学习到，当它看到“顶级”标签时，它应该尝试生成令人惊叹的作品。
这有助于机器人理解为什么有些歌曲比其他的更好，而不仅仅是盲目地模仿。

4. 结果：它有多强？

作者将 LeVo 2 与其他开源模型以及一些著名的商业系统（如 Suno 和 Mureka）进行了对比测试。

优于开源模型： LeVo 2 在几乎所有类别中都击败了其他开源模型，包括旋律、编排和音质。
媲美专业选手： 它非常接近顶尖商业系统的表现，而这些系统通常对其技术细节高度保密。
指令遵循能力： 它在演唱正确歌词和匹配情绪方面表现出色，显著减少了 AI 编造无意义词汇的“幻觉”现象。

总结

LeVo 2 是一种全新的 AI 音乐生成方式。它没有让一个大脑尝试同时处理所有事务，而是使用了一个层级化团队（一个规划者和若干细节专家）以及一个循序渐进的训练学校，教会 AI 先理解音乐理论，再学习遵守规则，最后润色音质达到完美。其结果是一个能够生成完整、连贯且高质量，且听起来非常接近真人的歌曲系统。

技术摘要：LeVo 2

问题陈述

基于语言模型的现有系统在全长歌曲生成方面面临着根本性的结构权衡。采用混合标记建模（同时预测人声和伴奏）的方法虽然保留了人声与乐器的协调性，但由于相互掩蔽和受限的离散词表，模糊了特定轨道的声学细节。相反，双轨预测策略提高了声学保真度，但极大地增加了序列长度，削弱了全局规划能力，导致难以维持长期的结构连贯性。

此外，该领域受到高质量数据和噪声标注匮乏的制约。现有的偏好对齐方法在同时优化多个目标（例如，可控性与音乐性）时，往往会产生梯度冲突，导致一种“平均化效应”，从而限制了单个能力的上限。此外，依赖静态、离线的偏好数据集限制了模型性能仅能达到数据生成者的水平，并使训练容易受到奖励黑客行为（reward hacking）的影响。

方法论

LeVo 2 通过一个结合了层级表示建模和解耦式美学引导训练范式的混合 LLM-Diffusion 框架来解决这些挑战。

1. 层级架构 (LeLM)

系统的核心是 LeVo 语言模型 (LeLM)，它将全局语义规划与特定轨道的声学细化分离：

混合语义 LM (Mixed Semantic LM)： 一个仅解码器的 Transformer，用于预测混合标记。这些标记充当“伪思维链”（pseudo-chain-of-thought），捕捉高层级的结构信息（旋律、节奏、节拍），并在不扩展序列长度的情况下确保全局的人声与乐器和谐。
特定轨道 LM (Track-Specific LM)： 一个并行运行的轻量级模块，以混合语义 LM 的隐藏状态为条件。它分别预测人声和伴奏标记，以恢复精细的声学细节。为了提供全面的上下文，系统采用了**延迟模式（delay pattern）**机制，允许模型在进行双轨预测期间访问来自语义规划器的未来隐藏状态。
音乐编解码器 (Music Codec)： 一个基于扩散的解码器，将预测的双轨标记重构为全长、高保真的波形。它利用预训练编码器 (MuEncoder) 和专门的矢量量化器 (VQs) 将音频离散化为标记。

2. 美学引导的三阶段训练范式

LeVo 2 引入了一种全新的训练计划，注入了音乐性先验，并解耦了优化目标：

第一阶段：美学条件预训练：
- 混合语义 LM 在大规模数据上进行训练，并使用自动化音乐美学评估框架。该框架根据预测的质量得分，为训练数据分配“音乐性等级”条件（例如，前 5%、5-25%）。
- 这使得模型能够从带有噪声的长尾数据中学习核心声学和语义知识，同时建立音乐性先验，从而在推理阶段实现具备音乐性意识的无分类器指导 (CFG)。
- 包含纯器乐音乐以强化伴奏建模。
第二阶段：解耦式渐进式后训练：
- 监督微调 (SFT)： 筛选美学得分前 0.5% 的数据，以建立高质量的生成基准并收敛输出分布。
- 大规模离线 DPO： 专注于可控性。通过使用 15 万条多样化的歌词和提示词，使模型实现对齐，以减少歌词幻觉并提高提示词一致性（流派、情感、乐器）。
- 闭环半在线 DPO： 专注于音乐性。通过定期更新的生成器采样新数据来创建偏好对，从而推动模型超越静态离线数据集的限制，并通过混合验证防止奖励黑客行为。
第三阶段：美学条件模块化扩展：
- 冻结已对齐的混合语义 LM 的权重。特定轨道 LM 专门用于细化声学细节。
- 采用声学增强策略：将混合标记重构为低质量音频（通过有限的扩散步数），然后重新进行标记化。这迫使特定轨道 LM 学习如何恢复和补充精细的声学细微差别。

核心贡献

层级表示建模： 一种新颖的架构，将全局语义规划（混合语义 LM）与特定轨道声学细化（特定轨道 LM）解耦，解决了结构连贯性与声学保真度之间的权衡，且不会导致序列长度爆炸。
美学引导训练： 引入了自动化音乐美学评估框架，在预训练期间分配音乐性等级条件，在偏好对齐之前提供音乐性先验。
解耦式渐进式后训练： 采用三阶段对齐策略（SFT $\to$ 针对可控性的离线 DPO $\to$ 针对音乐性的半在线 DPO），缓解了梯度冲突并避免了静态离线数据集的局限性。
带声学增强的模块化扩展： 为特定轨道 LM 设计的专门训练阶段，通过有意的声学破坏来增强模型恢复精细细节的能力。

实验结果

广泛的评估表明，LeVo 2 显著优于现有的开源基准模型及领先的商业系统：

主观评估： 在涉及音乐专业人士的六维度平均意见得分 (MOS) 测试中，LeVo 2 在整体音乐性、旋律、编曲、结构、人声音质和伴奏音质方面均超越了所有开源模型（YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo）。
商业对比： 在旋律（6.12 对比 6.38）、编曲（6.42 对比 6.55）和伴奏音质（7.10 对比 7.11）等指标上，LeVo 2 的表现接近 Suno v5 和 Mureka v8 等商业系统。值得注意的是，它在所有主观听感指标上都超越了 MiniMax Music 2.5+。
客观评估： LeVo 2 在所有开源系统中实现了最低的音素错误率 (PER) (8.55%)，表明其具有卓越的歌词对齐能力。它还实现了最高的情感控制得分 (8.72)，超过了包括商业系统在内的所有评估系统。
消融实验： 实验证实，移除层级架构、美学引导或渐进式后训练阶段都会导致性能显著下降，从而验证了各组件的必要性。

意义

本文声称 LeVo 2 通过成功解决以往模型固有的结构权衡，实现了全长歌曲生成的重大进展。通过将可控性和音乐性的优化分解为不同阶段，并利用层级架构，该框架缓解了梯度冲突并最大化了模型的性能上限。作者认为，LeVo 2 证明了在美学先验和解耦训练策略的引导下，开源架构可以接近商业标准，实现全长歌曲的高保真、可控生成。发布模型权重和代码旨在促进高保真、可控音乐生成领域的进一步研究。