← 最新论文

⚡ electrical engineering

Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

该论文提出了一种无需人工标注的新型对齐框架，通过定义基于规则的乐理约束自动生成偏好数据，并依次利用直接偏好优化（DPO）和 Kahneman-Tversky 优化（KTO）对大语言模型进行微调，从而显著减少了歌词到旋律生成中的乐理违规问题，提升了旋律的音乐性与连贯性。

原作者： Hao Meng, Siyuan Zheng, Shuran Zhou, Qiangqiang Wang, Yang Song

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Meng, Siyuan Zheng, Shuran Zhou, Qiangqiang Wang, Yang Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**如何让 AI 学会“写歌”且写得“好听、不跑调”**的故事。

想象一下，你请了一位非常有才华的AI 作词家（大语言模型），它读过无数首歌，能根据歌词写出旋律。但是，这位 AI 有个大毛病：它虽然懂歌词，却不懂音乐常识。

1. 问题：AI 写的歌为什么“难听”？

在论文中，作者发现，如果只让 AI 模仿人类写的歌（这叫“监督微调 SFT"），它就像是一个只会死记硬背的学生。

现象：它写出来的歌，节奏可能像机器人一样乱跳，或者音高（唱上去的调子）高得连海豚都唱不上去，低得像地底传来的声音。
比喻：这就像让一个没学过乐理的人即兴唱歌，他可能唱得很有感情，但全是跑调、破音、节奏混乱的“噪音”。作者把这种现象称为“违反约束”（Constraint Violation）。

2. 解决方案：给 AI 请一位“严厉的音乐老师”

为了解决这个问题，作者没有花钱请成千上万个真人专家来给 AI 打分（因为太贵太慢了），而是发明了一套**“自动纠错系统”**。

第一步：制定“音乐家规” (Rule-based Constraints)

作者给 AI 定下了5 条铁律，就像给新手司机定的交通规则：

格式规矩：唱出来的字和音符必须对得上，不能张冠李戴。
歌词规矩：歌词不能乱改，必须原样唱出来。
防单调规矩：不能一直唱同一个音（比如“哆哆哆哆”），要有起伏。
节奏规矩：音符不能太短（像蚊子叫）或太长（像拉风箱），要符合人类呼吸。
音域规矩：音高必须在普通人能唱出来的范围内，不能挑战人类声带的极限。

第二步：自动“刷题”与“打分” (Preference Data Generation)

作者让 AI 自己写很多歌，然后用上面的5 条铁律去自动检查：

及格 vs 不及格：如果一首歌符合所有规则，就是“优等生”（Winner）；如果违反规则，就是“差生”（Loser）。
自动生成题库：系统自动把“优等生”和“差生”配对，或者把那些“全是差生”的情况单独列出来，形成了一套无需人工干预的题库。

第三步：双重特训 (Sequential Alignment: DPO + KTO)

这是论文最核心的创新，相当于给 AI 上了两节不同的课：

第一节课：对比教学 (DPO)
- 方法：把“优等生”和“差生”放在一起给 AI 看。
- 比喻：就像老师指着两幅画说：“这幅画（优等生）是对的，那幅画（差生）是错的，你要学会分辨。”AI 通过对比，学会了**“什么该做，什么不该做”**。
第二节课：避坑教学 (KTO)
- 方法：专门给 AI 看那些“全是差生”的样本（即 AI 完全没写出合格歌的情况）。
- 比喻：就像老师拿着“错误集锦”说：“看，这些全是错的！以后千万别这么干！”这能防止 AI 在遇到难题时彻底“摆烂”或胡编乱造。

3. 结果：AI 变身“金牌作曲助理”

经过这套“规则 + 双重特训”后，AI 发生了质的飞跃：

客观指标：它写的歌，在音高分布、节奏感上，更像人类专业作曲家写的。
主观听感：找了一群懂音乐的人来盲听，大家觉得 AI 写的歌**“几乎和真人唱的一样好听”**（评分接近满分），远超之前的各种模型。
违规率大降：以前 AI 经常犯“音太高”、“节奏乱”的错，现在这些错误几乎消失了。

总结

这就好比：
以前，我们教 AI 写歌是**“只给范文，不教乐理”，结果它写出来的东西像天书。
现在，我们给 AI 一套“自动评分的乐理考试系统”**，让它自己做题、自己改错、自己总结规律。

核心意义：
这篇论文证明，在音乐这种有明确规则（如音高、节奏）的领域，不需要花大价钱请人打分，只要把专家的知识变成简单的“规则”，就能让 AI 变得既聪明又守规矩。这为未来让 AI 成为真正的创作助手铺平了道路。

这是一份关于论文《ALIGNING LANGUAGE MODELS FOR LYRIC-TO-MELODY GENERATION WITH RULE-BASED MUSICAL CONSTRAINTS》（基于规则音乐约束的对齐语言模型以进行歌词到旋律生成）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：大型语言模型（LLM）在歌词到旋律的生成任务中展现出巨大潜力。现有的方法（如 SongComposer, SongGLM）通过监督微调（SFT）实现了端到端的生成。
核心问题：仅依靠 SFT 训练的模型往往缺乏对音乐原则的鲁棒遵循，导致生成结果出现**“约束违反”（Constraint Violation）**现象。具体表现为：
- 节奏怪异（Duration issues）。
- 音域超出人类舒适演唱范围（Vocal range issues）。
- 旋律单调或音高排列不合理。
- 歌词与音符对齐错误。
现有局限：传统的强化学习人类反馈（RLHF）虽然能解决偏好对齐问题，但依赖大规模人工标注，成本高且效率低，难以规模化。

2. 方法论 (Methodology)

作者提出了一种无需人工标注的自动化对齐框架，通过规则化的音乐约束自动生成偏好数据，并采用序列化的优化策略。整个流程分为三个阶段（如图 1 所示）：

2.1 符号化旋律表示

采用人类可读且机器可解析的符号格式，将旋律 Token 化为序列：(歌词音节, MIDI 音高, 时值)，由 | 分隔。

2.2 基于规则的音乐约束 (Rule-based Musical Constraints)

定义了五类约束，用于自动评估 SFT 模型的输出并构建偏好数据集：

格式约束 (Format)：确保输出符合定义的符号语法。
歌词约束 (Lyric)：生成的旋律必须准确对应输入歌词，非连音歌词需正确分割。
音符约束 (Note)：避免单调性，限制连续重复音符的比例（防止单一音高主导）。
时值约束 (Duration)：确保节奏合理性。包括单音时值在感知有效范围内，以及乐句结尾音符需有更长的时值。
音域约束 (Register)：确保所有音高落在典型人类演唱范围内（如 MIDI C4-C6）。

2.3 自动化偏好数据生成

利用上述规则评估 SFT 模型在未见歌词上的生成结果，自动构建两类数据：

配对数据 (Paired Data)：包含“获胜者”（符合规则）和“失败者”（违反规则）的样本对。
非配对数据 (Unpaired Data)：仅包含“失败者”样本（即模型完全无法生成符合规则旋律的情况）。

2.4 序列化对齐策略 (Sequential Alignment)

采用两步优化策略，最大化利用生成的偏好信号：

直接偏好优化 (DPO)：在配对数据上训练。直接优化策略模型 $\pi_\theta$ ，使其更倾向于生成符合规则的旋律（Winner），而非违反规则的旋律（Loser）。
Kahneman-Tversky 优化 (KTO)：在非配对数据上训练。利用 KTO 的二元标签（“理想”或“不理想”）特性，专门针对那些完全失败（无符合规则输出）的样本进行惩罚，进一步抑制常见的失败模式。

3. 主要贡献 (Key Contributions)

规则化约束体系：提出了一套包含 5 个维度的规则约束，形式化了旋律写作的基本原则，针对生成模型的常见缺陷。
全自动偏好数据流水线：设计了一套无需人工干预的管道，利用规则自动从 SFT 模型输出中筛选并构建大规模配对及非配对偏好数据集。
序列化对齐策略：创新性地结合了 DPO（处理成对偏好）和 KTO（处理非配对负面样本），有效利用了从完全失败到部分成功的各种信号，显著提升了模型的音乐性。

4. 实验结果 (Results)

实验在中文和英文数据集上进行，对比了 SongMASS, TeleMelody, SongComposer 等基线模型。

客观指标 (Objective Metrics)：
- PD (音高分布相似度) 和 DD (时值分布相似度)：提出的方法在中英文测试集上均显著优于所有基线（例如中文 DD 达到 43.44%，比基线高约 10%）。
- MD (旋律距离)：提出的方法误差最小（中文 2.58），表明生成的旋律轮廓更接近人类创作。
主观指标 (Subjective Metrics - MOS)：
- 在 1-5 分的平均意见得分（MOS）测试中，提出的模型得分为 3.42，远超基线模型（最高基线为 3.26），且非常接近真实录音（Ground Truth, 3.50）。
- 这表明人类专家感知到的音乐质量已达到接近人类水平的程度。
消融实验 (Ablation Study)：
- 完整流程（SFT+DPO+KTO）效果最佳。
- 单独使用 DPO 或 KTO 均有提升，但组合使用在音高分布（PD）和旋律距离（MD）上表现最好。
- 规则违反频率分析显示，提出的方法在所有五类约束上的违规次数均大幅低于 SFT 基线和其他变体。

5. 意义与价值 (Significance)

解决领域知识注入难题：证明了在符号音乐等规则明确的领域，可以将专家知识编码为确定性规则，作为人类反馈的可扩展且低成本的替代方案。
提升生成质量：有效解决了 LLM 生成音乐中常见的“幻觉”和音乐性缺失问题，使模型生成的旋律不仅语法正确，而且符合音乐常识（如音域、节奏）。
应用前景：该方法为自动作曲、音乐创作辅助工具以及具备歌唱能力的语音交互代理（Voice Agents）提供了高质量、可部署的解决方案。
范式创新：提出的"DPO 处理成对数据 + KTO 处理非配对负面数据”的序列化对齐范式，为其他需要严格遵循领域约束的生成任务提供了新的思路。

总结：该论文通过引入基于规则的音乐约束和自动化的偏好对齐流程，成功将大语言模型从“统计模仿者”转变为“懂音乐原则的创作者”，在无需昂贵人工标注的情况下，实现了歌词到旋律生成任务的状态-of-the-art（SOTA）性能。