💬 NLP

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

本文介绍了 MIDI-LLM，这是一个两阶段训练框架，旨在使大语言模型能够生成高质量、文本控制的多轨 MIDI 音乐和谱表，通过广泛的消融实验和大规模真实世界的盲测，证明了其相对于现有基准模型的卓越性能和用户认可度。

原作者： Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你可以通过与计算机对话，让它为你创作一首歌曲。在人工智能领域，这被称为“文本转音乐”（text-to-music）。有一段时间，实现这一目标的最佳方式是让计算机生成原始声波，就像一段数字录音。但问题在于：一旦这种声音被制造出来，它就像画布上的画作。你无法轻易擦掉其中一笔，或者在不破坏整个画面结构的情况下只改变鼓点的节奏。音乐家需要更具灵活性的东西，一种可以进行逐个音符编辑的东西。这就是“MIDI”发挥作用的地方。不要把 MIDI 仅仅看作声音，而要把它看作数字乐谱，或者是一套指令，告诉虚拟钢琴该按下哪些键、按下的力度有多大以及持续多久。这就像是成品录音与乐高积木之间的区别：你可以把乐高拆开并重新构建。

现在，想象一下将超级智能的语言模型（那些会写论文和回答问题的 AI）进行升级，教会它们这种音乐语言。这就是这项新研究背后的核心理念。科学家们想看看他们是否可以将一个文本专家转化为音乐专家，从而让人们可以通过输入诸如“一首带有快速鼓点的忧伤爵士乐”之类的文字，获得一份完美的、可编辑的乐谱。他们不仅仅是想制造出悦耳的噪音；他们想打造一个工具，帮助人类创作者以一种自然且可控的方式与 AI 进行头脑风暴和协作。

论文：MIDI-LLM

这项论文背后的研究人员——来自麻省理工学院（MIT）、Hooktheory 和卡内基梅隆大学的一个团队——调制出了一套新配方，叫做 MIDI-LLM。你可以把它看作是一种升级标准大语言模型（LLM，即那些会写故事和解数学题的 AI）的方法，使其也能创作音乐。

通常，这些 AI 模型就像是只懂用文字烹饪的厨师。它们理解“苹果”和“派”，但不知道“升C音”听起来是什么样，也不知道如何将其写下来。团队的第一步是给 AI 一套新的词汇。他们扩展了模型的字典，加入了特殊的“MIDI 标记”（tokens）。模型不再需要将一个音符写成一段长句子，比如“从 10 秒开始，持续 0.5 秒，播放高音 C”，而是将其视为一个单一且紧凑的符号，就像一个秘密代码。这就像是教一位厨师阅读一种新语言，其中一个单词就代表“加盐”，这使得烹饪过程更加快速高效。

但仅仅给模型一个新字典是不够的；它还需要学习如何使用它。团队通过两个截然不同的阶段对 AI 进行了训练，就像音乐系学生先学习乐理，然后再加入乐队一样。

第一阶段：独奏练习（单模态预训练）
首先，他们让 AI 进行自主练习。他们向其输入了两类数据：

与音乐相关的文本： 关于音乐理论的文章、问题和答案（例如“什么是小调和弦？”）。
独立的 MIDI 文件： 数千份没有任何文本描述的原始乐谱。
这个阶段旨在教 AI 音乐的“语法”。它学习了音符如何组合在一起、节奏是如何运作的，以及歌曲的结构，而无需人类告诉它该怎么做。这就像音乐家在安静的房间里练习音阶和阅读乐谱。

第二阶段：二重奏（多模态监督微调）
接下来，他们为 AI 配对了一个搭档。他们向其输入“文本+音乐”的配对数据：一个类似于“一首欢快的流行歌曲”的提示词，紧接着就是对应的 MIDI 乐谱。这教会了 AI 将人类的想法转化为音乐指令。如果你说“爵士乐”，它就会学会编写爵士乐的音符。如果你说“忧伤”，它就会学会编写缓慢的小调和弦。这是 AI 学习倾听你的需求并真正演奏出你所要求的音乐的时刻。

他们的发现

结果非常令人印象深刻。当他们将新的 MIDI-LLM 与最近的一个竞争对手 Text2midi 进行对比测试时，他们的模型在两个主要方面脱颖而出：

更好的质量： 它生成的音乐听起来更真实，也更符合音乐规则。
更好的控制力： 它能更紧密地遵循文本指令。如果你要求特定的情绪或流派，它确实能够实现。
速度： 由于采用了标准的 AI 架构（基于 L-Llama 3.2），他们可以使用现有的、超快速的计算机工具来运行该模型。尽管他们的模型体积稍大，但速度比竞争对手快了 7 到 13 倍。

他们还测试了一个名为“补全”（infilling）的特殊功能。想象一下你有一首完成了一半的歌，你想让 AI 写出中间的部分。团队发现 AI 在这方面表现出色，但存在一个微妙的平衡点。如果 AI 太过于关注你输入的文本，它可能会忽略你已经写好的音乐；如果它太专注于现有的音乐，它可能会忽略你的新文本指令。为了解决这个问题，他们引入了一个“旋钮”（称为无分类器指导，Classifier-Free Guidance），允许用户调整 AI 应该在多大程度上听从文本指令，以及在多大程度上遵循现有音乐。

现实世界测试：“实战”研究

为了观察这是否真的对现实中的人有所帮助，团队不仅进行了计算机测试，还走进了现实世界。他们与 Hookpad（一个音乐人创作音乐的网站）合作，让 58 名真实的活跃用户尝试使用他们的新 AI 副驾驶（co-pilot）。

用户被要求从零开始创作歌曲，或者填补现有歌曲中的缺失部分。他们可以选择三种不同的 AI 模型：

旧模型（仅观察音乐，忽略文本）。
一个忽略文本的新版本模型。
完整的全新 MIDI-LLM（既能听从文本，也能观察音乐）。

结果显示，当用户从头开始创作歌曲（“从零到一”）时，完整的 MIDI-LLM 是明显的赢家。它的接受率几乎是其他模型的两倍。这表明，当人们试图开启一个新的想法时，能够输入“让它听起来像 90 年代的摇滚乐”是非常有价值的。

然而，当用户只是在现有歌曲中填补一个小缺口时，结果则比较复杂。有时，用户更倾向于使用那个忽略文本的旧模型。研究人员认为，这可能是因为当你已经深入创作一首歌时，你可能希望 AI 仅仅是“融入”已有的内容，而不是试图强行引入一个可能与现有旋律产生冲突的新想法。

总结

论文得出结论，将大语言模型适配于音乐是一种强大的配方。通过教会这些模型同时理解“文本”和“MIDI”，他们创造了一个有助于人类与 AI 更有效协作的工具。这不仅仅是为了生成噪音；这是为了给创作者提供一个灵活、快速且智能的伙伴，能够将简单的句子转化为完整的乐谱，供他们随后进行微调和完善。该团队正在将此功能推广给更多用户，希望能看到它在未来如何改变人们创作音乐的方式。

技术摘要：MIDI-LLM

问题陈述

尽管最近的文本转音乐模型已经能够根据自然语言提示生成逼真的音频，但其输出的音频波形在下游创意工作流中难以进行精确编辑、重构或复用。这种局限性阻碍了类似于大语言模型（LLM）在文本领域所实现的迭代式人机协作。相反，生成 MIDI 输出的符号域模型允许直接编辑和复用，从而促进了创作能动性。然而，现有的符号模型通常缺乏有效的自由文本控制，限制了其在快速构思和基于指令的编辑方面的效用。此外，许多符号模型依赖于定制架构，需要专门的工程努力来加速生产规模部署下的推理，这与成熟的开源权重 LLM 推理生态系统形成了对比。

方法论

本文提出了 MIDI-LLM，一种通过适配 LLM 来改进文本转 MIDI 生成及填空（infilling）任务的方案。该方法包含三个核心组件：

1. 词表扩展

为了在不增加序列长度开销的情况下将 MIDI 数据整合进 LLM（避免将 Token 序列化为文本字符串），作者扩展了 Llama 3.2 (1B) 的 Token 嵌入层。他们集成了 Anticipatory Music Transformer (AMT) 词表，该词表将每个音符表示为一个由三个 Token 组成的元组：

起始时间 (Onset time)： 以 10ms 为步长进行量化（0–100s）。
持续时间 (Duration)： 以 10ms 为步长进行量化（0–10s）。
乐器-音高联合 Token (Instrument-pitch joint token)： 结合了 129 种乐器和 128 个音高。
这使得词表从原始文本大小扩展，新增了 5.5 万个 MIDI Token。新的嵌入权重及相应的解嵌入（unembedding）层是随机初始化的。

2. 两阶段训练流水线

该模型经历了一个总计超过 40 亿个 Token 的两阶段训练过程：

第一阶段：单模态持续预训练 (CPT)： 模型在音乐相关文本（如音乐文章、GPT-4 合成知识、ABC 记谱法）和独立的多轨 MIDI 数据（GigaMIDI）的混合数据上进行训练。此阶段旨在激发 LLM 中现有的音乐知识，并学习 AMT 框架下的 MIDI 数据语法和结构。
第二阶段：多模态监督微调 (SFT)： 模型在配对的文本-MIDI 数据（MidiCaps + Lakh MIDI）上进行微调。描述流派、情绪、乐器编制和和弦的文本提示作为指令，用于生成相应的 MIDI 序列。此阶段还包括填空任务，即模型根据周围的 MIDI 上下文和文本指令来预测缺失的音符。

3. 下游专业化与推理

生成的模型可作为下游任务的基础，特别是在 TheoryTab 数据集上的主导谱（旋律 + 和弦）生成与填空任务中得到了验证。

无分类器指导 (Classifier-Free Guidance, CFG)： 为了解决填空过程中周围 MIDI 上下文主导文本提示的问题，作者实现了 CFG。这允许用户在推理过程中通过调节缩放参数 ( $\lambda$ )，在生成质量与更强的文本控制力之间进行权衡。
优化推理： 通过保留原始 LLM 参数结构，该模型可以无缝集成到优化的推理生态系统中，如 vLLM，并利用 CUDA 图（CUDA graphs）、分页 KV 缓存注意力（paged KV cache attention）和 FP8 量化等技术。

核心贡献

一种适配方案： 一种通过词表扩展和两阶段训练流水线（单模态 CPT + 多模态 SFT）将 LLM 适配至文本转 MIDI 生成的方法论，并能与现有的 LLM 服务生态系统集成。
具体实现： 一个基于 Llama 3.2 (1B) 的具体实现，在文本控制力和音乐质量方面均优于近期的 Text2midi 模型。
主导谱专业化： 展示了 MIDI-LLM 如何被专业化用于主导谱（旋律 + 和弦）创作，并通过消融实验验证了文本预训练、MIDI 预训练与文本转 MIDI 监督微调之间的协同作用。
现实世界验证： 通过对 58 名 Hookpad Aria 用户进行的“实战”用户研究以及 4,002 个生成输出，评估了模型的协作能力。

结果

定量基准测试

对比 Text2midi： 在 MidiCaps + Lakh MIDI 数据集上，MIDI-LLM 实现了比 Text2midi 更高的音乐质量（更低的 FAD）和更强的文本控制力（更高的 CLAP 分数）。
推理速度： 尽管参数量比 Text2midi 大 5 倍，但由于集成了 vLLM，MIDI-LLM 的推理速度实现了 7–13 倍的提升。
消融研究： 在 TheoryTab 下游任务中，完整的方案（结合 Llama 文本预训练、单模态 CPT 和 SFT）在音乐质量和文本可控性之间达到了最佳平衡。
- 仅文本预训练建立了强大的控制力，但音乐质量较低。
- 仅 MIDI 预训练提升了质量，但导致文本控制力较弱或不一致。
- 两种模态的结合揭示了一种结构性的协同作用：广泛的文本知识既增强了控制力，也提升了音乐质量。

用户研究发现

从零到一生成： 在“从头开始”的主导谱生成任务中，MIDI-LLM 达到了 13.0% 的接受率，几乎是基准模型（不含文本的 AMT 和不含文本的 MIDI-LLM）的近两倍。这表明在建立新音乐构思时，文本控制具有极高的用户价值。
填空任务： 对于填空任务（旋律、和弦或两者），仅 MIDI 的基准模型 (AMT) 表现出了竞争力和甚至更好的性能。作者将其归因于潜在的上下文-控制不匹配，或用户在现有语境下更倾向于音乐连续性而非严格遵循文本。
研究后的影响： 在研究结束后，将 MIDI-LLM 广泛部署到 Hookpad Aria 用户中后，生成的接受率和填空接受率均提升了 22%。

重要性与主张

本文主张，MIDI-LLM 成功地为符号模型注入了有效的自由文本控制，同时利用了开源 LLM 的高效性和生态系统。通过证明统一的 LLM 架构可以在质量和控制力方面均优于定制的符号模型，这项工作表明，适配 LLM 的“方案”是音乐生成领域一条切实可行的路径。

作者强调，他们的方法支持类似于文本领域的迭代式人机协作，而音频波形模型在这一点上难以提供。CFG 的集成允许用户在预设音乐上下文与用户意图之间的张力进行可调控，这是创意工作流中的关键特性。最后，在真实协作平台（Hookpad）中的成功部署，验证了文本驱动的符号音乐生成在“从零到一”音乐构思中的实际应用价值。