🤖 machine learning

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor 是一款开源权重模型，它通过结合合成数据预训练、真实数据微调、强化学习以及乐器条件化，克服了现有方法的泛化局限性，从而在真实录音上实现了有效的多乐器音乐转谱。

原作者： Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

发布于 2026-07-10✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图教一个机器人去聆听一场混乱的摇滚演唱会，并准确地写下哪位音乐家在什么乐器上演奏了哪个音符，以及持续了多久。这就是**自动音乐转录（Automatic Music Transcription, AMT）**的工作。多年来，科学家们已经构建出了擅长转录钢琴独奏或单一鼓组的机器人，但只要你加入一支完整的乐队，伴随着电吉他、失真贝斯和嘶吼的歌手，这些机器人通常就会崩溃。它们会被噪音、重叠的声音以及现实世界音乐中的混乱现状所迷惑。

MuScriptor 应运而生，这是一个全新的开源模型，声称是第一个成功应对这种跨越从古典管弦乐到重金属等几乎所有流派的“全乐队”混乱局面的模型。

秘诀所在：模拟练习 vs. 实战演练

该论文的核心发现是训练这类“识谱机器人”的一种特定配方。作者发现，你不能仅仅给机器人喂食真实的音乐就指望它快速学习，但你也绝不能只喂给它完美的、计算机生成的音乐，然后指望它能在现实世界中发挥作用。

这就像是在训练一名厨师。

合成数据（模拟环境）： 团队首先向模型输入了 145 万个计算机生成的 MIDI 文件。这就像一位厨师在完美、无菌的厨房里练习，每一种食材都经过精确测量，且永远不会烧焦。论文指出，这对于“预训练”非常有效——即为机器人打下音乐理论基础的雄厚底蕴。
真实数据（实战餐厅）： 然而，论文明确指出，止步于模拟阶段是一种失败。如果仅在合成数据上进行训练，当机器人听到带有失真的真实吉他或带有混响的歌手时，表现会极其糟糕。为了解决这个问题，团队在混合数据中加入了 17 万条真实的音乐录音（总计超过 11,000 小时）。这就是那个“真实的餐厅”，厨师在这里学习如何处理杂乱、不可预测的食材。
结果： 论文表明，将两者结合才是神奇之处。仅在合成数据上训练的模型虽然能识别音符，但在细节处理上表现拙劣。但一旦他们在真实录音上进行了微调，其性能在各个维度上都提升了约 20 个百分点。

“强化学习”的精雕细琢

在机器人通过合成数据和真实数据学习之后，作者给了它最后一次极其严格的打磨。他们选取了一组由人类进行完美标注的、极高质量的 300 首歌曲。他们使用了一种称为强化学习（具体为一种名为 GRPO 的方法）的技术，让模型在这些 300 条音轨上进行练习，并通过将输出结果与完美的人类版本进行对比，从而“从错误中学习”。

这就像是厨师品尝自己的菜肴，并意识到：“噢，我盐放多了，”然后进行调整。论文指出，这一步骤不仅微调了数值，还特别减少了模型“漏掉”音符的情况（假阴性），并使音符的时值更加精准。

机器人的能力边界（能做什么与不能做什么）

论文非常明确地说明了 MuScriptor 的能力。它可以聆听一段 5 秒钟的音频片段并吐出一份音符列表。它甚至可以接收指令，例如：“嘿，我知道这首歌里有一把吉他和一只鼓，但请忽略其他所有声音。”这种“乐器调节（instrument conditioning）”有助于机器人保持专注，而不至于在分辨哪个乐器演奏了哪个音符时感到困惑。

然而，论文也排除了以下几种情况：

它并非处理重叠音符的“万能药”： 如果两个人在同一件乐器上同时演奏完全相同的音符（例如两把小提琴演奏齐奏），目前的系统必须舍弃较短的那个音符才能正确计数。论文承认，需要一种不同的“标记化（tokenization）”（即一种不同的记谱方式）才能完美处理这种情况。
对于某些特定数据集（如合唱音乐），音符何时开始和结束的时值问题仍然很棘手。论文指出，为某些音乐风格标注精确的起始和结束时间，其本身对人类来说也是极具挑战性的。

数据说话

论文不仅说它“更好”，还进行了量化衡量。

在一个包含多样化歌曲的测试集上，最终的模型（经过合成数据、真实数据和 300 首歌曲打磨训练后）实现了 47.8 的 Multi F1 分数（使用了特定的设置 αCFG = 2）。
与之前的最优模型 YourMT3+ 相比，后者在同一指标上的得分仅为 21.9。这是一个巨大的飞跃。
即使是他们模型中最小的版本（拥有 6000 万参数），也达到了 65 的 frame F1 分数，这表明你并不需要超级计算机就能获得不错的结果。

核心结论

论文总结道，MuScriptor 的意义重大，因为它是一个开源权重模型（意味着任何人都可以下载并使用它），并且能够真正处理现实中复杂、多乐器的音乐。它表明，虽然合成数据是学习早期阶段的强大工具，但仅靠它是不够的。你需要那些杂乱的、现实世界的数据，来教会机器人如何应对一场真实演唱会的混乱场面。

作者对他们的结果充满信心，因为他们是在一组多样化的流派中进行了测试，并直接与最先进的基准模型进行了对比。他们并不声称已经解决了音乐转录中的所有问题（比如完美处理同一乐器上的重叠音符），但他们确实构建了一个比以往任何工具都更实用的工具，造福于音乐家和研究人员。

技术摘要：MuScriptor —— 一种用于多乐器音乐转谱的开放模型

1. 问题陈述

自动音乐转谱（AMT）旨在将音频录音转换为符号表示（通常为 MIDI）。虽然在单乐器场景（如钢琴、吉他、鼓）下已取得了显著进展，但针对多乐器、真实世界混音的通用转谱仍然是一个关键瓶颈。现有的先进模型（如 MT3 及其衍生模型）通常过度依赖合成训练数据。虽然这些模型在合成测试集上表现良好，但在应用于具有多样化音色、频率重叠和音频效果（如失真）的复杂真实制作环境时，会遭遇严重的领域偏移（domain shift）。因此，目前的多种乐器 AMT 系统在应用于音乐学、生成模型或音乐信息检索（MIR）等下游应用时，往往错误率过高。

2. 方法论

2.1 模型架构

MuScriptor 采用了仅解码器（decoder-only）Transformer架构，避免了复杂的编码器-解码器或层次化注意力结构，转而采用一种简单且有效的设计。

输入： 模型接收一个 5 秒的梅尔频谱图（通过对 16kHz 单声道音频进行 STFT 处理得到，使用 2048 nFFT，160 hop size，以及 512 个 mel bin）。
调节（Conditioning）： 乐器存在情况通过全局调节信号（整个曲目的乐器列表）提供，而非局部片段数据。这些乐器嵌入与频谱图投影拼接，作为 Transformer 的前缀调节信号。
标记化（Tokenization）： 音符标注的标记化方式与 MT3 类似，根据 MT3_FULL_PLUS 分类法将 128 种 MIDI 乐器映射为 36 个子组。
推理： 转谱通过自回归解码生成。系统支持强度为 $\alpha_{CFG} = 2$ 的无分类器指导（Classifier-Free Guidance, CFG），以提升生成质量。

2.2 数据策略

训练流水线采用结合合成数据与真实数据的三阶段方法：

合成预训练 ( $D_{Synth}$ )： 将 145 万个 MIDI 文件实时转换为音频。该流水线应用随机增强（音高偏移、速度变化、力度调整、乐器随机化），并使用包含 250 多种音色库（含随机失谐）的工具包合成音频。这从符号数据中创造了无限多样的音频实现。
真实数据微调 ( $D_{Real}$ )： 模型在经过策划的 17 万条真实音乐录音（约 11,000 小时）上进行微调，涵盖了从古典到重金属的多种流派。这些曲目通过音频-符号同步（使用线性插值和动态时间规整）获得了对齐的音符标注。
强化学习后训练 ( $D_{RL}$ )：使用一小部分 300 条高质量、经人工验证的曲目进行后训练。模型采用了 组相对策略优化（Group Relative Policy Optimization, GRPO） 算法。
- 对于每个批次，模型生成 $G=8$ 个独立的转谱结果。
- 奖励计算为相对于地面真值（ground truth）的 Onset、Frame 和 Offset F1 分数的总和。
- 通过在组内归一化奖励来计算优势（advantages），并通过由这些优势加权的 REINFORCE 目标函数来更新模型。

2.3 评估指标

性能使用 mir_eval 库中的标准 MIR 指标进行衡量：

Onset F1： 音高匹配，允许 $\pm 50$ ms 的起始时间容差。
Offset F1： 包含起始标准以及 $\max(50\text{ms}, 0.2 \times d_{ref})$ 的结束时间容差。
Frame F1： 在 62.5 ms 分辨率下的逐帧重叠度。
Multi F1： 最严格的指标，要求音高、时值以及乐器分类均需正确。
注：由于标记化限制，在评估前，同一乐器且音高相同的重叠音符已从测试集中移除。

3. 核心贡献

MuScriptor 模型： 发布了一个开源权重的通用多乐器转谱模型（参数规模从 60M 到 1.3B 不等），能够处理多种音乐流派。
大规模数据集： 策划了一个综合性数据集，包含 17 万条带有对齐标注的真实录音和 145 万个合成 MIDI 文件，解决了多乐器标注数据稀缺的问题。
对合成预训练的分析： 通过对比研究证明，虽然合成数据不足以作为独立的通用转谱工具，但在预训练阶段非常有效，尤其是在真实数据匮乏的情况下。
强化学习对齐： 应用了类似于 GRPO 的算法来使模型与高质量转谱对齐，这一技术在 AMT 文献中此前尚未被探索。
基于乐器调节的转谱： 引入了可选的乐器调节功能，允许用户定制输出（例如，转谱特定乐器）并稳定跨片段的预测。

4. 实验结果

4.1 训练阶段与性能

在 1.3B 参数模型上的实验（在留出测试集 $D_{Test}$ 上评估）显示出清晰的性能演进过程：

仅使用合成数据： 实现了具有竞争力的 Frame F1 (51.3)，但 Multi F1 (15.2) 和 Onset F1 (26.1) 较低，证实了领域差距的存在。
合成 + 真实数据 ( $D_{Synth} + D_{Real}$ )： 在真实数据上进行微调带来了巨大的提升，将 Multi F1 提高到 41.7，并将 Onset F1 提高到 54.4。
完整流水线 ( $D_{Synth} + D_{Real} + D_{RL}$ )： 加入 RL 后训练进一步提升了性能，实现了 47.8 的 Multi F1 和 60.4 的 Onset F1（当 $\alpha_{CFG}=2$ 时）。

4.2 对比分析

对比最先进技术（SOTA）： MuScriptor 在多个外部基准数据集（如 Bach10, Dagstuhl ChoirSet, RWC）上显著优于 YourMT3+ 基准模型（一个强大的 SOTA 模型）。例如，在 Dagstuhl ChoirSet 上，Frame F1 从 YourMT3+ 的 51.0 提升到了 MuScriptor 的 80.7。
合成预训练的影响： 分析表明，当真实数据有限时，预训练最为受益（例如，仅使用 1% 的 $D_{Real}$ 时，预训练将 Offset F1 从 9.9 提升至 33.4）。然而，随着真实数据量的增加，预训练的相对收益递减，尽管在 100% 数据使用量下仍能提供微弱优势。
模型缩放（Scaling）： 性能随模型规模增大而提升；60M 参数模型的 Frame F1 为 65.7，而 1.3B 模型达到 68.7，表明其在不同资源约束下均具有适用性。
输入表示： 梅尔频谱图的表现优于其他替代输入（如 Magnitude CQT、Encodec codec 和 MERT embedding），这表明更接近原始信号属性的表示对于该任务是最优的。

5. 重要性与主张

论文声称 MuScriptor 是首个有效的、适用于多种音乐流派的开源权重多乐器音乐转谱模型。

作者强调，尽管以往的方法依赖于架构改进（如层次化注意力、MoE），但 MuScriptor 的成功主要源于数据规模和类型——即大规模合成预训练、广泛的真实世界微调以及基于 RL 的对齐策略性的结合。该模型被定位为音乐家、音乐学家以及 MIR 和生成模型研究人员的基础工具，能够处理此前因缺乏复杂混音准确转谱工具而难以完成的任务。作者也谦虚地指出，在同一乐器重叠音符的标记化方面仍存在局限性，并建议未来的工作可以扩展乐器词汇表和片段长度。