💬 NLP

BMdataset: A Musicologically Curated LilyPond Dataset

本文提出了由专家从巴洛克手稿转录的音乐学级 LilyPond 数据集 BMdataset，并基于此开发了专用模型 LilyBERT，证明了小规模高质量专家标注数据在符号音乐理解任务中比大规模噪声数据更为有效，且结合预训练与微调的策略能取得最佳性能。

原作者： Matteo Spanio, Ilay Guler, Antonio Rodà

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Matteo Spanio, Ilay Guler, Antonio Rodà

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“教 AI 读懂乐谱”的有趣故事。为了让你更容易理解，我们可以把这项研究想象成“教一个外国小孩学习中文书法”**的过程。

1. 背景：为什么我们需要新的“教材”？

以前，研究人员教 AI 认识音乐，主要靠MIDI格式。

MIDI 就像“简谱”或“录音”：它能告诉 AI 哪个音符在什么时候响，声音多大。但它丢失了很多细节，比如乐谱上漂亮的排版、具体的演奏记号（比如哪里要轻弹，哪里要重音），以及乐章之间的结构关系。
LilyPond 就像“书法原文”：这是一种用纯文本写的乐谱语言。它不仅包含音符，还像写代码一样，包含了如何排版、用什么字体、如何分章等所有细节。它既给人看，也给人读（像代码一样）。

问题在于：虽然 LilyPond 很完美，但以前没有专门针对它的高质量“教材”（数据集）来训练 AI。

2. 核心贡献一：BMdataset（一本由专家编写的“书法字帖”）

研究团队做了一个名为 BMdataset 的数据集。

来源：他们不是随便从网上抓数据，而是请了音乐学家，直接对照几百年前的巴洛克时期（如巴赫、维瓦尔第时代）的手稿，一笔一划地转录成 LilyPond 格式。
比喻：这就好比不是让 AI 去读网上乱七八糟的“手写体复印件”，而是给它看由顶级书法家亲自临摹的真迹字帖。
规模：虽然只有 347 部作品（约 2600 个乐章），看起来不多，但每一首都经过严格校对， metadata（元数据）非常详细，比如作曲家是谁、是什么曲式、用了什么乐器等。

3. 核心贡献二：LilyBERT（一个懂“音乐代码”的 AI 大脑）

为了读懂这些乐谱，他们开发了一个叫 LilyBERT 的模型。

基础：它原本是一个叫 CodeBERT 的 AI，专门用来理解计算机代码（比如 Python、Java）。
为什么选它？ 因为 LilyPond 的写法很像编程代码（有命令、有变量、有嵌套结构）。
升级：研究人员给这个 AI 的“字典”里加了 115 个专门的音乐词汇（比如 \relative 表示相对音高，\clef 表示谱号）。
比喻：原本这个 AI 只懂“代码语言”，现在研究人员给它装了一个“音乐翻译插件”，让它能一眼认出 \trill（颤音）是一个完整的词，而不是把它拆成乱码。

4. 核心发现：少而精 > 多而杂

这是论文最精彩的“反转”部分。他们做了个实验，比较了两种训练方法：

方法 A（大杂烩）：用海量的、自动转换的乐谱数据（约 150 亿个词）来训练 AI。这就像让 AI 读了整个图书馆的书籍，但很多书是机器翻译的，可能有错别字，内容也很杂。
方法 B（精读班）：只用上面那个专家编写的 BMdataset（约 9000 万个词，只有 A 的 1/1600）来训练。这就像让 AI 只读一本由大师精心编写的教材。

结果令人惊讶：

在识别“这是谁写的曲子”（作曲家分类）和“这是什么风格”（风格分类）的任务上，只读“精读班”教材（BMdataset）的 AI，竟然比读了“整个图书馆”（大杂烩数据）的 AI 表现更好！
结论：对于音乐理解来说，高质量、专家校对的小数据，比低质量、自动生成的海量数据更有用。就像学书法，临摹一本大师真迹，比看一万本印刷模糊的复印品进步更快。

5. 终极方案：先博后专

虽然“精读班”很厉害，但最好的方法是**“先博后专”**：

先让 AI 读那个“大图书馆”（PDMX 数据集），让它对乐谱格式有个大概的了解（通识教育）。
再让它精读“专家字帖”（BMdataset），专门学习巴洛克音乐的细腻风格（专业深造）。

比喻：这就像先让一个学生广泛阅读各种文章（建立语感），然后再让他专门研读《红楼梦》（精通特定风格）。这样出来的学生，既懂行，又专业，最终达到了 84.3% 的作曲家识别准确率。

总结

这篇论文告诉我们：

数据质量很重要：在 AI 领域，有时候“少而精”的专家数据，比“多而杂”的自动数据更值钱。
跨界融合很有效：把“代码 AI"（CodeBERT）用来处理“音乐文本”（LilyPond），效果出奇的好。
未来可期：他们把数据集、模型和工具都公开了，就像把这套“书法教材”和“学习方法”免费分享给了全世界，让未来的 AI 能更好地理解和创作音乐。

简单来说，他们做了一本**“音乐界的《新华字典》”，并证明读好这本字典，比读一堆乱码书更有用**。

BMdataset 与 LilyBERT：基于音乐学策展的 LilyPond 符号音乐数据集与表示学习研究

1. 研究背景与问题 (Problem)

符号音乐研究的局限性：目前的符号音乐（Symbolic Music）研究几乎完全依赖基于 MIDI 的数据集（如 Lakh MIDI, PDMX）。MIDI 格式虽然紧凑且广泛支持，但丢失了乐谱中大量的记谱信息（如排版指令、乐句边界、多乐章作品的层级结构等）。
LilyPond 的未被开发潜力：LilyPond 是一种广泛使用的开源音乐排版系统，其基于文本的标记语言（.ly 文件）既包含音乐内容又包含排版结构，具有人类可读、版本可控的特点，且语法结构类似编程语言（嵌套块、命令、变量等）。然而，目前缺乏针对 LilyPond 的、经过音乐学策展的大规模数据集，也缺乏专门针对其表示学习的预训练模型。
现有资源的不足：虽然 Mutopia 项目提供了一些 LilyPond 乐谱，但缺乏结构化的元数据，且未用于表示学习。现有的基于 ABC 记谱法或 MusicXML 的研究无法完全覆盖 LilyPond 丰富的结构表达能力。

2. 方法论 (Methodology)

本文提出了一套完整的数据集构建与模型训练流程，主要包含以下核心部分：

2.1 BMdataset 数据集构建

来源：数据源自 BaroqueMusic.it，由音乐学家直接从原始巴洛克手稿转录而成，而非社区众包或自动转换。
规模与结构：包含 347 个可编译的 LilyPond 项目，共计 2,646 个乐章（movements），约 9000 万 tokens。
元数据：每个文件均带有结构化 JSON 元数据，涵盖作曲家（71 位）、音乐形式（16 种）、乐器编制、调性、速度、拍号及历史时期（早期/盛期/晚期巴洛克及过渡古典）。
处理流程：
1. 解析项目头文件以提取依赖顺序。
2. 将乐章文件与总谱文件拼接为自包含文件。
3. 使用 LilyPond 编译器验证，剔除语法错误文件（最终保留 347 个）。
4. 将意大利语音高标记统一转换为 LilyPond 的 nederlands 音高语言，以确保与 PDMX 和 Mutopia 数据集的一致性。
验证：通过对比解析后的音符数量与编译生成的 PostScript 中的音符头数量，验证了 95.7% 的文件实现了 1:1 的精确匹配。

2.2 分词器设计 (Tokenizer)

挑战：标准的 BPE 分词器会将具有强语义的 LilyPond 命令（如 \relative, \clef）拆分为无意义的子词（subwords）。
解决方案：在 CodeBERT 的词汇表（50,265 个 token）基础上，扩展了 115 个 LilyPond 专用 token。
- 包括：音乐命令（\time, \key 等）、力度记号、结构块、装饰音、调式及属性覆盖指令。
- 这些专用 token 在分词时被视为不可分割的原子单元，保留了音乐语义的完整性。

2.3 模型架构与训练 (LilyBERT)

基座模型：基于 CodeBERT（RoBERTa 架构，12 层 Transformer，1.25 亿参数）。选择 CodeBERT 是因为 LilyPond 的语法结构（嵌套块、宏定义、变量绑定）与编程语言高度相似。
训练策略：采用两阶段训练法：
1. 连续预训练 (Continuous Pre-training)：在约 150 亿 tokens 的 PDMX-LilyPond 数据集（由 MusicXML 自动转换而来）上进行 1 个 Epoch 的掩码语言模型（MLM）预训练。
2. 领域微调 (Domain-specific Fine-tuning)：在 9000 万 tokens 的 BMdataset 上进行 10 个 Epoch 的微调。
超参数：Batch size 288，学习率 $2 \times 10^{-4}$ ，最大序列长度 512。

3. 关键贡献 (Key Contributions)

BMdataset：首个经过音乐学策展的、基于原始手稿转录的 LilyPond 原生数据集，提供了丰富的结构化元数据，填补了该领域的空白。
专用分词器：扩展了 CodeBERT 词汇表，确保音乐语义命令作为原子单元处理，解决了通用分词器在符号音乐上的语义破碎问题。
LilyBERT 模型：首个针对 LilyPond 表示学习的 CodeBERT 适配模型，证明了代码预训练模型在结构化音乐语言上的有效性。
系统性评估：在 Mutopia 数据集（域外数据）上进行了线性探测（Linear Probing），系统评估了数据源、数据规模和领域微调对下游任务（作曲家分类、风格分类）的影响。

4. 实验结果 (Results)

实验在 Mutopia 数据集上进行了作曲家（30 类）和风格（10 类）的分类任务，主要发现如下：

小数据策展优于大数据噪声：
- 仅在 BMdataset（90M tokens，专家策展）上微调的模型，其表现优于在完整 PDMX 数据集（15B tokens，自动转换）上连续预训练的模型。
- 作曲家分类：BMdataset 微调模型准确率为 82.9%，优于 PDMX 全量预训练模型的 80.8%。
- 风格分类：BMdataset 微调模型准确率为 83.7%，优于 PDMX 全量模型的 82.6%。
- 结论：对于需要细粒度音乐判别的任务，专家策展的数据质量和风格一致性比单纯的数据规模更重要。
两阶段训练的互补性：
- 结合“大规模预训练（PDMX）+ 领域微调（BMdataset）”的两阶段策略（CB + PDMX → BM）取得了最佳整体效果。
- 作曲家分类准确率达到 84.3%（最高）。
- 这表明：大规模数据建立了通用的 LilyPond 语法理解能力，而领域微调则增强了模型对特定风格特征的敏感度。
表示空间分析：
- t-SNE 可视化显示，模型学习到的嵌入空间能够清晰地将不同风格（巴洛克、古典、浪漫）聚类，并在风格内部进一步区分作曲家。
- 错误分析表明，误分类主要发生在风格相近的作曲家之间（如海顿与莫扎特），说明模型捕捉到了真实的音乐相似性，而非随机噪声。
- 层级分析：作曲家信息在中间层（6-9 层）捕获效果最好，而风格特征在浅层（3-6 层）表现最强。

5. 意义与影响 (Significance)

范式转变：证明了在符号音乐理解任务中，高质量、小规模的专家策展数据集可以比大规模、自动生成的嘈杂数据集更有效。
新基准建立：为 LilyPond 的表示学习提供了首个基准（Dataset, Tokenizer, Model），推动了从 MIDI 向更丰富的文本化乐谱格式（如 LilyPond）的研究转移。
应用前景：由于 LilyPond 兼具乐谱排版和编程语言特性，该研究成果可应用于乐谱语法检查（Linting）、风格感知自动补全、混合主动编辑等实际任务。
开源贡献：所有资源（代码、模型权重、数据集）均已开源，促进了可复现性和后续研究。

局限性：当前数据集在作曲家分布上存在偏差（维瓦尔第占比 30.5%），且主要集中于晚期巴洛克和弦乐器。未来的工作将扩展至更多时期和来源，并探索基于 AST 或图结构的编码器以利用 LilyPond 的语法树信息。