💻 computer science

Musical Score Understanding Benchmark: Evaluating Large Language Models' Comprehension of Complete Musical Scores

本文提出了名为 MSU-Bench 的人为构建基准，旨在通过涵盖巴赫、贝多芬等作曲家作品的 1800 个生成式问答对，从文本和视觉模态评估大语言模型及视觉语言模型对完整乐谱（包括音高、节奏、和声及结构）的理解能力，并揭示了现有模型在模态差异和多层次推理方面的显著挑战。

原作者： Congren Dai, Yue Yang, Krinos Li, Huichi Zhou, Shijie Liang, Bo Zhang, Enyang Liu, Ge Jin, Hongran An, Haosen Zhang, Peiyuan Jing, Kinhei Lee, Z henxuan Zhang, Xiaobing Li, Maosong Sun

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Congren Dai, Yue Yang, Krinos Li, Huichi Zhou, Shijie Liang, Bo Zhang, Enyang Liu, Ge Jin, Hongran An, Haosen Zhang, Peiyuan Jing, Kinhei Lee, Z henxuan Zhang, Xiaobing Li, Maosong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的超级人工智能（AI）进行一场**“音乐乐理期末考试”**，看看它们到底能不能真正读懂一张完整的乐谱。

想象一下，现在的 AI 就像是一个读过万卷书、背过无数歌词的“超级学霸”。你问它“贝多芬是谁？”或者“什么是大调？”，它都能对答如流。但是，如果你把一张完整的、复杂的交响乐总谱（就像一张画满了密密麻麻音符、线条和符号的“天书”）扔给它，问它：“第 7 小节的第 3 个音是什么？这段音乐的和声走向是怎样的？”，它可能会开始**“胡编乱造”**。

这篇论文就是为了解决这个问题而诞生的。

1. 核心挑战：AI 的“乐谱近视眼”和“幻觉症”

作者发现，目前的 AI 在处理乐谱时有两个大毛病：

定位困难（乐谱近视眼）： 乐谱是由很多“小节”组成的。AI 经常搞不清“第 7 小节”到底在哪里。就像你让一个人找书里的第 7 页，他却翻到了第 17 页，然后指着上面的字说“这就是第 7 页的内容”。
幻觉（胡编乱造）： 因为定位错了，或者根本看不懂，AI 就会开始“编故事”。比如乐谱上明明写的是“连奏”（smooth），它却说是“断奏”（staccato），而且说得头头是道，仿佛它真的看到了。

2. 解决方案：MSU-Bench（乐谱理解大考）

为了测试 AI 到底行不行，作者们设计了一个名为 MSU-Bench 的考试系统。

题库来源： 就像音乐学院的期末考试题，题目来自巴赫、贝多芬、肖邦等大师的经典作品（共 150 首）。
难度分级（像游戏闯关）：
- 第 1 关（入门）： 问基本信息。比如“这首曲子是谁写的？”“速度是多少？”（就像看封面和目录）。
- 第 2 关（进阶）： 问局部细节。比如“第 5 小节最低的那个音是什么？”“这里有没有升降号？”（就像找具体的段落）。
- 第 3 关（高手）： 问和声结构。比如“这里是不是 G 小调和弦？”“和弦是怎么连接的？”（就像分析句子的语法结构）。
- 第 4 关（大师）： 问整体风格。比如“这首曲子的主题旋律在哪里出现的？”“整体是什么织体？”（就像分析整篇文章的中心思想和结构）。
两种考试形式：
- 文本版（ABC 记谱法）： 把乐谱变成像代码一样的文字。这就像给 AI 看乐谱的“翻译版”，它读起来很顺畅，不容易出错。
- 图片版（PDF）： 直接给 AI 看乐谱的原始图片。这就像让 AI 直接看“天书”，难度极大。

3. 考试结果：AI 的表现如何？

作者找了 15 多个最厉害的 AI 模型来参加考试，结果发现：

文本版 vs. 图片版： 当 AI 看“翻译版”（文本）时，成绩还不错，能答对一半左右；但一旦让它直接看“原图”（图片），成绩就断崖式下跌，很多模型只能答对 20% 左右。这说明 AI 目前还不太擅长直接“看”懂乐谱图片。
越往后越难： 在第 1 关（找基本信息）时，AI 还能混个及格；到了第 3、4 关（分析和声、结构），很多 AI 就彻底“晕”了，正确率极低。
训练有用： 如果给这些 AI 专门做一下“特训”（微调），它们的成绩会提高不少，而且不会忘记原本学到的其他知识（比如不会忘了怎么聊天）。

4. 一个有趣的发现：一起问比分开问好

作者还发现了一个小窍门：如果你把关于同一首曲子的 12 个问题一次性打包问 AI，它的表现比一个一个分开问要好。

这就像你让一个学生做一套试卷，他可能因为上下文连贯，能利用前面的答案辅助后面的思考；但如果把题目拆散了，他可能做着做着就忘了前面的线索。

5. 总结与意义

这篇论文就像给 AI 音乐领域立了一块**“里程碑”**。

它告诉我们： 现在的 AI 虽然很聪明，但在理解复杂的、完整的音乐乐谱方面，还像个**“刚入门的实习生”**，特别是看图能力很弱，容易“睁眼说瞎话”。
它提供了工具： 这个考试系统（MSU-Bench）就像一把尺子，未来可以用来衡量 AI 在音乐理解上到底进步了多少。
未来展望： 虽然现在的 AI 还不能完全替代人类音乐家去分析乐谱，但通过这种“文本 + 图片”结合的训练，它们正在慢慢学会如何更准确地“阅读”音乐。

一句话总结：
这就好比给 AI 发了一张**“乐谱阅读理解”的考卷，发现它们目前“读得懂文字，看不懂图片，且容易在细节上胡编乱造”**，但这个考试系统为未来训练出真正的“音乐 AI 大师”打下了坚实的基础。

这是一份关于论文《Musical Score Understanding Benchmark: Evaluating Large Language Models'Comprehension of Complete Musical Scores》（乐谱理解基准：评估大语言模型对完整乐谱的理解能力）的详细技术总结。

1. 研究背景与问题 (Problem)

尽管大语言模型（LLMs）和视觉 - 语言模型（VLMs）在自然语言处理方面表现出色，但它们在**完整音乐乐谱（Complete Musical Scores）**的理解和推理能力上仍存在显著不足。现有的研究主要存在以下局限性：

缺乏整体性推理： 现有基准通常局限于短片段、单旋律线或多项选择题，无法评估模型对完整乐谱（包含多声部、和声、曲式结构）的整体推理能力。
定位困难（Localization）： 模型在处理视觉乐谱（PDF）时，难以准确识别小节位置（Bar Position）。这是回答和声、织体或曲式等高层问题的前提。
幻觉问题（Hallucination）： 模型经常生成与乐谱实际内容不符的信息，尤其是在定位错误后，错误会进一步放大。
模态差距： 缺乏同时评估文本（符号化）和视觉（图像化）乐谱理解的统一基准。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 MSU-Bench（乐谱理解基准），并设计了相应的数据构建和评估流程。

2.1 基准构建 (Benchmark Design)

数据来源： 收集了 150 首完整的西方艺术音乐乐谱（来自 MuseScore），涵盖巴洛克至 20 世纪，包括巴赫、贝多芬、肖邦、德彪西等作曲家的作品。
多模态输入：
- 视觉模态 (Visual)： 使用乐谱的 PDF 图像。
- 文本模态 (Textual)： 将乐谱转换为 ABC 记谱法（一种基于文本的符号格式），作为结构化输入。
任务分级 (Four Levels)： 基准包含 1,800 个由人工精心策划的生成式问答（QA）对，分为四个难度递增的层级：
1. Level 1 (Onset Information)： 基础元数据（作曲家、标题、调号、拍号、速度、乐器等）。
2. Level 2 (Notation & Note)： 局部记谱细节（特定小节的音符、升降号、装饰音、力度、演奏记号等）。
3. Level 3 (Chord & Harmony)： 和声分析（和弦性质、功能、转位、终止式、调性变化等）。
4. Level 4 (Texture & Form)： 全局结构与织体（主题动机发展、曲式结构、伴奏类型、配器等）。
评估协议：
- 采用 "LLM-as-a-judge" 框架，结合 ChatGPT-5、Claude Sonnet 4 和 Gemini 2.5 Pro 进行多数投票，以评估生成答案的正确性，减少单一模型的偏差。
- 引入了 Level-wise Success Rate (LSR) 指标：只有当模型从 Level 1 到 Level $l$ 的所有问题都回答正确时，该乐谱才算在该层级成功。这比单纯的单题准确率更能反映模型的连贯推理能力。

2.2 实验设置

模型： 评估了超过 15 个最先进的模型（包括 Qwen 系列、Claude、Gemini、Grok 等），涵盖 LLM 和 VLM。
设置： 包括 Zero-shot（零样本）和 Fine-tuned（使用 LoRA 微调）两种设置。
数据划分： 150 首乐谱按 6:2:2 划分为训练集、验证集和测试集。

3. 关键贡献 (Key Contributions)

MSU-Bench 的提出： 首个针对完整乐谱理解的多模态基准，包含 1,800 个生成式 QA 对，覆盖了从基础记谱到高级曲式分析的四个层级。
多模态评估框架： 同时支持 ABC 记谱法（文本）和 PDF（视觉）输入，能够量化不同模态下的性能差异。
发现模态鸿沟与定位难题： 实验揭示了当前模型在视觉乐谱理解上的巨大缺陷，特别是在小节定位和防止幻觉方面。
微调的有效性验证： 证明了通过 LoRA 微调可以显著提升模型在两种模态下的表现，同时保持通用知识（在 MMLU 上未出现灾难性遗忘）。
推理策略洞察： 发现将同一乐谱的所有问题**批量（Batched）**输入模型，比逐个提问能获得更好的性能，表明模型能利用上下文进行层级推理。

4. 实验结果 (Results)

模态差距显著：
- 文本模态 (ABC)： 表现较好。最佳模型 Gemini 2.5 Pro 在 Zero-shot 下总体准确率达到 49.44%，Level 1 和 Level 2 表现尤为突出。
- 视觉模态 (PDF)： 表现较差。最佳模型 Claude Opus 4 的总体准确率仅为 24.22%。主要错误集中在小节定位错误和由此引发的幻觉。
层级性能衰减：
- 随着难度增加（Level 1 $\to$ Level 4），准确率显著下降。
- LSR 分析： 在 Zero-shot 设置下，文本模态在 Level 3 时 LSR 已降至 10% 以下，视觉模态在 Level 2 时几乎归零。这表明模型难以维持跨层级的连贯正确性。
微调带来的提升：
- 使用 LoRA 微调后，模型在文本和视觉模态上均取得了显著提升。
- 对于视觉模态，仅使用 ABC 输入进行微调的效果优于仅使用 PDF，说明 ABC 能有效减少视觉噪声干扰。
- 微调后的模型在 MMLU 基准测试中表现稳定，证明没有发生严重的灾难性遗忘。
批量提问优势： 将 12 个问题一次性输入模型（Batched），比逐个提问（Question-by-Question）能获得更高的总体准确率，特别是对于 Claude 和 Qwen 系列模型。

5. 意义与局限性 (Significance & Limitations)

意义：

推动音乐 AI 发展： 为评估大模型在复杂音乐推理任务上的能力提供了标准化的“试金石”。
指导模型优化： 揭示了当前 VLMs 在处理乐谱图像时的核心瓶颈（定位与幻觉），并证明了符号化表示（ABC）作为中间层的有效性。
教育应用潜力： 能够回答此类问题的模型有望成为音乐学生的智能助教，辅助乐理学习和乐谱分析。

局限性：

视觉理解尚未完全解决： 虽然 ABC 记谱法缓解了部分问题，但模型直接阅读原始乐谱图像（PDF）的能力仍然较弱，定位错误仍是主要障碍。
数据范围： 目前主要集中于西方艺术音乐（巴洛克至 20 世纪初），尚未涵盖非西方音乐、现代记谱法或更广泛的当代音乐风格。
计算成本： 某些高性能闭源模型（如 Gemini 2.5 Pro）的推理时间较长，限制了大规模评估的效率。

总结：
MSU-Bench 不仅揭示了当前多模态大模型在音乐乐谱理解上的巨大差距，还通过引入分层评估和微调实验，为未来构建具备真正音乐推理能力的 AI 系统奠定了坚实的基础。它表明，结合结构化符号表示（ABC）与视觉输入，并辅以针对性的微调，是提升模型乐谱理解能力的关键路径。