YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

乐谱上的音乐是一组指令，是一张音符的地图，告诉钢琴家应该按下哪些键以及按多久。但地图并不等于疆域。两位钢琴家可以演奏完全相同的乐谱，却能产生截然不同的听感。一位可能以温柔、起伏的节奏和轻柔的触键来演奏，而另一位则可能以锐利、充满驱动力的能量来演奏。这种差异并非错误，而是音乐表现力的本质。这是人类将僵化的指令转化为充满生命力、能够传达情感、风格和结构的表演的能力。几十年来，科学家和工程师一直试图教会计算机完成同样的事情：观察一份乐谱并生成一段听起来像人类演奏、自然且富有感情的表演。挑战在于，对于一部作品并没有单一的“正确”演奏方式。一个仅仅计算所有可能表现形式平均值的计算机，往往会产生平淡且毫无生气的声音。要真正捕捉钢琴演奏的艺术，机器必须理解，一份乐谱可以容纳多种有效的、具有表现力的诠释。

来自伦敦玛丽女王大学和纽约大学的研究团队利用一个名为 YQX+ 的新框架解决了这个问题。他们并非仅仅构建一个生成音乐的系统，而是创建了一个标准化的测试场，用以观察不同类型的计算机模型在处理预测人类表现力任务时的表现。想象一场比赛，每位选手都从同一条起跑线出发，跑在同一条赛道上，并由相同的规则进行评判。在这项工作之前，不同的研究小组各自构建了独特的赛道，并使用不同的方式来衡量速度，导致无法判断哪位选手才是真正的最快者。YQX+ 的研究人员“修好了这条赛道”。他们定义了一套特定的音乐特征，要求每个模型都必须关注这些特征，例如音符的音高、其在乐句中的位置，以及乐谱上的标记（如“强”或“弱”）。他们还定义了一套特定的输出结果，即每个模型必须预测的内容：节拍的速度、击键的力量、时值的微小波动以及音符的持续时间。通过强制要求每个模型遵循相同的规则，该团队终于能够进行公平的比较。

该团队测试了各种各样的计算机模型，从旧的统计方法到现代复杂的神经网络。他们在数千首古典音乐作品上训练这些模型，在这些作品中，计算机既可以看到书面乐谱，也可以看到人类演奏的录音。目标是观察哪种模型能最好地猜测人类会做出怎样的表现力选择。结果显示，规模更大、功能更强大的模型——特别是某种基于树的学习系统和一种旨在学习隐藏模式的神经网络——表现最为出色。这些顶尖模型能够比以往的系统更准确地预测时值和动态变化。它们不仅仅是在猜测音符，更是捕捉到了让音乐焕发生机的节奏中那种微妙的推拉感。

然而，衡量计算机演奏水平是非常困难的。在原始数据方面，计算机可能非常接近人类的演奏，但在人类听众耳中听起来仍可能显得机械化。为了解决这个问题，研究人员引入了一个名为 PerformanceMOS 的新工具。这是一个数据驱动的估算器，一种经过训练的“数字裁判”，用于预测人类听众会对表演产生多少喜爱。它在一个包含大量由人类专家针对技巧、流畅度和表现力进行评分的钢琴演奏数据集上进行了训练。研究人员使用这个工具为他们的模型输出进行评分。结果发人深省：新框架下的最佳模型所取得的分数，足以与目前最先进的系统相媲美，在某些情况下甚至更优。

为了确保准确性，团队还邀请了四十名参与者进行了听力测试。这些听众既包括普通音乐爱好者，也包括资深演奏者，他们根据计算机生成的表演在零到一百的范围内进行评分。他们从自然度、节奏自由度和表现力三个维度进行评判。结果证实了计算机评分所呈现的情况。使用新框架的模型，尤其是基于树和神经网络的方法，其评价水平与现有的最佳系统一样高。它们听起来自然且具有音乐说服力。有趣的是，研究发现，仅仅增加模型的复杂度并不总能保证更好的听感；模型的训练方式以及赋予它们的特定特征同样重要。

研究人员还发现，虽然这些模型在预测单个音符的细节方面表现出色，但有时难以捕捉贯穿整部作品的宏大、宽广的节奏变化和情感起伏。这表明，尽管计算机在表现力的局部细节方面已经变得非常优秀，但更宏大的音乐叙事仍然是一个挑战。研究结论指出，YQX+ 为未来的工作提供了坚实的基础。它提供了一种清晰、公平的测试新想法的方法，以及一个可靠的工具 PerformanceMOS，用以估算人类对计算机生成音乐的反应。这项工作并不声称已经解开了音乐表现力的奥秘，但它制造了一台更好的显微镜，让我们得以观察其运作机制，使我们离那些真正能理解表演灵魂的机器又近了一步。