Learning to Predict Performance-induced Emotion Differences in Classical Piano Music

将音乐想象成一种巨大的、无形的语言，直接与我们的情感对话。几十年来，研究计算机如何理解音乐的科学家们（这个领域被称为音乐信息检索）一直试图教会机器去“感受”一首歌的主题。通常情况下，他们观察的是乐谱本身——音符、速度，以及歌曲是处于欢快的自然大调还是忧郁的小调。这就像是在从未见过演员的情况下，仅仅通过阅读剧本来猜测一个人的心情。但我们都知道，同一个剧本可以有百种不同的演绎方式：一位演员可能会用令人心碎的哀伤低声细语，而另一位则可能用愤怒的力量大声疾呼。你即将阅读的这篇论文深入探讨了这个特定的谜团：计算机能否学会识别音乐家演奏方式中那些微小的、无形的差异，并利用这些差异来预测音乐会带给我们的感受？

研究人员决定不再关注“剧本”（作曲），而是将目光完全转向“演员”（演奏者）。他们收集了同一组由 J.S. 巴赫创作的古典钢琴曲的六个著名录音，由六位世界级的钢琴家演奏。由于乐谱是完全相同的，任何关于音乐感受的差异必然源于钢琴家独特的触键方式——他们的速度、力度以及连接音符的方式。团队构建了一个特殊的“情感解码器”，它忽略了音符本身，只关注这些演奏技巧。他们发现，虽然仅凭听觉很难让计算机猜出一段音乐的“确切”情感，但它在预测不同演奏版本之间的差异方面表现得非常出色。换句话说，计算机可能不知道一首歌是否“悲伤”，但它可以可靠地告诉你，钢琴家 A 的版本比钢琴家 B 的版本“更有活力且没那么忧郁”。

“情感解码器”的故事

把一段古典钢琴曲想象成一个蛋糕的食谱。食谱（乐谱）准确地告诉你要用多少面粉、糖和鸡蛋。但想象两个不同的烘焙师在制作完全相同的蛋糕。一个烘焙师可能会烤得稍久一点，使蛋糕变得更干、更脆；另一个可能会更用力地搅拌面糊，使蛋糕变得更蓬松。即使食材相同，最终的味道也是不同的。在音乐的世界里，这些“烘焙技巧”被称为演奏细微差别（performance nuances）。它们包括演奏音符时稍早或稍晚（时值/节奏）、敲击琴键的力量大小（力度）以及按住音符的时间长短（发音/连奏）。

长期以来，试图理解音乐情感的计算机就像是只看配料表的食品评论家。他们知道含有大量糖分的食谱通常是甜的，但他们无法解释为什么一个烘焙师做的蛋糕听起来很“愤怒”，而另一个的却很“喜悦”，尽管他们使用了同样的糖。这项由 Joann Ching 和 Gerhard Widmer 领导的研究提出了一个大胆的问题：如果我们完全忽略食材，转而只研究烘焙师的双手，会发生什么？

为了实现这一点，研究人员使用了一个名为 CP-WTC 的数据集，其中包含了巴赫《平均律钢琴曲集》（第一册）的录音。这个收藏是此类研究的金矿，因为巴赫在谱面上并没有写下太多关于如何演奏的具体指令。他留下了宽广的“烘焙说明”空间，让六位著名的钢琴家——格伦·古尔德（Glenn Gould）、弗里德里希·古尔达（Friedrich Gulda）、安吉拉·休伊特（Angela Hewitt）、斯维亚托斯拉夫·里赫特（Sviatoslav Richter）、安德拉斯·席夫（András Schiff）和罗莎琳·图雷克（Rosalyn Tureck）——能为这 48 首作品注入各自独特的风格。

团队创建了一个名为 Performance Codec（演奏编解码器） 的特殊工具。可以将它想象成一个高科技翻译器，它倾听音频录音，并将钢琴家的物理动作转化为每个音符的四个简单数字：

1. 节拍周期（Beat Period）： 与书面谱相比，钢琴家演奏的速度快慢。
2. 速度/力度（Velocity）： 他们敲击琴键的力量大小（这控制着响度）。
3. 时值/时机（Timing）： 他们是在演奏音符时稍微提前还是稍微滞后。
4. 发音/连奏（Articulation）： 他们按住音符的时间与书面标注的时间相比有多长。

至关重要的是，这个工具丢弃了所有关于正在演奏“什么”音符的信息。它只关心音符是“如何”被演奏的。这确保了计算机不会依赖于小调带来的“悲伤感”；它必须纯粹从演奏风格中推导出情感。

挑战：“平均值”问题

研究人员首先尝试教计算机使用这四个数字来猜测一段演奏的精确情感。他们问计算机：“这段演奏是快乐的还是悲伤的？是平静的还是激昂的？”他们使用两个维度进行测量：效价（Valence）（情感的正向或负向程度）和 唤醒度（Arousal）（情感的平静或能量程度）。

结果有些令人失望。计算机在猜测“确切”情感方面遇到了困难。这就像仅仅通过观察一个人的外套来猜测房间的温度一样；你可能会有一个大致的概念，但偏差会很大。计算机往往会低估演奏的表现力。它似乎如果没有知道实际的音符（“食谱”），就无法正确锚定情感。

然而，研究人员有一个精彩的“B计划”。他们不再问“确切的情感是什么？”，而是问“这段演奏与平均水平相比有何不同？”

他们发明了一个新的框架，称为 Delta-VA。想象一个假设的“平均”演奏版本，就像是一个由机器人演奏的平淡、乏味的无聊版本。Delta-VA 模型并不试图猜测真实演奏在情感地图上的具体位置。相反，它计算从那个“机器人平均值”到“真实人类演奏”之间的向量（vector）（即方向和距离）。

这就像是在给路标指引方向。与其说“宝藏位于坐标 45, 90”（如果你不知道地图的起点，这很难猜），不如说“从中心点向北走 5 步，向东走 3 步”。即使计算机不擅长猜起点，它也非常擅长描述寻找宝藏所需的“方向”。

结果：找准方向

当他们测试这种新的“Delta-VA”方法时，结果非常引人入胜。该模型在预测演奏之间的“差异”方面变得更加出色。

• 方向（The Direction）： 模型在确定方向方面极其准确。如果钢琴家 A 的版本比钢琴家 B 的版本更有活力，模型就会指向正确的方向。事实上，当他们对比成对的演奏时，模型的预测差异与事实几乎完美对齐，平均误差仅为约 8.4 度（0 度代表完美）。
• 量级（The Magnitude）： 然而，模型在描述差异的“大小”方面显得有些羞涩。它倾向于说“是的，这个演奏更有活力”，但它不会说“有多大的活力”。它压缩了数值，使巨大的差异看起来变小了。其“量级比率（Magnitude Ratio）”约为 0.48，这意味着模型预测的差异大约只有实际差异的一半左右。

为了直观理解，想象两位钢琴家在演奏同一首曲子。一位演奏得火热而富有戏剧性，另一位则演奏得温柔而慵懒。Delta-VA 模型正确地识别出，火热的那位比温柔的那位“更积极、更有能量”。但是，虽然真实的差距可能很大，模型描述的却是一个中等规模的差距。它抓住了情感的“方向”，但低估了“强度”。

为什么这很重要

这项研究表明，虽然计算机可能还没准备好取代需要描述歌曲精确情绪的人类乐评人，但它们在比较演奏版本方面正变得越来越擅长。这对于音乐推荐系统等领域来说是巨大的进步。

想象一下，你正在听一段巴赫的录音，你心想：“我喜欢这个，但我希望它听起来没那么忧郁，能再欢快一点。”在过去，计算机可能会直接推荐另一首完全不同的歌。但有了像 Delta-VA 这样的模型，计算机可以查看它的录音库并说：“这是同一首曲子的另一个钢琴家演奏的版本，它比刚才那个稍微更欢快一些，也没那么忧郁。”

研究人员证实，这些演奏特征（时值、力度等）确实在不同的音乐家之间存在有意义的变化。它们不是随机的噪音；它们携带了关于音乐感受的真实信号。通过专注于“差异”而非“绝对值”，团队找到了一种方法，让计算机能够领略音乐诠释中那种微妙的人文艺术。

最终，这篇论文并不是声称已经解开了音乐情感的谜团。相反，它提供了一种更具实用性的观察方式。它表明，如果我们希望计算机理解演奏如何改变一首歌的感觉，我们不应该要求它们从零开始猜测情感，而应该要求它们描述一次演奏是如何偏离常态的。这是一个视角的微调，但它让计算机能够以一种更接近人类的方式去理解音乐。