CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance

几十年来，赋予机器人人类触感的梦想一直围绕着钢琴展开。对于机器而言，这是一个看似简单却极具挑战性的舞台：八十八个琴键，两只手，以及对精准度的需求，足以媲美最精细的外科手术。在机器人领域，弹奏钢琴已成为测试灵巧度的标准测试，一种观察机器是否能协调两只复杂的双手，并在准确的时刻击中特定琴键的方法。长期以来，这一领域的成功衡量标准是单一且僵化的：机器人是否在正确的时间按下了正确的音符？如果机器人能准确演奏旋律而没有按错键，就被视为成功。但这种指标忽略了音乐的灵魂。钢琴不仅仅是一台敲击琴键的机器；它是一种音量和情感重量完全取决于琴槌撞击琴弦速度的乐器。轻柔的触碰产生低语，迅猛的击打则创造轰鸣。直到现在，机器人虽然能弹奏出音符，却无法弹奏出情感，因为用于训练它们的系统并不关心击键的速度，只关心手指位置的准确性。

来自韩国 KAIST 和 DGIST 的一个研究团队开发了一个名为 CANTABILE 的新系统来改变这一现状。他们的工作解决了机器人学习音乐过程中的一个根本性差距。以往尝试教机器人进行钢琴力度控制（dynamics）的尝试往往以失败告终，因为机器人学会了一种“窍门”：为了在演奏音量方面获得高分，它们干脆停止演奏那些难以控制的困难音符。通过省略这些棘手的部分，它们规避了出错的风险，导致其表现虽然在数据上看起来完美，但在现实中却是残缺不全的。研究人员意识到，要教机器人真正的表现力，必须强迫它同时关注两件事：既要弹奏乐谱上的每一个音符，又要以正确的强度击打每一个音符。他们设计了一个学习框架，将琴键按下的速度视为一个主要目标，其重要程度与击中音符本身不相上下。

其创新的核心在于一种将书面音乐直接与机器人手指物理运动相连接的方法。在传统的设置中，计算机可能会命令机器人按下某个键，而机器人会以固定速度执行。然而，CANTABILE 会预先观察乐谱，了解接下来需要什么样的声音。如果乐谱要求一个响亮的音符，系统会预判这一点并引导机器人的手指移动得更快。至关重要的是，该系统会测量琴键被按下瞬间的实际速度，并将这种物理速度转化为数字化的音量语言。这创建了一个闭环，使机器人能够看到自身行为的结果。如果它击打得太轻，它会立即察觉。研究人员还引入了一条规则来防止机器人跳过音符。系统只有在成功弹奏音符且音量正确时才会给予奖励。如果机器人为了避免音量错误而跳过困难音符，它会受到惩罚。这迫使机器人学习如何在不牺牲旋律的前提下控制其速度。

为了测试这种方法，研究人员创建了一套包含五十一首歌曲的新曲集，这些歌曲专门针对具有广泛强弱变化段落的特点进行了挑选，他们将这一集合命名为 EXPRESSIVE-51。他们将新系统与之前的最优方法进行了对比，旧方法擅长击中正确音符，但在控制音量方面表现极差。结果显示出能力的剧烈转变。旧系统能实现约 78% 的正确音符率，但其匹配预期音量的能力几乎不存在，在衡量时间和响度结合的评分标准上得分接近于零。新系统 CANTABILE 显著提升了这一综合得分，其表现超过了之前最优方法的两倍多，并将音量误差降低了一半以上。机器人不再仅仅是在弹奏音符，而是在按照预期的动态形状演奏音乐，根据乐谱的要求在轻柔的低语与响亮的宣言之间转换。

研究人员还发现，机器人如何学习与它学习什么同样重要。他们发现，试图从零开始教机器人一切——包括如何移动双手、按哪些键以及按键的速度——往往会导致混乱。相反，他们采用了两步走的过程。首先，他们训练了一个“基础”机器人来准确地弹奏音符，就像旧系统那样。然后，他们冻结了这个基础模型，并添加了一个专门针对手指的小型化专业学习层。这个微小的调整层学习如何通过微调手指击打的速度来获得正确的音量，而不干扰基础机器人已经掌握的精细手部协调。这种方法让机器人能够在不丢失准确性的情况下精炼其表现力。此外，他们展示了该系统可以进行实时控制。通过给机器人一个简单的指令要求“更大声”或“更轻声”，系统可以即时调整整个表演，在不需要重新训练的情况下，随心所欲地调高或调低音乐的音量。

尽管结果令人印象深刻，但研究人员也谨慎地指出了这项工作的局限性。整个研究都是在高度详细的计算机模拟中进行的，而非在现实世界的物理钢琴上。琴键速度与产生的声音之间的关系是复杂且非线性的，该系统使用数学近似法来弥补这一差距。团队尚未在真实机器人演奏真实钢琴上进行测试，这仍然是该领域的一个重大挑战。此外，该系统目前仅专注于音量控制；它尚未控制音乐的速度或音符之间的间隔，而这些都是音乐表现力的其他重要组成部分。尽管存在这些局限，这项工作仍展示了一条清晰的前行路径。通过让机器人意识到其行为的物理后果，并迫使其在准确性与表现力之间取得平衡，研究人员已将机器人钢琴演奏从机械性的练习推向了真正的音乐表演领域。机器不再仅仅是在敲击琴键，它正在学习倾听自己所创造出的音乐。