Humanoid Musical Robots as Experimental Interfaces for Music-Evoked Emotion

长期以来，音乐一直被理解为一种情感的语言，是人类彼此连接并触动自身情感的一种方式。几十年来，研究我们如何感受音乐的科学家们一直依赖于一种简单且受控的方法：通过扬声器或耳机播放一段录音，然后询问人们听后的感受。这种方法让我们对大脑如何处理声音有了深入的了解。然而，它基于一个隐含的假设，即声音本身就是故事的全部。在现实世界中，音乐很少仅仅是声音。它是一种全身心的体验，涉及表演者的视觉形象、呼吸的节奏、手的动作以及房间内共享的能量。当我们聆听现场表演时，我们不仅是在听音符；我们还在观察一个人类如何表达某种情感，而这种视觉和社会语境改变了我们感受音乐的方式。

这种实验室与现实世界之间的差距，正是由索尼计算机科学实验室（Sony Computer Science Laboratories）和早稻田大学的研究人员提出的一种新视角的关注焦点。他们认为，要真正理解音乐如何打动我们，我们需要一种能够研究整个表演过程的方法，而不仅仅是音频。挑战在于，人类表演者是不可预测的；没有两场音乐会是完全相同的，这使得很难分离出究竟是哪一个特定的动作或姿态引起了特定的情感反应。为了解决这个问题，研究人员建议使用音乐类人机器人，不仅将其作为娱乐者，更将其作为精确的实验工具。这些机器可以每次都以完全相同的声音和完全相同的动作来演奏音乐，这使得科学家可以微调一个微小的细节——比如转头的速度或呼吸的力量——并观察这一变化如何改变听众的情感反应。

这一提议的核心在于我们看待这些机器人的方式转变。作者认为，不应仅将这些机器人视为表演者，而应将其视为“实验接口”。可以将机器人想象成一台能够将抽象的音乐构思转化为可测量且可重复的物理动作的机器。虽然人类音乐家对于理解现场艺术的丰富性至关重要，但由于他们的表演变化太大，难以被用于测试特定的科学问题。然而，机器人可以被编程为以特定的音量、特定的时值以及伴随的特定肢体动作来演奏一个音符，然后再次完全一致地重复这一过程。这使得研究人员能够将声音与视觉、或者将动作与社会连接进行分离，而这在人类乐队中是不可能实现的。

为了证明这一想法在技术上的可行性，论文展示了一个名为“早稻田萨克斯手”（Waseda Saxophonist）的特定机器人案例研究，即 WAS-5。这是一个旨在演奏标准中音萨克斯管的人形机器人。它不是一个只会按按钮的简单机器；它模仿了人类演奏者的复杂生物特性。它使用气泵和阀门来控制气流，并拥有一个由柔性塑料制成的特殊嘴部机制，可以向八个不同方向移动以塑造声音，就像人类演奏者利用嘴唇和舌头一样。研究人员展示了该机器人能够极其精准地控制音乐的音量和音色。在测试中，它可以产生广泛的音量范围，从极轻到极响，在某些音符上的动态范围超过 24 分贝。这种控制水平至关重要，因为这意味着机器人可以创造出人类用来表达悲伤、喜悦或紧张感的细微声音变化，并且能够反复进行而不产生偏差。

除了演奏音符之外，WAS-5 机器人还测试了其与人类听众进行互动的能力。在一项实验中，参与者被要求跟随机器人演奏的节奏拍打脚尖。机器人被编程为以两种不同的方式运行：有时它会倾听人的动作并匹配其速度，有时则会占据主导地位，轻轻引导人加快或减慢节奏。结果表明，机器人可以成功地根据人的动作调整其音乐，也可以影响人的动作以匹配机器人的节奏。这证明了机器人可以进行“闭环”交互，即机器与人类在实时不断地相互反应。这是一个至关重要的步骤，因为它表明机器人可以被用于研究社会连接和同步如何影响我们的感受，而不仅仅是研究我们对录音的反应。

基于这些技术成就，作者概述了几种此前无法实现的研究音乐与情感的新方法。其中一个拟议的实验是让人们在帘幕后聆听机器人演奏，然后再在观看机器人演奏的同时聆听，以观察机器人的视觉存在如何在多大程度上改变情感体验。另一个想法是改变机器人的身体动作——例如它摇摆的幅度或眼睛移动的方式——同时保持音乐完全相同，以找出哪些特定的姿态让音乐感觉更有感染力。第三个方向是将一名听众置于两个其他机器人的观众席环境中，以观察群体的同步运动如何影响听众的信任感和参与感。这些实验旨在将复杂的音乐体验分解为各个组成部分：声音、视觉、动作和社交连接，以观察每一部分是如何贡献于情感体验的。

研究人员谨慎地指出，这种方法也有其局限性。他们承认机器人并不是人类的完美替代品；它们受到材料和传感器的限制，可能无法捕捉到人类表演中的每一个细微差别。此外，如果一个看起来太像人但动作略有不同的机器人可能会让某些人感到不安。此外，论文并不声称这些机器人已经证明了音乐如何激发情感；相反，它认为这些机器人提供了进行此类实验所需的必要工具。所呈现的工作是一项提议和可行性演示，表明这项技术已经存在，足以提出这些困难的问题。通过将这些机器作为精确、可重复的工具，科学家们希望超越录制音频的局限，最终理解音乐触动人类心灵的完整且具身化的本质。