Humanoid Musical Robots as Experimental Interfaces for Music-Evoked Emotion

음악은 오랫동안 감정의 언어, 즉 인간이 서로 연결되고 자신의 감정을 움직이는 방법으로 이해되어 왔습니다. 수십 년 동안 음악을 어떻게 느끼는지 연구하는 과학자들은 단순하고 통제된 방식, 즉 녹음된 음원을 스피커나 헤드폰으로 재생하고 사람들이 그것에 대해 어떻게 느끼는지 묻는 방식에 의존해 왔습니다. 이러한 접근 방식은 우리의 뇌가 소리를 어떻게 처리하는지에 대해 많은 것을 가르쳐 주었습니다. 그러나 이는 소리 그 자체가 이야기의 전부라는 조용한 가정을 전제로 합니다. 현실 세계에서 음악은 결코 소리뿐만이 아닙니다. 음악은 연주자의 모습, 그들의 호흡 리듬, 손의 움직임, 그리고 공간의 공유된 에너지와 함께하는 전신 경험입니다. 우리가 라이브 공연을 들을 때, 우리는 단순히 음표를 듣는 것이 아니라, 한 인간이 무언가를 표현하는 모습을 지켜보는 것이며, 이러한 시각적이고 사회적인 맥락은 우리가 음악을 느끼는 방식을 변화시킵니다.

연구실과 현실 세계 사이의 이러한 간극은 소니 컴퓨터 사이언스 랩(Sony Computer Science Laboratories)과 와세다 대학교 연구진이 제안한 새로운 관점의 초점입니다. 그들은 음악이 우리를 어떻게 움직이는지 진정으로 이해하려면, 단순히 오디오만을 연구하는 것이 아니라 전체 공연을 연구할 수 있는 방법이 필요하다고 제안합니다. 문제는 인간 연주자는 예측 불가능하다는 점입니다. 두 번의 콘서트가 똑같이 진행되는 경우는 없기에, 어떤 특정한 움직임이나 몸짓이 특정한 정서적 반응을 일으키는지 분리해 내기가 어렵습니다. 이를 해결하기 위해 연구진은 음악적 휴머노이드 로봇을 단순한 엔터테이너가 아닌 정밀한 실험 도구로 사용할 것을 제안합니다. 이 기계들은 매번 똑같은 소리와 똑같은 움직임으로 음악을 연주할 수 있어, 과학자들이 머리의 회전 속도나 호흡의 강도와 같은 아주 작은 세부 사항을 미세하게 조정하며, 그 변화가 청취자의 정서적 반응을 어떻게 바꾸는지 정확히 관찰할 수 있게 해줍니다.

이 제안의 핵심은 이 로봇들을 바라보는 관점의 변화에 있습니다. 저자들은 이 로봇들을 단순한 공연자로 보는 대신, "실험적 인터페이스"로 사용해야 한다고 주장합니다. 로봇을 추상적인 음악적 아이디어를 측정 가능하고 반복 가능한 물리적 행동으로 변환하는 기계라고 생각하십시오. 인간 음악가는 라이브 예술의 풍부함을 이해하는 데 필수적이지만, 그들의 공연은 변수가 너무 많아 특정 과학적 질문을 테스트하기에는 용이하지 않습니다. 반면 로봇은 특정 볼륨, 특정 타이밍, 그리고 그에 수반되는 특정 신체 움직임으로 음을 연주하도록 프로그래밍될 수 있으며, 이를 똑같은 방식으로 반복할 수 있습니다. 이를 통해 연구자들은 음악을 소리와 시각으로, 혹은 움직임과 사회적 연결로 분리하여, 인간 밴드로는 불가능한 방식으로 연구할 수 있습니다.

이 아이디어가 기술적으로 가능하다는 것을 증명하기 위해, 논문은 WAS-5라고 알려진 특정 로봇인 '와세다 색소폰 연주자(Waseda Saxophonist)'의 사례 연구를 제시합니다. 이 휴머노이드 로봇은 표준 알토 색소폰을 연주하도록 설계되었습니다. 이것은 단순히 버튼을 누르는 단순한 기계가 아니라, 인간 연주자의 복잡한 생물학적 구조를 모방합니다. 공기 펌프와 밸브를 사용하여 공기의 흐름을 제어하며, 유연한 플라스틱으로 만들어진 특수 구강 구조를 가지고 있어 인간 연주자가 입술과 혀를 사용하는 것처럼 여덟 가지 방향으로 움직이며 소리의 형태를 만들 수 있습니다. 연구진은 이 로봇이 매우 정밀하게 음악의 볼륨과 음색을 제어할 수 있음을 보여주었습니다. 테스트 결과, 이 로봇은 특정 음에 대해 24데시벨 이상의 다이내믹 레인지를 가지며 매우 작은 소리부터 매우 큰 소리까지 넓은 범위의 음량을 생성할 수 있었습니다. 이러한 수준의 제어 능력은 매우 중요한데, 이는 로봇이 슬픔, 기쁨 또는 긴장감을 표현하기 위해 인간이 사용하는 미묘한 소리의 변화를 만들어낼 수 있고, 이를 변함없이 반복할 수 있음을 의미하기 때문입니다.

단순히 음을 연주하는 것을 넘어, WAS-5 로봇은 인간 청취자와 상호작용하는 능력에 대해서도 테스트를 받았습니다. 한 실험에서 참가자들은 로봇이 연주하는 리듬에 맞춰 발을 구르도록 요청받았습니다. 로봇은 두 가지 방식으로 작동하도록 프로그래밍되었습니다. 때로는 사람의 움직임을 듣고 그 속도에 맞추기도 했고, 다른 때에는 주도권을 잡고 사람이 더 빠르게 혹은 더 느리게 발을 구르도록 부드럽게 유도하기도 했습니다. 결과는 로봇이 사람의 움직임에 음악을 적응시킬 수 있으며, 또한 사람의 움직임이 로봇의 리듬에 맞추도록 영향을 미칠 수 있음을 보여주었습니다. 이는 로봇이 인간과 기계가 실시간으로 서로 반응하는 "폐쇄 루프(closed-loop)" 상호작용을 수행할 수 있음을 입증했습니다. 이는 로봇이 단순히 녹음된 소리에 어떻게 반응하는지를 넘어, 사회적 연결과 동기화가 우리의 감정에 어떻게 영향을 미치는지 연구하는 데 필수적인 단계입니다.

이러-기술적 성취를 바탕으로, 저자들은 이전에는 불가능했던 음악과 감정을 연구하는 몇 가지 새로운 방법을 개설합니다. 한 가지 제안된 실험은 사람들이 커튼 뒤에 숨어서 로봇의 연주를 듣게 한 뒤, 다시 로봇을 직접 보면서 연주를 듣게 하여, 로봇의 시각적 존재가 정서적 경험을 얼마나 변화시키는지 묻는 것입니다. 또 다른 아이디어는 음악은 똑같이 유지하면서 로봇의 몸동작(예를 들어 몸을 얼마나 흔드는지 또는 눈을 어떻게 움직이는지)을 변화시켜, 어떤 특정한 몸짓이 음악을 더 감정적으로 만드는지 찾아내는 것입니다. 세 번째 방향은 청중 설정에서 두 대의 로봇 사이에 청취자를 배치하여, 집단의 동기화된 움직임이 청취자의 신뢰와 몰입감에 어떤 영향을 미치는지 살펴보는 것입니다. 이러한 실험들은 음악이라는 복잡한 경험을 소리, 시각, 움직임, 사회적 연결이라는 개별 요소로 분해하여, 각 요소가 감정을 형성하는 데 어떻게 기여하는지 파헤치는 것을 목표로 합니다.

연구진은 이 접근 방식에 한계가 있음을 주의 깊게 명시하고 있습니다. 그들은 로봇이 인간을 완벽하게 대체할 수 없다는 점을 인정합니다. 로봇은 재료와 센서에 의해 제약을 받으며, 인간의 연주가 가진 모든 미묘한 차이를 포착하지 못할 수도 있습니다. 또한, 인간과 너무 닮았지만 움직임이 약간 다른 로봇이 어떤 사람들에게는 불쾌감을 줄 위험도 있습니다. 더욱이, 이 논문은 이 로봇들이 이미 음악이 어떻게 감정을 불러일으키는지 증명했다고 주장하는 것이 아니라, 이러한 실험을 제대로 수행하기 위한 필요한 도구를 제공한다는 것을 주장합니다. 제시된 작업은 하나의 제안이자 타당성 입증이며, 기술이 이러한 어려운 질문들을 던질 수 있는 준비가 되어 있음을 보여줍니다. 이 기계들을 정밀하고 반복 가능한 도구로 사용함으로써, 과학자들은 녹음된 오디오의 한계를 넘어 음악이 인간의 마음을 울리는 온전하고 체화된(embodied) 본질을 마침내 이해하기를 희망합니다.