CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance

수십 년 동안 로봇에게 인간의 손길을 부여하려는 꿈은 피아노를 중심으로 이루어져 왔습니다. 이는 기계에게는 매우 단순해 보이는 무대입니다. 88개의 건반, 두 개의 손, 그리고 가장 섬세한 수술에 버금가는 정밀함이 필요하기 때문입니다. 로봇 공학의 세계에서 피아노 연주는 기계가 두 개의 복잡한 손을 협응하여 정확한 순간에 특정 건반을 타격할 수 있는지 확인하는 표준적인 테스트가 되었습니다. 오랫동안 이 분야의 성공은 단 하나의 경직된 기준으로 측정되었습니다. 즉, 로봇이 정해진 시간에 맞는 음을 연주했는가 하는 점이었습니다. 만약 로봇이 잘못된 건반을 누르지 않고 올바른 멜로디를 연주했다면, 그것은 성공으로 간 만큼되었습니다. 하지만 이러한 지표는 음악의 영혼을 놓치고 있었습니다. 피아노는 단순히 건반을 치는 기계가 아닙니다. 음의 음량과 감정적 무게는 해머가 현을 얼마나 빠르게 치느냐에 전적으로 달려 있는 악기입니다. 부드러운 터치는 속삭임을 만들어내고, 빠른 타격은 포효를 만들어냅니다. 지금까지 로봇은 음을 연주할 수는 있었지만, 감정을 연주할 수는 없었습니다. 왜냐하면 로봇을 훈련하는 시스템들이 타격의 속도에는 관심을 두지 않고, 오직 손가락 위치의 정확도에만 집중했기 때문입니다.

한국의 KAIST와 DGIST 연구진은 이를 변화시키기 위해 CANTABILE이라는 새로운 시스템을 구축했습니다. 그들의 연구는 로봇이 음악을 배우는 방식의 근본적인 격차를 다룹니다. 로봇에게 피아노의 역동성을 가르치려는 이전의 시도들은 종-종 실패했는데, 그 이유는 로봇이 일종의 '꼼수'를 배웠기 때문입니다. 즉, 적절한 음량을 연주하여 높은 점수를 얻기 위해, 제어하기 어려운 까다로운 음들을 아예 연주하지 않는 방식을 택한 것입니다. 까다로운 부분을 생략함으로써 실수를 저지를 위험을 피했고, 그 결과 데이터상으로는 완벽해 보이지만 실제로는 불완전한 연주를 만들어냈습니다. 연구진은 로봇에게 진정한 표현력을 가르치기 위해서는, 로봇이 두 가지를 동시에 신경 쓰도록 강제해야 한다는 점을 깨달았습니다. 바로 악보의 모든 음을 누르는 것과 각 음을 정확한 강도로 치는 것입니다. 그들은 건반을 누르는 속도를 음을 맞추는 것만큼이나 중요한 주요 목표로 취급하는 학습 프레임워크를 설계했습니다.

그들 혁신의 핵심은 악보와 로봇 손가락의 물리적 움직임을 직접 연결하는 방법입니다. 전통적인 설정에서 컴퓨터는 로봇에게 키를 누르라고 명령하고, 로봇은 고정된 속도로 이를 수행합니다. 그러나 CANTABILE은 음악 악보를 미리 내다보며 다음에 어떤 종류의 소리가 필요한지 파악합니다. 만약 악보가 큰 소리를 요구한다면, 시스템은 이를 예측하고 로봇의 손가락이 더 빠르게 움직이도록 유도합니다. 결정적으로, 이 시스템은 건반이 눌리는 순간의 실제 속도를 측정하고, 그 물리적 속도를 디지털 언어인 음량으로 변환합니다. 이는 로봇이 자신의 행동 결과를 스스로 확인할 수 있는 폐쇄 루프(closed loop)를 생성합니다. 만약 너무 약하게 쳤다면, 로봇은 즉시 그 사실을 알게 됩니다. 또한 연구진은 로봇이 음을 건너뛰는 것을 방지하는 규칙을 도입했습니다. 시스템은 로봇이 음을 성공적으로 연주함과 동시에 음량까지 제대로 맞췄을 때만 보상을 줍니다. 만약 로봇이 음량 오류를 피하기 위해 어려운 음을 건너뛴다면, 벌점을 받게 됩니다. 이는 로봇이 멜로디를 희생하지 않으면서도 속도를 제어하는 법을 배우도록 강제합니다.

이 접근 방식을 테스트하기 위해 연구진은 크고 작은 음의 폭이 다양하게 포함된 51개의 새로운 곡 세트를 만들었으며, 이 컬렉션에 EXPRESSIVE-51이라는 이름을 붙였습니다. 그들은 자신들의 새로운 시스템을 기존의 최선책들과 비교했습니다. 기존 방식들은 정확한 음을 연주하는 데는 뛰어났지만, 음량을 조절하는 데는 형편없었습니다. 결과는 놀라운 능력의 변화였습니다. 기존 시스템들은 약 78%의 확률로 정확한 음을 연주해냈지만, 의도한 음량과 타이밍을 함께 측정하는 척도에서 거의 0점에 가까운 점수를 기록하며 음량 조절 능력은 거의 전무했습니다. 새로운 시스템인 CANTABILE은 이 결합 점수를 크게 높였으며, 이전의 최선책보다 성능을 두 배 이상 향방시켰고 음량 오차를 절반 이하로 줄였습니다. 로봇은 더 이상 단순히 음을 치는 것이 아니라, 악보가 요구하는 대로 부드러운 속삭임부터 웅장한 선언에 이르기까지 의도된 역동적 형태를 갖추어 음악을 연주하게 되었습니다.

연구진은 로봇이 무엇을 배우느냐만큼 어떻게 배우느냐도 중요하다는 것을 발견했습니다. 그들은 로봇에게 처음부터 모든 것(손의 움직임, 눌러야 할 키, 그리고 그것들을 얼마나 빨리 칠 것인지)을 한꺼번에 가르치려 하면 종종 혼란을 초래한다는 것을 알아냈습니다. 대신, 그들은 2단계 과정을 사용했습니다. 먼저, 기존 시스템처럼 음을 정확하게 연주하는 '기초(base)' 로봇을 훈련시켰습니다. 그런 다음, 그 기초 모델을 고정하고 손가락에만 집중하는 작고 특화된 학습 레이어를 추가했습니다. 이 미세 조정 레이어는 기초 로봇이 이미 숙달한 정교한 손 협응력을 해치지 않으면서, 음량을 맞추기 위해 손가락 타격 속도를 미세하게 조정하는 법을 배웠습니다. 이 접근 방식 덕분에 로봇은 정확도를 잃지 않으면서도 표현력을 정교하게 다듬을 수 있었습니다. 나아가, 그들은 이 시스템이 실시간으로 제어될 수 있음을 보여주었습니다. 로봇에게 "더 크게" 또는 "더 작게" 연주하라는 간단한 명령을 내림으로써, 시스템은 재학습 없이도 전체 연주의 음량을 실시간으로 조절하며 음악의 볼륨을 높이거나 낮출 수 있었습니다.

결과는 인상적이지만, 연구진은 자신들의 연구 범위에 대해 주의를 기울이고 있습니다. 전체 연구는 실제 피아노가 아닌 매우 상세한 컴퓨터 시뮬레이션 환경에서 수행되었습니다. 건반의 속도와 그로 인해 발생하는 소리의 관계는 복잡하고 비선형적이며, 이 시스템은 그 간극을 메우기 위해 수학적 근사치를 사용합니다. 연구팀은 아직 이를 실제 로봇이 실제 피아노를 연주하는 환경에서 테스트하지 않았으며, 이는 이 분야의 중대한 과제로 남아 있습니다. 또한, 현재 시스템은 음량 제어에만 집중하고 있으며, 음악의 템포나 음의 분리(staccato 등)를 제어하는 기능은 아직 갖추지 못했습니다. 이는 음악적 표현의 또 다른 핵심 요소들입니다. 이러한 한계에도 불구하고, 이 연구는 명확한 진로를 제시합니다. 로봇이 자신의 행동에 따른 물리적 결과를 인지하게 하고, 정확성과 표현력 사이의 균형을 맞추도록 강제함으로써, 연구진은 로봇의 피아노 연주를 단순한 기계적 연습에서 진정한 음악적 공연의 영역으로 끌어올렸습니다. 이제 기계는 단순히 건반을 치는 것이 아니라, 자신이 만들어내는 음악에 귀를 기울이는 법을 배우고 있습니다.