YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

악보상의 음악은 일련의 지침이자, 피아니스트에게 어떤 건반을 얼마나 길게 눌러야 하는지 알려주는 음표의 지도입니다. 하지만 지도가 곧 영토는 아닙니다. 두 명의 피아니스트가 정확히 같은 악보를 보고 연주하더라도 완전히 다르게 느껴지는 소리를 만들어낼 수 있습니다. 한 명은 부드럽고 넘실거리는 리듬과 약한 터치로 연주하는 반면, 다른 한 명은 날카롭고 몰아치는 에너지로 연주할 수 있습니다. 이러한 차이는 실수가 아니라 음악적 표현의 본질입니다. 그것은 경직된 지침을 받아들여 감정, 스타일, 구조를 전달하는 살아 숨 쉬는 연주로 바꾸는 인간의 능력입니다. 수십 년 동안 과학자와 엔지니어들은 컴퓨터에게도 이와 똑같은 일을 가르치기 위해 노력해 왔습니다. 즉, 악보를 보고 인간답고 자연스러우며 감정이 풍부한 연주를 생성하도록 만드는 것입니다. 문제는 단 하나의 '정답'인 연주 방식이 존재하지 않는다는 점입니다. 가능한 모든 연주의 평균을 단순히 계산하는 컴퓨터는 종종 평범하고 생동감 없는 결과물을 만들어냅니다. 피아노 연주의 예술성을 진정으로 포착하기 위해서, 기계는 하나의 악보가 여러 가지 유효하고 표현력 있는 해석을 허용한다는 점을 이해해야 합니다.

런던 퀸 메리 대학교와 뉴욕 대학교의 연구진은 YQX+라는 새로운 프레임워크를 통해 이 문제를 해결했습니다. 그들은 단순히 음악을 생성하는 하나의 시스템을 구축하는 대신, 서로 다른 유형의 컴퓨터 모델이 인간의 표현력을 예측하는 과제를 어떻게 처리하는지 확인할 수 있는 표준화된 테스트 환경을 만들었습니다. 모든 주자가 같은 출발선에서 시작하여 같은 트랙을 달리고 동일한 규칙에 따라 심사받는 경주를 상상해 보십시오. 이 연구 이전에는 서로 다른 연구 그룹들이 자신들만의 독특한 트랙을 만들고 속도를 측정하는 방식도 제각각이었기에, 어떤 주자가 진정으로 가장 빠른지 말하는 것이 불가능했습니다. YQX+의 연구진은 그 트랙을 바로잡았습니다. 그들은 음의 높낮이(pitch), 음악적 구절 내에서의 위치, 그리고 '크게' 또는 '작게'와 같은 악보상의 표식 등 모든 모델이 반드시 살펴봐야 할 구체적인 음악적 특징들을 정의했습니다. 또한 그들은 모든 모델이 예측해야 할 구체적인 출력값도 정의했습니다. 즉, 박자가 얼마나 빨라야 하는지, 건반을 얼마나 세게 눌러야 하는지, 타이밍이 얼마나 흔들려야 하는지, 그리고 음이 얼마나 길게 울려 퍼져야 하는지 등을 정했습니다. 모든 모델이 동일한 규칙을 따르도록 강제함으로써, 연구진은 마침데로 공정하게 비교할 수 있게 되었습니다.

연구팀은 오래된 통계적 방법부터 현대의 복잡한 신경망에 이르기까지 매우 다양한 컴퓨터 모델을 테스트했습니다. 그들은 이 모델들을 수천 곡의 클래식 음악으로 학습시켰는데, 여기서 컴퓨터는 작성된 악보와 이를 연주하는 인간의 녹음본을 모두 볼 수 있었습니다. 목표는 어떤 모델이 인간이 내릴 법한 표현적 선택을 가장 잘 추측할 수 있는지 확인하는 것이었습니다. 결과는 더 크고 강력한 모델, 특히 트리 기반 학습 시스템의 한 종류와 숨겨진 패턴을 학습하도록 설계된 신경망의 한 종류가 가장 우수한 성능을 보였다는 것을 보여주었습니다. 이 최상위 모델들은 이전 시스템들보다 더 정확하게 타이밍과 역동성(dynamics)을 예측할 수 있었습니다. 그들은 단순히 음표를 추측하는 것에 그치지 않고, 음악을 살아있게 만드는 미묘한 리듬의 밀고 당김을 포착해 냈습니다.

하지만 컴퓨터가 음악을 얼마나 잘 연주하는지 측정하는 것은 까다로운 일입니다. 컴퓨터는 수치상으로는 인간의 연주와 매우 유사할 수 있지만, 인간의 귀에는 여전히 로봇처럼 들릴 수 있습니다. 이를 해결하기 위해 연구진은 PerformanceMOS라는 새로운 도구를 도입했습니다. 이것은 디지털 심판 역할을 하는 데이터 기반 추정치로, 숙련도, 유창성, 표현력을 기준으로 인간 전문가들이 평가한 방대한 양의 피아노 연주 데이터셋을 학습한 것입니다. 연구진은 이 도구를 사용하여 모델의 출력값을 점수화했습니다. 결과는 시사하는 바가 컸습니다. 새로운 프레임워크를 통해 도출된 최상의 모델들은 현재 사용 가능한 가장 진보된 시스템들과 대등하거나, 어떤 경우에는 더 나은 점수를 기록했습니다.

확실히 하기 위해 연구진은 40명의 인간 참가자를 대상으로 청취 테스트도 실시했습니다. 일반 음악 팬과 숙련된 연주자가 섞인 이 청취자들은 컴퓨터가 생성한 연주를 0점에서 100점 사이의 척도로 평가했습니다. 그들은 연주가 얼마나 자연스러운지, 리듬이 얼마나 자유로운지, 그리고 얼마나 표현력이 풍부한지를 판단했습니다. 결과는 컴퓨터 점수가 시사하는 바를 확인해 주었습니다. 새로운 프레임워크를 사용한 모델들, 특히 트리 기반 및 신경망 접근 방식은 기존의 가장 뛰어난 시스템들만큼 높은 평가를 받았습니다. 이 모델들은 자연스럽고 음악적으로 설득력 있게 들렸습니다. 흥미롭게도, 연구는 단순히 모델을 더 복잡하게 만든다고 해서 항상 더 좋은 소리가 보장되는 것은 아니라는 점을 발견했습니다. 모델을 어떻게 학습시키는지와 제공되는 특정 특징들이 그만큼 중요했습니다.

연구진은 또한 이러한 모델들이 개별 음표의 세부 사항을 예측하는 데는 뛰어나지만, 곡 전체에 걸쳐 일어나는 거대하고 휩쓰는 듯한 템포와 감정의 변화를 포착하는 데는 때때로 어려움을 겪는다는 것을 발견했습니다. 이는 컴퓨터가 표현의 국소적인 세부 사항에는 매우 능숙해졌지만, 더 넓은 음악적 서사를 구현하는 것은 여전히 과제로 남아 있음을 시사합니다. 이 연구는 YQX+가 향후 연구를 위한 견고한 토대를 제공한다고 결론짓습니다. 이는 새로운 아이디어를 테스트할 수 있는 명확하고 공정한 방법과, 인간이 컴퓨터가 생성한 음악에 어떻게 반응할지를 추정할 수 있는 신뢰할 수 있는 도구인 PerformanceMOS를 제공합니다. 이 연구는 음악적 표현의 미스터리를 풀었다고 주장하는 것이 아니라, 그것이 어떻게 작동하는지 볼 수 있는 더 나은 현미경을 제작한 것이며, 이를 통해 기계가 연주의 영혼을 진정으로 이해할 수 있는 단계에 한 걸음 더 다가서게 되었습니다.