Learning to Predict Performance-induced Emotion Differences in Classical Piano Music

음악을 우리의 감정에 직접적으로 말을 거는 거대하고 보이지 않는 언어라고 상상해 보세요. 수십 년 동안 컴퓨터가 음악을 어떻게 이해하는지 연구하는 과학자들(음악 정보 검색이라는 분야)은 기계에게 노래가 무엇에 관한 것인지 '느끼도록' 가르치기 위해 노력해 왔습니다. 보통 그들은 악보 자체, 즉 음표, 속도, 그리고 곡이 행복한 장조인지 슬픈 단조인지를 살펴봅니다. 이는 마치 연극의 대본만 읽고 배우를 한 번도 보지 못한 채 그 사람의 기분을 추측하려는 것과 같습니다. 하지만 우리는 같은 대본이라도 백 가지 다른 방식으로 연기될 수 있다는 것을 알고 있습니다. 어떤 배우는 대사를 가슴 아픈 슬픔을 담아 속삭일 수도 있고, 다른 배우는 화난 에너지로 소리칠 수도 있습니다. 여러분이 이제 읽게 될 논문은 바로 이 구체적인 미스터리를 파고듭니다. 컴퓨터가 음악가가 '어떻게' 연주하는지의 미세하고 보이지 않는 차이를 포착하고, 그 차이를 이용해 음악이 우리를 어떻게 느끼게 할지 예측할 수 있을까요?

이 연구를 진행한 연구진은 "대본"(작곡)을 보는 것을 멈추고 전적으로 "배우"(연주자)에게 집중하기로 했습니다. 그들은 여섯 명의 세계적인 피아니스트가 연주한 J.S. Bach의 동일한 클래식 피아노 곡 여섯 개를 수집했습니다. 악보는 모두 동일하기 때문에, 음악이 느껴지는 방식의 모든 차이는 피아니스트의 독특한 터치, 즉 그들의 속도, 강약, 그리고 음을 연결하는 방식에서 비롯되어야 합니다. 연구팀은 음표 자체는 무시하고 오직 이러한 연주 기교만을 바라보는 특별한 "감정 디코더"를 구축했습니다. 그들은 컴퓨터가 연주만 듣고 곡의 '정확한' 감정을 맞히기는 어렵지만, 한 연주가 다른 연주와 어떻게 다른지를 예측하는 데는 놀라울 정도로 뛰어나다는 것을 발견했습니다. 다시 말해, 컴퓨터가 노래가 "슬프다"는 것을 알 수는 없더라도, 피아니스트 A의 버전이 피아니스트 B의 버전보다 "더 활기차고 덜 우울하다"는 것을 확실하게 말해줄 수 있다는 것입니다.

"감정 디코더"의 이야기

클래식 피아노 곡을 케이크를 만드는 레시피라고 생각해 보세요. 레시피(악보)는 밀가루, 설탕, 달걀을 얼마나 사용할지 정확히 알려줍니다. 하지만 두 명의 서로 다른 제빵사가 정확히 똑같은 케이크를 만든다고 상상해 봅시다. 한 제빵사는 케이크를 약간 더 오래 구워 더 건조하고 바삭하게 만들 수도 있습니다. 다른 제빵사는 반죽을 더 격렬하게 섞어 더 폭신하게 만들 수도 있습니다. 재료는 같더라도 최종적인 맛은 다릅니다. 음악의 세계에서 이러한 "베이킹 기술"을 **연주 뉘앙스(performance nuances)**라고 부릅니다. 여기에는 음을 약간 빠르거나 느리게 연주하는 것(타이밍), 건반을 더 세게 혹은 더 약하게 치는 것(강약), 그리고 적힌 것보다 음을 더 길게 혹은 짧게 유지하는 것(아티큘레이션) 등이 포함됩니다.

오랫동안 음악적 감정을 이해하려고 노력했던 컴퓨터들은 마치 식재료 목록만 살펴보는 음식 평론가와 같았습니다. 그들은 설탕이 많이 들어간 레시피가 보통 달콤하다는 것은 알았지만, 왜 한 제빵사의 케이크는 "화가 나" 있고 다른 제빵사의 케이크는 "즐거워" 보이는지는 설명할 수 없었습니다. 조앤 칭(Joann Ching)과 게르하르트 비드머(Gerhard Widmer)가 이끄는 이 연구는 대담한 질문을 던졌습니다. 만약 우리가 식재료를 완전히 무시하고 제빵사의 손만을 연구한다면 어떨까?

이를 위해 연구진은 Bach의 평균율 클라비어 곡집(1권)의 녹음이 담긴 CP-WTC라는 데이터셋을 사용했습니다. 이 컬렉션은 이런 종류의 연구를 위한 노다지와 같습니다. Bach는 음악을 어떻게 연주해야 하는지에 대한 구체적인 지침을 많이 남기지 않았기 때문입니다. 그는 "베이킹 지침"을 넓게 열어두어, 여섯 명의 유명한 피아니스트—글렌 굴드, 프리드리히 굴다, 안젤라 휴이트, 스비아토슬라프 리히테르, 안드라스 쉬프, 로잘린 투렉—가 동일한 48개의 곡에 자신만의 독특한 색깔을 입힐 수 있게 했습니다.

연구팀은 **퍼포먼스 코덱(Performance Codec)**이라는 특별한 도구를 만들었습니다. 이것을 오디오 녹음을 듣고 피아니스트의 물리적 행동을 모든 음에 대해 네 가지 단순한 숫자로 변 변환하는 하이테크 번역기라고 상상해 보세요:

1. 비트 주기(Beat Period): 피아니스트가 적힌 악보에 비해 얼마나 빠르거나 느리게 연주하는가.
2. 벨로시티(Velocity): 건반을 얼마나 세게 치는가 (이는 크기를 조절함).
3. 타이밍(Timing): 음을 아주 조금 일찍 연주하는지 혹은 늦게 연주하는지.
4. 아티큘레이션(Articulation): 적힌 길이보다 음을 얼마나 길게 유지하는가.

결정적으로, 이 도구는 어떤 음이 연주되는지에 대한 모든 정보를 버립니다. 오직 그 음들이 '어떻게' 연주되는지에만 관심을 가집니다. 이를 통해 컴퓨터가 '슬픈' 단조에 의존하지 않도록 보장하며, 순수하게 연주 스타일에 기반하여 감정을 파악하도록 합니다.

도전 과제: "평균"의 문제

연구진은 먼저 이 네 가지 숫자를 사용하여 컴퓨터에게 연주의 정확한 감정을 추측하도록 가르치려 했습니다. 그들은 컴퓨터에게 물었습니다: "이 연주는 행복한가 아니면 슬픈가? 차분한가 아니면 흥분되는가?" 이를 측정하기 위해 두 가지 척도를 사용했습니다: 쾌락가(Valence) (감정이 얼마나 긍정적인지 혹은 부정적인지)와 각성도(Arousal) (감정이 얼마나 차분한지 혹은 에너지가 넘치는지).

결과는 다소 실망스러웠습니다. 컴퓨터는 정확한 감정을 맞히는 데 어려움을 겪었습니다. 이는 마치 한 사람의 코트만 보고 방의 온도를 맞히려는 것과 같았습니다. 대략적인 짐작은 할 수 있겠지만, 오차가 클 것입니다. 컴퓨터는 실제 연주가 가진 표현력을 과소평가하는 경 경향이 있었습니다. 즉, 실제 음(레시피)을 모르면 컴퓨터는 감정을 올바르게 고정할 수 없는 것처럼 보였습니다.

하지만 연구진에게는 아주 멋진 "플랜 B"가 있었습니다. "정확한 감정이 무엇인가?"라고 묻는 대신, "이 연주는 평균과 어떻게 다른가?"라고 물었습니다.

그들은 Delta-VA라고 불리는 새로운 프레임워크를 발명했습니다. 평평하고 지루한 버전으로 연주되는 로봇 같은 "가상의 평균 연주"를 상상해 보세요. Delta-VA 모델은 실제 연주가 감정 지도 상의 어디에 위치하는지 맞히려고 노력하는 것이 아닙니다. 대신, 그 로봇 평균으로부터 실제 인간의 연주까지의 벡터(방향과 거리)를 계산합니다.

이것을 길 안내에 비유해 보겠습니다. "보물은 좌표 45, 90에 있습니다"라고 말하는 것은 지도가 어디서 시작하는지 모르면 맞히기 어렵지만, 모델은 "중심에서 북쪽으로 5걸음, 동쪽으로 3걸음 가세요"라고 말하는 것과 같습니다. 컴퓨터가 시작점을 맞히는 데 완벽하지 않더라도, 보물을 찾기 위해 가야 할 방향을 설명하는 데는 매우 능숙해집니다.

결과: 방향을 제대로 잡다

그들이 이 새로운 "Delta-VA" 접근 방식을 테스트했을 때, 결과는 매우 흥미로웠습니다. 모델은 연주 간의 차이를 예측하는 데 훨씬 더 뛰어난 성능을 보였습니다.

• 방향(The Direction): 모델은 방향을 맞히는 데 믿기 힘들 정도로 정확했습니다. 만약 피아니스트 A의 버전이 피아니스트 B보다 더 에너지가 넘친다면, 모델은 그 방향을 정확히 가리켰습니다. 실제로 연주 쌍을 비교했을 때, 모델의 예측된 차이는 실제와 거의 완벽하게 일치했으며, 평균 오차는 약 8.4도에 불과했습니다 (0도가 완벽한 상태).
• 크기(The Magnitude): 하지만 모델은 차이의 크기에 대해서는 다소 소극적이었습니다. 모델은 "네, 이 연주는 더 에너지가 넘칩니다"라고는 말했지만, "얼마나 더" 에너지가 넘치는지는 말하지 못했습니다. 모델은 수치를 압축하여 큰 차이를 작게 보이게 만들었습니다. "크기 비율(Magnitude Ratio)"은 약 0.48이었는데, 이는 모델이 예측한 차이가 실제 차이의 약 절반 정도였다는 것을 의미합니다.

이를 시각화하기 위해, 두 명의 피아니스트가 같은 곡을 연주한다고 상상해 보세요. 한 명은 불꽃 튀고 극적인 재능으로 연주하고, 다른 한 명은 부드럽고 졸린 듯한 터치로 연주합니다. Delta-VA 모델은 불꽃 튀는 연주가 부드러운 연주보다 "더 긍정적이고 더 에너지가 넘친다"는 것을 정확히 식별했습니다. 하지만 실제 차이가 매우 컸더라도, 모델은 그것을 중간 정도의 차이로 묘사했습니다. 모델은 감정의 방향은 맞혔지만, 그 강도는 과소평가했습니다.

이것이 왜 중요한가

이 연구는 컴퓨터가 곡의 정확한 분위기를 설명해야 하는 인간 음악 평론가를 대체할 준비가 되었는지는 모르지만, 연주를 비교하는 데 있어서는 매우 능숙해지고 있다는 점을 시사합니다. 이는 음악 추천 시스템과 같은 분야에 있어 거대한 진전입니다.

여러분이 Bach의 곡을 듣고 있다고 가정하고, "이 곡이 정말 좋지만, 조금 덜 슬프고 좀 더 밝은 느낌이었으면 좋겠다"라고 생각합니다. 과거에는 컴퓨터가 단순히 완전히 다른 노래를 추천했을 것입니다. 하지만 Delta-VA와 같은 모델이 있다면, 컴퓨터는 자신의 라이브러리를 살펴보고 이렇게 말할 수 있습니다. "여기 동일한 곡을 다른 피아니스트가 연주한, 약간 더 밝고 덜 슬픈 버전이 있습니다."

연구진은 이러한 연주 특징들(타이밍, 강약 등)이 서로 다른 음악가들 사이에서 실제로 유의미하게 변한다는 것을 확인했습니다. 그것들은 단순한 무작위 소음이 아니라, 음악이 어떻게 느껴지는지에 대한 실제 신호를 담고 있습니다. 절대적인 값보다는 차이에 집중함으로써, 팀은 컴퓨터가 음악의 미묘한 해석이라는 인간적인 예술을 이해하도록 가르치는 방법을 찾아냈습니다.

결국, 이 논문은 음악적 감정의 미스터리를 풀었다고 주장하는 것이 아닙니다. 대신, 더 실용적인 관점을 제시합니다. 만약 우리가 컴퓨터가 노래의 느낌이 어떻게 변하는지 이해하기를 원한다면, 처음부터 그 느낌을 추측하라고 요구해서는 안 된다는 것입니다. 대신, 하나의 연주가 표준으로부터 느낌을 어떻게 변화시키는지 설명하라고 요구해야 합니다. 이는 관점의 작은 변화이지만, 컴퓨터가 훨씬 더 인간적인 방식으로 음악을 볼 수 있게 해줍니다.