Spacing Out: On the Reliability of Binaural Music Source Separation Metrics

공간의 소리: 당신의 헤드폰이 당신에게 거짓말을 하고 있을 수도 있는 이유

당신이 라이브 콘서트장에 있다고 상상해 보세요. 당신은 단순히 음악을 듣는 것이 아니라, 왼쪽에서 드럼을 치는 소리를 느끼고, 바로 앞에는 가수가 있으며, 바닥으로부터 베이스의 진동이 느껴지는 것을 경험합니다. 이렇게 소리의 "안에" 있는 듯한 느낌을 **몰입형 오디오(immersive audio)**라고 부릅니다. 수십 년 동안 과학자와 엔지니어들은 컴퓨터가 이와 똑같은 일을 할 수 있도록 가르치기 위해 노력해 왔습니다. 즉, 복잡하게 섞인 음악에서 개별 악기(예를 들어 보컬과 드럼을 분리하는 것)를 추출하면서도, 모든 요소가 어디에 위치해 있는지에 대한 마법 같은 감각을 유지하도록 만드는 것입니다. 이 작업을 **음악 소스 분리(Music Source Separation, MSS)**라고 합니다.

이를 위해 컴퓨터는 종 often 우리의 두 귀가 세상을 듣는 방식을 모방하여 녹음된 특수한 방식인 **바이노럴 오디오(binaural audio)**를 사용합니다. 이것은 가상 현실(VR)과 증강 현실(AR)을 실감 나게 만드는 비법입니다. 하지만 여기 함정이 있습니다. 컴퓨터가 이 바이노럴 트랙을 분리하려고 할 때, 종종 "공간감" 부분을 망가뜨리곤 합니다. 악기 소리가 평면적으로 들리거나, 드럼이 원래 멀리 떨어져 있었음에도 불구하고 갑자기 가수 바로 옆에 서 있는 것처럼 들릴 수도 있습니다. 이를 해결하기 위해 연구자들은 자신들의 컴퓨터 모델이 얼마나 잘 작동하는지 측정할 방법이 필요합니다. 그들은 분리 성능을 점수화하기 위해 **메트릭(metrics)**이라 불리는 수학 공식들을 사용합니다. 그런데 만약 그 공식들이 고장 났다면 어떨까요? 컴퓨터는 "훌륭해!"라고 말하는데, 정작 인간 청취자는 "정말 형편없어"라고 생각한다면 어떻게 될까요? 이 논문은 바로 그 미스터리를 파고들며, 우리가 3D 사운드를 측정하기 위해 사용하는 도구들이 실제로 신뢰할 수 있는지 묻습니다.

논문: 수학이 인간의 귀를 만날 때

이 연구에서 뉴욕 대학교의 연구진은 바이노럴 음악 분리를 측정하는 도구들을 가지고 탐정 놀이를 하기로 했습니다. 그들은 알고 싶었습니다: 컴퓨터 점수가 인간이 실제로 듣는 것과 일치하는가?

이를 알아내기 위해, 그들은 바이노럴 음악에 특화되어 훈련된 새로운 컴퓨터 모델(이하 "바이노럴 탐정")을 구축하고, 이를 일반적인 스테레오 음악만을 학습한 기존 모델("스테레오 탐정")과 비교했습니다. 그런 다음 인간 청취자 그룹에게 결과를 판단해 달라고 요청했습니다. 사람들은 베이스, 드럼, 보컬과 같이 분리된 악기 소리를 듣고, 어떤 버전이 원곡과 더 유사한지, 그리고 악기들이 3D 공간 내의 올바른 위치에 있다고 느껴지는지를 선택해야 했습니다.

거대한 놀라움: 수학이 혼란에 빠지다

결과는 다소 충격적이었습니다. 연구진은 컴퓨터 메트릭(수학 공식)과 인간 청사자가 항상 일치하는 것은 아니라는 사실을 발견했습니다.

• 희소식: $\Delta$ILD(양쪽 귀의 음량 차이를 측정)와 SRR(믹스에 남은 "잔여 노이즈"의 양을 측정)이라는 두 가지 특정 메트릭은 인간이 선호하는 결과와 꽤 잘 일치했습니다. 이 수치들이 높으면 인간은 보통 소리가 좋다고 생각했습니다.
• 비보: $\Delta$ITD(소리가 왼쪽 귀와 오른쪽 귀에 도달하는 미세한 시간 차이를 측정) 메트릭은 완전히 엉망이었습니다. 이것은 소리가 어디에서 오는지 알려주는 가장 중요한 단서임에도 불구하고, 컴퓨터의 계산값은 매우 신뢰할 수 없었습니다.

"베이스 문제"

논문은 $\Delta$ITD 메트릭이 특히 베이스 악기를 다룰 때 최악의 성능을 보인다는 것을 발견했습니다. 베스 기타나 킥 드럼을 생각해 보세요. 이들은 낮게 깔리는 울림 소리를 만들어냅니다. 연구진은 이러한 악기들의 경우, 컴퓨터의 시간 차이 계산이 베이스가 명확히 왼쪽이나 오른쪽에 있음에도 불구하고, 그냥 "모든 것이 바로 앞에 있다"라고 결론 내려버리는 경우가 많다는 것을 발견했습니다.

왜 그럴까요? 이 시간 차이를 계산하는 데 사용되는 수학적 방법(GCC-PHAT)은 아주 작은 정전기나 "분리 아티팩트"(컴퓨터 작업 후 남은 미세한 오류)에도 당황하는 초민감 마이크와 같습니다. 컴퓨터가 베이스를 분리하려고 할 때 미세하고 눈에 보이지 않는 글리치(glitch)를 남기는데, 수학 공식은 이 글리치를 보고 당황하여 시간 차이를 놓쳐버리는 것입니다.

불가능한 트레이드오프(Trade-off)

연구진은 계산 방식의 다른 버전들(Weighted GCC-PHAT 및 Masked GCC-PHAT)을 사용하여 수학적 공식을 미세하게 조정함으로써 이 문제를 해결하려 노력했습니다. 그들은 계산을 더 견고하게(쉽게 망가지지 않도록) 만들기를 희망했습니다.

하지만 그들은 좌절스러운 트레이드오프를 발견했습니다.

• 만약 수학적 모델을 견고하게(robust) 만든다면(쉽게 깨지지 않도록 한다면), 그것은 정확도가 떨어지게(왼쪽과 오른쪽을 구분하지 못하게) 되었습니다.
• 반대로 수학적 모델을 정확하게(accurate) 만든다면(왼쪽과 오른쪽을 구분할 수 있게 한다면), 그것은 취약해졌습니다(작은 노이즈에도 바로 망가짐).

이는 라디오 주파수를 맞추는 것과 같습니다. 아주 선명한 신호를 얻기 위해 다이얼을 돌리면 손을 조금만 움직여도 방송이 사라질 수 있습니다. 반대로 다이얼을 느슨하게 두어 신호를 유지하면 소리에 잡음이 가득하게 됩니다. 논문은 현재 베이스 악기에 대해 명료함과 안정성을 동시에 얻을 수 있는 방법이 없음을 시사합니다.

센터 스테이지의 혼란

또 다른 흥als한 발견은 사운드 스테이지의 중앙에 배치된 악기(예: 리드 싱어)에 관한 것이었습니다. 인간 청취자들은 가수가 중앙에 있을 때 "바이노럴 탐정"과 "스테레오 탐정"을 구분하는 데 어려움을 겪었습니다. 사람들은 스테레오 음악에서 리드 싱어가 중앙에 있는 것에 익숙하기 때문에, 바이노럴 버전이 기술적으로 더 정확하더라도 스테레오 버전을 선호하는 경-향이 있었습니다. 그러나 컴퓨터 메트릭은 바이노럴 버전이 더 낫다고 계속해서 판정했습니다. 이는 수학이 인간이 해당 상황에서 실제로 신경 쓰지 않는 기술적 디테일에 보상을 주고 있음을 보여주었습니다.

결론

이 논문은 우리가 분리된 음악의 음량이나 깨끗함을 측정하는 도구($\Delta$ILD 및 SRR)는 어느 정도 갖추고 있지만, 소리가 어디에서 오는지 측정하는 도리($\Delta$ITD)는 현재 고장 난 상태이며, 특히 베이스와 같은 저주파 악기에서 그러하다는 결론을 내립니다.

저자들은 우리가 더 이상 컴퓨터 점수만을 믿어서는 안 된다고 제안합니다. 우리는 단순히 숫자를 계산하는 것을 넘어, 인간이 실제로 공간을 어떻게 듣는지 이해하는 더 스마트한 메트릭을 구축해야 합니다. 그때까지, 당신의 3D 음악 분리가 제대로 작동하는지 알고 싶다면, 계산기가 아닌 인간에게 물어봐야 할지도 모릅니다.