A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

수십 개의 서로 다른 악기가 동시에 연주되고 있는 붐비는 방 안으로 걸어 들어간다고 상상해 보십시오. 인간의 귀에는 그 결과가 하나의 뒤엉킨 소리의 벽으로 들립니다. 만약 당신이 그 소음을 단 하나의 마이크로 녹음한다면, 그 녹음본에는 모든 음과 모든 리듬, 그리고 모든 악기가 하나로 뒤섞여 구별할 수 없는 흐름 속에 담기게 될 것입니다. 수십 년 동안 과학자들은 특정한 과제와 씨름해 왔습니다. 그것은 바로 그 단일하고 엉망인 녹음본에서 어떻게 개별 악기를 추출해 낼 것인가, 즉 바이올린을 드럼으로부터, 혹은 피아노를 플루트로부터 어떻게 분리해 낼 것인가 하는 문제입니다. 이 과정에서 이전에 그 악기들을 단독으로 들어본 적이 없더라도 말입니다. 이것이 바로 음원 분리(sound source separation)의 문제입니다. 컴퓨터는 공연의 영상을 볼 수 있을 때 이 작업에 상당히 능숙해졌지만, 기존의 대부분의 방법은 새로운 악기나 희귀한 악기에 적응하기 어려운 복잡한 일체형 시스템에 의존합니다.

이란 야즈드 대학교(Yazd University)의 연구진은 실세계의 영상, 특히 전통적인 페르시아 악기가 등장하는 영상을 더 잘 처리하기 위해 문제를 두 가지 별개의 단계로 나누는 다른 접근 방식을 제안했습니다. 최근 발표된 연구에서 그들의 작업은 먼저 영상을 "보고" 어떤 악기가 어디에 존재하는지 식별한 다음, 그 시각적 정보를 사용하여 오디오 분리 과정을 안내하는 시스템을 만드는 데 중점을 두었습니다. 이 방식은 거대한 하나의 뇌로 시각적 문제와 오디오 문제를 동시에 해결하려고 시도하는 대신, 특화된 시각 탐지기가 별도의 오디오 프로세서에게 무엇을 들어야 할지 정확히 알려주는 구조를 취합니다. 이러한 모듈형 설계는 시스템이 더 유연하고 효과적으로 작동하게 하며, 특히 표준 학습 데이터에서 흔히 찾아볼 수 없는 악기들에 대해 강점을 가집니다.

연구진은 먼저 이미지 속의 객체를 빠르고 정확하게 인식하도록 설계된 도구인 YOLOv8이라는 모델을 사용하여 시각적 탐지 시스템을 구축했습니다. 그들은 기타와 피아노 같은 국제적인 표준 악기와 다프(Daf), 카만체(Kamancheh), 산투르(Santur)와 같은 전통 페르시아 악기가 혼합된 358개의 주석이 달린 이미지 모음으로 이 모델을 학습시켰습니다. 목표는 컴퓨터가 비디오 프레임 내에서 이 악기들을 포착하여 상자를 치고 이름을 붙이는 법을 배우는 것이었습니다. 데이터셋이 상대적으로 작았기 때문에, 연구팀은 방대한 일반 객체 라이브러리로 학습된 모델을 특정 음악 도구에 맞게 미세 조정할 수 있는 전이 학습(transfer learning) 기법을 사용했습니다. 새로운 비디오 프레임에 대해 테스트했을 때, 시스템은 75.1퍼센트의 정밀도로 악기를 성공적으로 식별했는데, 이는 시스템이 특정 악기를 보았다고 말했을 때 대개 정확했다는 것을 의미합니다. 또한 시스템은 실제 장면 속에 존재하는 모든 악기의 약 59퍼센트를 찾아내는 데 성공했습니다.

시각 시스템이 어떤 악기가 연주되고 있는지 식별하면, 두 번째 단계의 프로세스가 시작됩니다. 연구진은 12가지 악기 유형 각각에 대해 별도의 오디오 처리 네트워크를 개발했습니다. 즉, 시각 탐지기가 기타와 드럼을 포착하면, 시스템은 처음부터 이들을 어떻게 분리할지 추측하려 하지 않습니다. 대신, '기타' 네트워크와 '드럼' 네트워크를 각각 활성화합니다. 각 네트워크는 시간의 흐름에 따른 소리의 주파수를 시각적 지도로 변환한 것인 스펙트로그램(spectrogram) 형태의 혼합 오디오 녹음을 살펴보도록 설계되었습니다. 네트워크의 임무는 특정 악기에 속하는 부분만을 강조하고 나머지는 무음 처리하는 디지털 필터, 즉 마스크를 생성하는 것입니다.

연구진은 이 2단계 시스템을 420개의 실제 세계 비디오 클립에 대해 테스트했습니다. 그들은 시각적 탐지를 통해 오디오 분리를 유도함으로써 시스템이 서로 다른 악기들의 소리를 효과적으로 격리할 수 있다는 것을 발견했습니다. 평균적으로 분리 품질은 강력했으며, 시스템은 대상 음과 배경 소음 사이의 명확한 구분을 나타내는 점수를 달성했습니다. 클라리넷이나 기타와 같은 일부 악기의 경우 분리가 매우 깨끗했지만, 주파수가 더 복합적이거나 겹치는 다른 악기들은 더 큰 과제를 안겨주었습니다. 연구 또한 이 방식을 다른 고급 기술들과 비교하였으며, 그들의 접근 방식이 다른 악기로부터의 간섭을 줄이는 데 있어 우수한 결과를 만들어내며 평균 8.75데시벨의 분리 품질 점수를 달성했음을 확인했습니다.

이 연구의 핵심적인 발견은 시각 정보가 오디오 시스템을 위한 강력한 가이드 역할을 하여 가능성을 좁혀준다는 점입니다. 장면에 어떤 악기가 있는지 정확히 알게 됨으로써, 시스템은 모든 가능한 소리의 조합을 추측하거나 검색할 필요가 없습니다. 이는 글로벌 데이터셋에서 과소 대표되어 있으며 표준 모델이 인식하기 어려운 페르시아 악기들에게 특히 가치가 있습니다. 본 연구는 시각 탐지와 오디오 분리가 협력하면서도 별개로 유지되는 모듈형 시스템이 복잡한 음악 공연을 풀어내는 데 실용적이고 효과적인 방법임을 입증합니다. 현재 시스템은 각 악기 유형마다 별도의 모델이 필요하며 아직 한 번도 본 적 없는 완전히 새로운 악기를 분리하는 법을 배울 수는 없지만, 그 결과는 기계가 현실 세계의 소리를 이해하고 격리하는 능력을 향상시키는 명확한 경로를 보여줍니다.