Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

당신이 세 명의 서로 다른 사람들이 동시에 이야기하고 있고, 배경에는 시끄러운 에어컨 소리가 웅웅거리는, 메아리가 울리는 붐비는 방 안에 있다고 상상해 보십시오. 당신에게는 오직 한 명의 특정 목소리만을 녹음하려는 마이크 팀이 있습니다. 이것이 바로 '로봇 오디션'과 보청기가 매일 겪는 고충입니다. 어떻게 하면 혼란스러운 소음과 다른 목소리들 사이에서 단 하나의 목소리를 분리해 낼 수 있을까요? 이를 수행하기 위해 컴퓨터는 방의 '음향 지문(acoustic fingerprint)'—즉, 소리가 벽에 어떻게 부딪히고 스피커에서 마이크로 어떻게 전달되는지—을 이해해야 합니다. 과학자들은 이를 '전달 함수(transfer function)'라고 부릅니다. 하지만 여러 사람이 동시에 말할 때, 그 수학적 계산은 매우 복잡해집니다. 이러한 혼란을 처리하기 위해 '상대적 전달 행렬(Relative Transfer Matrix, ReTM)'이라는 더 새롭고 강력한 도구가 발명되었습니다. ReTM을 누가 말하고 있는지와 상관없이, 두 그룹의 마이크 사이에서 소리가 어떻게 이동하는지를 컴퓨터에게 정확히 알려주는 마스터 지도라고 생각하십시오. 만약 우리가 이 지도를 정확하게 추정할 수 있다면, 우리는 노이즈가 섞인 녹음본을 깨끗하게 만들고, 로봇이 더 잘 듣게 하며, 화상 회의를 매우 선명하게 만들 수 있습니다.

이 논문은 컴퓨터에게 '딥 러닝(Deep Learning)'이라는 특별한 종류의 지능을 사용하여 그 지도를 그리는 법을 가르치는 것에 관한 것입니다. 기존의 복잡한 노이즈에 취약한 전통적인 수학 공식 대신, 저자들은 세 가지 서로 다른 유형의 인공 신경망을 훈련시켜 마이크 녹음 데이터를 보고 ReTM 지도를 추측하도록 했습니다. 그들은 특정 규격(6 × 7 × 3 미터)과 잔향 시간 500밀리초를 가진 시뮬레이션된 방에서, 두 개 또는 세 개의 음원(백색 소음, 음악 또는 음성 등)과 최대 12개의 마이크를 사용하는 시나리오를 통해 이 디지털 두뇌들을 테스트했습니다.

연구진은 그들의 새로운 방식이 전통적인 공분산 기반 방식보다 이 지도를 추정하는 데 일반적으로 더 뛰어나다는 것을 발견했습니다. 그들은 신호 대 왜곡비(SDR)와 평균 제곱 오차(MSE)를 포함한 다섯 가지 지표를 사용하여 성공 여부를 측정했습니다. 특정 유형의 필터를 사용하는 FuSNet이라는 모델은 노이아가 균일할 때(백색 소음과 같은 경우) 가장 우수한 성능을 보였으며, 한 테스트에서 29.13 dB의 SDR을 달enc성했습니다. 주파수 기반 접근 방식을 사용하는 SCoNet 모델 또한 매우 우수한 성적을 거두었으며, 종종 기존 방식을 능가했습니다. 그러나 논문은 반전이 있다고 언급합니다. 즉, FuSest가 지도를 '추정'하는 데 있어서는 챔피언이었지만, 그것이 최종 목표인 음성 정화로 완벽하게 이어지지는 않았다는 점입니다. 팀이 실제로 이 지도를 사용하여 음성에서 노이즈를 제거하려고 했을 때, FuSNet의 결과는 떨어졌으며 상당한 에코를 남겼습니다. 반면, LSTM 기반 네트워크인 LAeNet은 가장 높은 음성 명료도를 달성하여, 테스트에서 SDR을 평균 10.55 dB 높였습니다.

저자들은 이러한 결과가 실제 현장 테스트가 아닌 시뮬레이션에서 나온 것임을 주의 깊게 밝히고 있습니다. 그들은 딥 러닝이 특히 시간 영역에서 더 우수한 정확도를 제공할 수 있음을 보여줌으로써, 전통적인 방식만이 유일한 길이라는 생각에 명시적으로 반론을 제기합니다. 하지만 그들은 또한 최고의 지도 추정기가 자동으로 최고의 음성 정화기가 되는 것은 아니라는 점도 분명히 하며, '최고'의 모델은 구체적인 작업에 따라 달라진다고 말합니다. 논문은 이러한 딥 러닝 프레임워크가 오디오 처리의 미래를 위한 유망한 도구이지만, 화자 분리나 에코의 완전한 제거와 같은 실제 응용 분야를 위해 완벽해지기 위해서는 여전히 할 일이 남아 있다고 결론짓습니다.