Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking

당신이 북적이는 방 안에 있다고 상상해 보세요. 벽에서 소리가 울려 퍼지고 대화 소리가 가득한 가운데, 걷고 말하며 움직이는 한 친구의 목소리를 따라가려고 애쓰고 있습니다. 당신의 뇌는 공학의 기적으로, 그 목소리가 어디서 오는지 끊임없이 추측하고, 소음을 걸러내며, 친구가 움직일 때마다 매 순간 아주 짧은 간격으로 추측을 업데이트합니다. 이것이 바로 **음원 위치 추적(Sound Source Localization, SSL)**의 과제입니다. 수십 년 동안 과학자들은 컴퓨터에게 이 일을 가르치려 노력해 왔지만, 이는 매우 어려운 일로 알려져 있습니다. 전통적인 방식은 건더기 하나하나를 일일이 확인하며 건초 더미에서 바늘을 찾는 것과 같습니다. 조용한 방에서는 괜찮게 작동하지만, 방에 울림(잔향)이 있거나 소스가 움직이면 혼란에 빠집니다.

이를 해결하기 위해 연구자들은 인간의 뇌에서 영감을 받은 컴퓨터 시스템인 **심층 신경망(Deep Neural Networks, DNN)**을 사용하기 시작했습니다. 하지만 이러한 "블랙박스" 시스템은 이해하기 어려울 수 있고 때로는 터무니없는 추측을 하기도 합니다. 이에 대한 영리한 절충안으로 **알고리즘 언폴딩(Algorithm Unfolding)**이라는 개념이 등장했습니다. 이것은 고전적인 단계별 수학 레시피를 신경망의 하나의 층(layer)으로 변환하는 과정이라고 생각하면 됩니다. 이렇게 하면 컴퓨터는 레시피를 따르는 법을 배우되, 상황이 까다로워지면 즉석에서 지침을 미세하게 조정하는 법도 배울 수 있습니다. 이 논문은 오디오 과학의 이 특정 분야를 깊이 파고들어, 움직이는 화자를 소음이 많고 울림이 있는 방에서도 인간 청취자만큼 매끄럽게 추적할 수 있는 컴퓨터를 만드는 것을 목표로 합니다.

이 논문의 핵심 아이디어: 스마트하고 자기 조절이 가능한 추적기

저자인 바일란 대학교(Bar-Ilan University)의 리나 벨러(Rina Veler)와 샤론 가노트(Sharon Gannot)는 언폴디드 재귀적 기대-최대화(Unfolded Recursive Expectation-Maximization, REM) 신경망이라 불리는 새로운 시스템을 제안합니다. 그들이 무엇을 해결하려 했는지 이해하기 위해, 먼저 문제부터 살펴봅시다.

당신이 일련의 흐릿한 사진들을 이용해 움직이는 자동차를 추적하려고 한다고 상상해 보세요. 당신에게는 새로운 사진을 바탕으로 자동차의 위치에 대한 추측을 업데이트하는 수학 공식이 있습니다. 하지만 함정이 있습니다. 새로운 사진을 얼마나 신뢰할 것인가, 즉 기존의 추측과 새로운 사진 사이의 신뢰도를 어떻게 조절해야 할까요? 만약 새로운 사진을 너무 많이 신뢰하면, 순간적인 흐림 현상 때문에 자동차가 길 건너편으로 점프했다고 착각할 수 있습니다. 반대로 기존의 추측을 너무 많이 신뢰하면, 자동차가 코너를 도는 것을 알아차리지 못할 것입니다.

과거에 과학자들은 이 신뢰 수준에 대해 "고정된 스케줄"을 사용했습니다. 이는 마치 "처음 10초 동안은 새 사진을 50% 신뢰하고, 다음 10초 동안은 40%를 신뢰하라"고 정해두는 것과 같았습니다. 자동차가 실제로 속도를 높이든, 줄이든, 혹은 가만히 있든 상관없이 말이죠. 이는 정지된 물체에는 효과적이지만, 역동적으로 움직이는 물체에는 형편없이 작동합니다.

이 논문이 하는 일:
저자들은 이 추적 과정을 "언폴딩(unfold)"하는 딥러닝 네트워크를 구축했습니다. 고정된 스케줄을 사용하는 대신, 그들은 네트워크에 **스텝 사이즈 네트워크(Step Size Network)**를 가르쳤습니다. 이는 현재 상황(소리가 어떻게 변하는지, 시스템의 확신도가 어느 정도인지, 타이밍 등)을 살펴보고, "지금은 새로운 데이터를 조금만 신뢰해야겠다"라거나 "지금은 이전의 추측을 더 믿어야겠다"라고 결정하는 특수한 시스템의 일부입니다.

그들은 네트워크에 시간과 맥락에 대한 감각을 부여하기 위해 **특징별 선형 변조(Feature-wise Linear Modulation, FiLM)**와 위치 인코딩(Positional Encoding) 기술을 사용했습니다. 이는 추적기에 단순히 현재 프레임만 보는 것이 아니라, 지난 몇 프레임의 "분위기"까지 볼 수 있는 스마트 안경을 씌워주는 것과 같으며, 이를 통해 전략을 즉각적으로 조정할 수 있게 합니다.

연구 결과:
연구진은 시뮬레이션된 환경에서 시스템을 테스트했습니다. 그들은 단일 화자가 직선 또는 원을 따라 0.5 m/s의 일정한 속도로 움직이는 가상의 방을 만들었습니다. 또한 두 가지 유형의 방을 시뮬레이션했습니다. 하나는 완벽하게 조용한 방(무향실)이고, 다른 하나는 울림이 심한 방(RT60 = 0.3 s)입니다. 네트워크를 학습시키기 위해 8,000개의 훈련 샘샘플과 2,000개의 검증 샘플을 사용했습니다.

결과는 유망했습니다. 새로운 네트워크는 조용한 방에서 평균 오차(제곱 평균 제곱근 오차, RMSE) 0.25 미터를 달성했는데, 이는 큰 발걸음 한 번 정도의 길이입니다. 울림이 있는 방에서는 오차가 0.55 미터로 증가했습니다.

이를 고정된 "신뢰 수준"(스텝 사이즈)인 0.25, 0.5 또는 0.75를 사용하는 기존 방식(CREM이라 불림)과 비교했을 때, 새로운 네트워크가 승리했습니다.

• 조용한 방에서, 스텝 사이즈가 0.5인 기존 방식은 0.67 미터의 오차를 보였고, 0.75일 때는 1.44 미터까지 치솟았습니다. 새로운 네트워크는 훨씬 더 정확했습니다.
• 울림이 있는 방에서 기존 방식은 설정에 따라 0.74에서 0.86 미터 사이의 오차를 보이며 더 고전한 반면, 새로운 네트워크는 0.55 미터를 유지했습니다.

가장 중요한 점은 새로운 네트워크가 더 안정적이었다는 것입니다. 울림이 있는 방에서 기존 방식은 스텝 사이즈에 따라 화자를 0.5미터 반경 내에 유지하는 데 **87%에서 97%**의 성공률을 보인 반면, 새로운 네트워크는 실패율이 **56%**에 불랬습니다. (참고: 문맥상 새로운 네트워크의 실패율이 훨씬 낮음을 의미함)

"아하!" 모먼트 (깨달음):
가장 흥리학적인 발견은 네트워크가 실제로 무엇을 학습했는가였습니다. 조용한 방에서 네트워크는 자연스럽게 가장 성능이 좋았던 고정 설정과 유사한 낮은 "신뢰" 값(약 0.25)을 사용하도록 학습되었습니다. 하지만 울림이 있는 방에서는 훨씬 더 신중해져야 한다는 것을 깨닫고, 신뢰 수준을 0.02에서 0.1 사이로 낮추었습니다. 이는 네트워크가 소음이 많고 울림이 있는 환경에서는 왜곡된 단일 소리 스냅샷에 겁을 먹기보다, 축적된 과거 기록에 의존하는 것이 더 안전하다는 것을 스스로 알아냈음을 시사합니다.

한계점:
이 결과들은 시뮬레이션에서 나온 결과라는 점에 유의해야 합니다. 데이터는 실제 집 안의 마이크가 아닌, 방 안의 음파를 모방하는 컴퓨터 프로그램으로 생성되었습니다. 시뮬레이션 속의 화자는 일정한 속도로 움직였으므로, 갑자기 멈추거나 출발하거나 방향을 급격히 바꾸지 않았습니다. 저자들은 이 방법이 중요한 진전이지만, 매우 잔향이 심한 실제 환경과 예측 불가능하게 움직이는 화자를 대상으로 한 테스트가 여전히 필요하다고 인정했습니다.

요약하자면, 이 논문은 컴퓨터에게 단순히 엄격한 규칙을 따르는 대신, 새로운 정보를 얼마나 신뢰해야 하는지 "생각"하는 법을 가르침으로써, 복잡하고 시끄러운 환경에서 목소리를 추적하는 훨씬 더 나은 시스템을 구축할 수 있음을 시사합니다. 이는 경직된 로봇에서 더 직관적이고 적응력 있는 청취자로 나아가는 과정입니다.