A Residual Neural Network Framework for Rotating Sound Source Localization

모두가 당신 주변을 빙글빙글 돌고 있는 북적이는 방 안에서 단 하나의 목소리를 들으려고 노력하는 모습을 상상해 보십시오. 귀에 도달하는 음파는 끊임없이 피치와 타이밍이 변하며, 이는 누가 말하고 있는지 정확히 짚어내는 것을 거의 불가능하게 만드는 혼란스러운 소음의 덩어리를 만들어냅니다. 이것이 바로 엔지니어들이 풍력 터빈의 블레이드나 제트 엔진 내부의 팬과 같은 회전하는 기계 장치의 소음원을 찾아내기 위해 직면하는 근본적인 과제입니다. 수십 년 동안 과학자들은 이러한 소리를 포착하고 어디에서 발생하는지 지도화하기 위해 마이크 배열을 사용해 왔습니다. 그러나 소음원이 회전할 때, 그 움직임은 구급차가 속도를 내며 지나갈 때 사이렌의 피치가 변하는 것과 마찬가지로 음파를 왜곡시키는 도플러 효과(Doppler effect)라는 현상을 일으킵니다. 이러한 왜곡을 풀어내기 위한 전통적인 방법들은 종-종 느리고 계산량이 많으며, 실제로는 아무것도 없는 곳에 소음원이 존재하는 것처럼 나타나는 '고스트(ghost)' 신호, 즉 가짜 경보를 생성하기 쉽습니다.

상하이 교통 대학교(Shanghai Jiao Tong University)와 AECC 상업용 항공기 엔진 유한공사(AECC Commercial Aircraft Engine Co., Ltd.)의 연구진은 컴퓨터가 회전하는 소음의 패턴을 직접 인식하도록 가르침으로써 이 문제를 해결하는 새로운 접근 방식을 개발했습니다. 이들은 복잡한 수학 공식을 사용하여 회전 운동을 수동으로 보정하는 대신, 잔차 신경망(Residual Neural Network, ResNet)이라는 유형의 인공지능을 훈련시켜 마이크로부터 들어오는 원시 데이터를 보고 실제 소음의 위치를 즉각적으로 식별하도록 했습니다. 일련의 상세한 컴퓨터 시뮬레이션에서 이 새로운 시스템은 놀라울 정도로 효과적임을 입증했습니다. 이 시스템은 여러 개의 회전하는 지점에서 동시에 소음이 발생할 때도 최대 98.83%의 정확도로 회전하는 소음원을 성공적으로 찾아냈습니다. 가장 인상적인 점은, 이 시스템이 현재 사용되는 기존 방식보다 수십 배 빠른 50밀리초(ms) 미만의 시간 내에 이러한 결정을 내렸다는 것입니다. 기존 방식들은 동일한 정보를 처리하는 데 몇 초가 걸릴 수 있습니다.

이 혁신의 핵심은 연구진이 컴퓨터가 학습할 수 있도록 데이터를 준비하는 방식에 있습니다. 표준적인 음향 분석에서 과학자들은 서로 다른 마이크로부터 오는 음파가 서로 어떻게 연관되어 있는지를 보여주는 지도 역할을 하는 교차 스펙트럼 행렬(cross-spectral matrix)이라는 수학적 도구를 자주 사용합니다. 정지된 물체의 경우 이 지도는 명확하고 읽기 쉽습니다. 하지만 회전하는 물체의 경우, 지도는 도플러 효과에 의해 뒤섞여 전통적인 알고리즘이 실제 소음원과 잡음을 구별하기 어렵게 만듭니다. 연구진은 모드 합성 빔포밍(mode composition beamforming)이라고 알려진 특정 기술이 이 뒤섞인 데이터를 회전 상황을 고려하면서도 필수적인 공간 정보를 보존하는 형식으로 재구성할 수 있다는 점을 깨달았습니다. 이들은 이 재구성된 데이터를 자신들의 신경망에 입력했는데, 이 신경 network는 매우 큰 컴퓨터 모델을 훈련할 때 흔히 발생하는 문제인 혼란이나 길을 잃는 현상 없이 깊고 복잡한 패턴을 학습할 수 있도록 특수한 구조로 설계되었습니다.

시스템을 테스트하기 위해 팀은 회전하는 소음원의 속도, 주파수 및 강도가 다양한 수천 개의 시뮬레이션 시나리오를 만들었습니다. 이들은 실제 산업 진단에 사용되는 장비를 모방하여 원형으로 배치된 16개의 마이크로 구성된 마이크 어레이를 사용했습니다. 시뮬레이션은 분당 500회에서 2500회(RPM) 사이의 속도로 회전하며 4500에서 5000 헤르츠(Hz)의 고주파 범위를 방출하는 소음원을 포함하여 광범위한 조건을 다루었습니다. 또한 연구진은 마이크 어레이를 회전하는 소음원의 평면에 평행하게 또는 수직으로 배치하는 등 다양한 기하학적 배치 조건에서도 시스템을 테스트했습니다. 모든 경우에서 신경망은 올바른 소음원의 개수와 정확한 위치를 식별해 냈으며, 오래된 방식들을 괴롭히는 가짜 신호들을 효과적으로 걸러냈습니다.

이 시스템의 가장 중요한 발견 중 중 하나는 "고스트(ghost)" 기여를 제거하는 능력이었습니다. 전통적인 빔포밍에서는 회전에 의한 왜곡이 실제로 존재하지 않는 주파수에서 소음원의 환영 이미지를 만들어내는 경우가 많습니다. 이러한 고스트들은 엔지니어가 단 하나의 문제만 있는데도 여러 개의 소음 문제가 있는 것으로 오해하게 만들거나, 결정적인 결함의 실제 위치를 가릴 수 있습니다. 그러나 새로운 ResNet 기반 프레임워크는 이러한 아티팩트(artifact)를 완전히 무시하도록 학습되었습니다. 시스템이 최대 6개의 서로 다른 회전 소음원에 의해 도전받는 테스트에서도, 이 시스템은 단 하나의 거짓 양성(false positive)도 생성하지 않고 모두 정확하게 식별했습니다. 이러한 수준의 정밀도는 항공기 엔진의 결함을 진단하는 것과 같이, 소음의 정확한 출처를 식별하는 것이 치명적인 실패를 방지할 수 있는 응용 분야에서 매우 중요합니다.

새로운 방법의 속도는 실무 공학 측면에서 또 다른 주요 이점을 제공합니다. ROSI라고 알려진 전통적인 시간 영역 방식이 단일 사례를 분석하는 데 4초 이상 걸릴 수 있고, 주파수 영역의 MCB 방식이 800밀리초 이상 걸리는 반면, 이 신경망은 50밀리초 미만에 답을 제공합니다. 이러한 획기적인 처리 시간의 단축은 이 시스템이 결국 실시간 모니터링에 사용될 수 있음을 의미하며, 이를 통해 엔지니어들이 분석 결과를 기다리는 대신 기계가 작동하는 동안 그 상태를 관찰할 수 있게 해줍니다. 연구진은 마이크 구성이 훈련된 것과 일치할 때 시스템이 가장 잘 작동하며, 시뮬레이션을 위해 필요한 방대한 양의 훈련 데이터를 생성하는 데 상당한 시간과 컴퓨팅 파워가 소요되었다고 언급했습니다. 그러나 모델이 일단 훈련되면, 수동 계산이 따라올 수 없는 일관성과 속도로 작동합니다.

이 연구는 또한 현재 접근 방식의 한계와 이 새로운 프레임워크의 구체적인 강점을 강조했습니다. 연구진은 단순히 신경망을 더 깊거나 복잡하게 만든다고 해서 항상 더 나은 결과가 보장되는 것은 아니라는 것을 발견했습니다. 실제로 훈련 데이터가 불충분할 경우, 더 복잡한 모델이 더 단순한 모델보다 성능이 떨어졌습니다. 이는 훈련 데이터의 질과 양이 네트워크의 구조 자체만큼이나 중요하다는 것을 시사합니다. 또한, 시스템이 테스트된 시뮬레이션 환경에서는 탁월한 성능을 보였지만, 예측 불가능한 배경 소음이나 서로 다른 물리적 설정과 같은 실제 환경에서는 추가적인 적응이 필요하다는 점을 연구진은 인정했습니다. 그들은 향후 연구가 시뮬레이션 데이터와 실제 실험 데이터를 결합하여 시스템을 더욱 견고하고 적응력 있게 만드는 방향으로 진행될 수 있다고 제안했습니다.

궁극적으로, 이 연구는 엔지니어들이 회전하는 소음에 접근하는 방식의 변화를 나타냅니다. 엄격한 수학적 보정에서 벗어나 데이터 기반의 학습 접근 방식으로 이동함으로써, 연구진은 회전하는 기계의 왜곡을 전례 없는 명확함으로 꿰뚫어 보는 것이 가능하다는 것을 입증했습니다. 표준 16개 마이크 어레이를 사용하여 소음 경로의 정확한 물리적 특성을 알 필요 없이 거의 완벽한 충실도로 소음원을 국지화할 수 있는 능력은 소음 제어 및 기계 진단의 새로운 문을 열어줍니다. 이 기술이 성숙해짐에 따라, 이는 우리가 사용하는 기계의 소리를 듣는 방식을 변화시켜, 혼란스러운 소음의 소용돌이를 소음이 어디에서 오는지에 대한 명확하고 실행 가능한 지도로 바꾸어 놓을 것을 약속합니다.