Acoustic Data Synthesis for Evaluating Noise Reduction in Bioacoustic Event Detection

기술 요약: 생물음향 이벤트 탐지에서의 소음 저감 평가를 위한 음향 데이터 합성

문제 정의
수동 음향 모니터링(PAM)은 음향 환경 이벤트(생물음향, 지질음향, 인공음향)를 분석하여 해양 생태계의 건강성을 평가하는 데 점점 더 많이 사용되고 있습니다. 그러나 이러한 녹음 데이터의 유용성은 선박, 어업, 지진 조사 및 기기 아티팩트와 같은 원인에서 발생하는 높은 수준의 지속적인 소음으로 인해 종종 저해됩니다. 이러한 소음은 낮은 신호 대 잡음비(SNR)를 초결과하여, 사운드 이벤트 탐지(SED) 시스템이 이벤트를 분리하고 분류하는 능력을 방해합니다.

소음 저감(NR) 프런트엔드는 음향 분석 전 신호 품질을 향상시키기 위해 음성 처리와 같은 다른 분야에서 흔히 사용되는 전략이지만, 해양 생물음향 분야에서의 적용은 아직 충분히 탐구되지 않았습니다. 핵심적인 과제는 NR 알고리즘이 입력의 시공간적 특성을 변화시켜 다운스트림 임베딩 네트워크의 입력 분포를 변경한다는 점입니다. 통제된 테스트 환경 없이는, 전처리 단계가 실제로 탐지를 개선하는지 아니면 의도치 않게 모델 성능을 저하시키는지 결정하기 어렵습니다. 또한, 기존의 생물음향 데이터셋은 이벤트가 노이즈 환경으로부터 고립되어 기록되는 경우가 드물기 때문에 "깨끗한" 정답(ground truth) 레이블이 부족하며, 이로 인해 엄격한 평가를 위해 알려진 SNR 수준을 가진 데이터를 합성하는 것이 어렵습니다.

방법론
저자들은 제어 가능한 파라미터(SNR, 이벤트 개수, 지속 시간, 소음 기원)를 갖춘 해양 음향 녹음을 생성하도록 설계된 오픈 소스 데이터 합성 툴박스를 제안합니다. 이 방법론은 네 가지 주요 단계로 구성됩니다:

1. 이벤트 존재 마스크 생성:
   기존 녹음에서 배경 소음으로부터 이벤트 에너지를 분리하기 위해, 저자들은 비음수 행렬 분해(NMF)를 활용합니다. 이들은 수동으로 선택된 녹음의 파워 스펙트로그램을 기저 스펙트럼(basis spectra)과 시간적 활성화(temporal activations)로 분해합니다. 배경 소음이 정상 상태(stationary)라고 가정함으로써, 저자들은 이벤트 에너지가 존재하지 않도록 설계된 첫 1초 구간으로부터 소음 파워 스펙트럼을 추정합니다. 그 후 잔여 파워(재구성된 스펙트로그램에서 추정된 소음을 뺀 값)를 임계값 처리하여 이진 시간-주파수 마스크를 생성합니다. 이 마스크는 이벤트 에너지를 포함하는 시간-주파수 빈(bin)을 식별하여, "깨끗한" 이벤트 추정치를 추출할 수 있게 합니다.

2. 녹음 합성:
   툴박스는 추출된 "깨끗한" 이벤트 성분을 선택된 배경 소음 파편과 혼합하여 새로운 녹음을 합성합니다. 합성은 단시간 푸리에 변환(STFT)을 사용하여 시간-주파수 영역에서 수행됩니다. 이벤트 성분은 소음 성분에 대해 특정 목표 SNR을 달ach하기 위해 계수 $\sigma$에 의해 스케일링됩니다. 이 과정은 $Y_{syn} = E_{syn} + N_{rec}$ 형태의 합성 신호를 생성하며, 소스 파일, 이벤트 시작/종료 시점, 이진 이벤트 마스크, 그리고 사용된 스케일링 계수를 명시적으로 상세히 기술한 메타데이터 파일을 동반합니다.

3. 소음 저감 평가:
   툴박스의 유용성을 입증하기 위해, 저자들은 전처리 단계로 단순한 위너 필터(Wiener filter)를 적용합니다. 이 필터는 시간-주파수 영역에서 작동하며, 이벤트 파워 스펙트럼 밀도(PSD)를 재귀적으로 추정하고 전체 신호 PSD에 대한 비율을 기반으로 이득 함수를 적용합니다. 필터 파라미터(망각 계수 $\beta$ 및 최소 이득 $\xi$)는 소음 저감과 뮤지컬 노이즈(musical noise) 아티팩트의 최소화 사이의 균형을 맞추기 위해 튜닝되었습니다.

4. 실험 설정:
   저자들은 SNR 수준이 -15 dB에서 20 dB 사이이며, 파일당 이벤트가 0개 또는 1개인 1,600개의 녹음(각 10초, 48 kHz) 데이터셋을 생성했습니다. 이들은 선형 분류기를 훈련시킨 5개의 사전 훈련된 생물음향 모델(Perch V2, SurfPerch, BirdNET, BioLingual, Google Whale)을 평가했습니다. 성능은 F1-score와 ROC-AUC를 통해 측정되었으며, 가공되지 않은 노이즈 데이터와 위너 필터링된 데이터 간의 결과를 비교했습니다.

주요 기여

• 오픈 소스 툴박스: 정밀하게 제어된 SNR 및 이벤트 존재 여부와 함께 정답 이진 시간-주파수 마스크를 제공하는 생물음향 데이터 합성 도구의 도입.
• 평가 프레임워크: 실제 생물음향 데이터에 존재하는 "깨끗한" 정답의 부재 문제를 해결하기 위해, 소음 저감 전처리 단계가 SED 파이프라인에 미치는 영향을 격리하고 평가하는 방법론.
• 경험적 분석: 다양한 SNR 수준에서 서로 다른 사전 훈련된 모델들이 소음 저감에 어떻게 반응하는지에 대한 체계적인 조사, 이를 통해 전처리의 효능이 모델에 따라 달라짐을 강조.

결과
평가는 다음과 같은 몇 가지 핵심적인 발견을 도출했습니다:

• SNR 의존성: 모든 모델은 SNR이 감소함에 따라 성능(F1 및 ROC-AUC) 저하를 보였습니다. 특히, SNR 수준이 -5 dB 미만일 때 모든 모델은 무작위 선택 수준의 성능(ROC-AUC $\approx$ 0.5)을 보였으며, 이는 현재의 모델들이 소음으로부터 이벤트를 구별해내는 데 실패하는 임계점을 나타냅니다.
• 모델 의존적 개선: 위너 필터의 영향은 모델마다 균일하지 않았습니다. 베이스라인 성능이 가장 낮았던 "Google Whale" 모델은 소음 저감 후 가장 큰 폭의 개선을 보였습니다. 반대로, 전반적으로 가장 우수한 성능을 보였던 "SurfPerch" 모델은 필터로부터 얻은 이득이 미미했습니다.
• 필터의 한계: 단순한 위너 필터는 매우 낮은 SNR에서는 제한적인 소음 저감을 제공했으나, 입력 SNR이 증가함에 따라 성능 향상 폭이 커지는 양상을 보였습니다.

의의 및 주장
본 논문은 데이터의 통제된 합성이 소음 저감 전처리 단계를 생물음향 탐지 파이프라인에서 격리하여 효과를 검증하는 데 필수적이라고 주장합니다. 저자들은 자신들의 툴박스가 연구자들에게 다음을 가능하게 한다고 주장합니다:

1. 소음 저감 전략이 실제로 탐지 성능을 개선하는지, 아니면 단순히 모델을 혼란스럽게 만드는 방식으로 입력 분포를 변경하는지를 엄격하게 테스트할 수 있음.
2. 모델의 견고성을 높이기 위해 기존 데이터셋을 새로운 통제된 소음 시나리오로 증강할 수 있음.
3. "최적의" 소음 저감 전략은 보편적이지 않으며, 다운스트림 탐지 모델의 특정 아키텍처 및 훈련 방식에 크게 의존한다는 점을 이해할 수 있음.

저자들은 자신들의 구현체(단순 위너 필터)가 유망한 결과를 보여주었지만, 이 프레임워크가 통제된 평가 환경 내에서 딥러닝 기반 디노이징이나 어레이 프로세싱과 같은 더 발전된 기술을 탐구할 수 있는 토대를 제공한다고 결론지었습니다. 이들은 운영적인 탐지 파이프라인에 프로세싱 단계를 통합하기 전에 신중한 평가가 필요함을 강조합니다.