기술 요약: PULSE를 통한 곤충 노래의 해독

문제 정의

수동 음향 모니터링(PAM)은 서식지 건강과 생물 다양성을 평가하는 데 중요한 도구이지만, 기존의 자동화된 머신러닝(ML) 도구들은 종종 좁게 학습되어 새로운 환경으로의 전이성이 부족합니다. 조류와 박쥐의 생물 음향학 분야에서는 상당한 진전이 이루어졌으나, 직사매미(Orthoptera, 귀뚜라미 및 여치류)를 위한 오픈 소스 ML 도구는 눈에 띄게 부재합니다. 이러한 격차는 두 가지 주요 과제에 의해 발생합니다:

1. 데이터 부족: 다른 분류군에 비해 Orthoptera에 특화된 대규모 오픈 액세스 사운드 라이브러리가 부족합니다.
2. 도메인 변화 및 신호 복잡성: 많은 종이 거의 연속적으로 울기 때문에 Orthoptera의 신호는 추출하기 어렵고, 이로 인해 빈번한 중첩 호출이 발생합니다. 또한, 큐레이션된 사운드 라이브러리의 참조 호출은 실제 현장의 "무질서한" 녹음보다 품질이 높고 노이즈가 적은 경우가 많아, 깨끗한 데이터로 학습된 모델은 현장에서 성능이 저하됩니다.

방법론: PULSE 프레임워크

저자들은 이를 해결하기 위해 Orthoptera 생물 음향학을 위해 설계된 준지도 학습 기반의 멀티태스크 프레임워크인 PULSE(Passive acoUstic Latent-Space Encoder)를 제안합니다. 이 프레임워크는 제한된 라벨링 데이터와 풍부한 라벨 미지정 현장 녹음 모두를 활용하기 위해 세 가지 뚜렷한 최적화 목표를 통합합니다.

1. 데이터 구성

• 라벨링된 데이터: ECOSoundSet, Xeno-canto, iNaturalist에서 가져온 영국 고유종 또는 서식 종인 19종의 Orthoptera 하위 집합.
• 라벨 미지정 데이터: 영국 옥스퍼드셔 10개 지역에서 수집된 약 150GB의 대규모 라벨 미지정 현장 녹음.
• 능동 학습(Active Learning): 모델을 반복적으로 개선하기 위해 DIRECT 방법을 사용하여 현장 데이터의 일부를 전문가가 수동으로 라벨링함.

2. 아키텍처

프레임워크는 오디오를 멜 스펙트로그램으로 변환하고 임베딩($e$)을 생성하기 위해 VGGish 백본을 사용합니다. 이 임베딩은 세 가지 병렬 작업의 입력으로 사용됩니다:

• 지도 학습 분류(Supervised Classification): 여러 종이 동시에 울 수 있는 멀티 라벨 녹음 특성을 처리하기 위해 이진 교차 엔트로피 손실($L_{cls}$)을 사용하여 최적화된 분류 헤드($h_{cls}$).
• 생태적 사전 지식(Ecological Prior, 지식 증류): 큐레이션된 라이브러리와 현장 데이터 사이의 간극을 메우기 위해, 모델은 고정된 범용 BirdNET 모델의 임베딩과 자신의 임베딩을 일치시킵니다. 이는 라벨 미지정 데이터에 대해 평균 제곱 L2 손실($L_{mse}$)을 통해 달성되며, 일반적인 생태 음향 지식을 전이합니다.
• 자기 지도 학습(Self-Supervised Learning, SSL): 로컬 음향 프로파일에 적응하기 위해, 프레임워크는 BYOL(Bootstrap Your Own Latent) 방식을 채택합니다. 온라인 네트워크와 지수 이동 평균을 통해 업데이트되는 타겟 네트워크는 동일한 라벨 미지정 현장 데이터의 증강된 뷰(시간 및 주파수 마스킹)에 대한 투영을 서로 예측하도록 학습되며, 이를 통해 $L_{byol}$을 최소화합니다.

3. 공동 최적화

모델은 다음 세 가지 손실 함수의 가중치 합을 최소화하도록 학습됩니다:
$$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$$
라벨 미지정 데이터와 라벨링된 데이터 사이의 상당한 불균형을 고려하여 가중치는 $\alpha_{cls} = 0.9$, $\alpha_{mse} = 0.1$, $\alpha_{byol} = 0.1$로 설정되었습니다.

주요 기여

1. 새로운 프레임워크: 약하게 지도된 분류(weakly-supervised classification), 자기 지도 학습, 지식 증류를 결합하여 Orthoptera 생물 음향학을 위해 특별히 설계된 최초의 준지도 멀티태스크 프레임워크인 PULSE를 도입했습니다.
2. 데이터셋 공개: 능동 학습을 통해 수집된 라벨 하위 집합과 함께 대규모의 영국 현장 녹음 라벨 미지정 데이터셋을 공개했습니다.
3. 생태적 발견 도구: 생태학자들이 임베딩 공간을 탐색하여 종 분리, 지역 특이적 클러스터링, 시간적 변화(예: 시간대에 따른 울음 속도 변화)와 같은 생태적 구조를 드러낼 수 있는 대화형 시각화 도구를 개발했습니다.
4. 음원 분리 프록시: 학습된 임베딩이 종 평균 프로토타입에 대한 비음수 최소 제곱법(NNLS)을 사용하여 중첩된 호출을 "언믹싱(unmix)"할 수 있음을 입증하여, 혼합된 녹음에서 구성 종을 식별해 냈습니다.

실험 결과

모델은 훈련에서 완전히 제외된 3개 지역의 홀드아웃 테스트 데이터로 평가되었습니다.

• 일반 모델 대비 성능: PULSE는 모든 지표에서 최첨단 범용 모델인 Perch 2.0을 크게 앞질렀습니다:
  • Macro F1: 0.21 (PULSE) vs. 0.07 (Perch).
  • Macro AUC: 0.74 (PULSE) vs. 0.45 (Perch).
  • Macro AP: 0.32 (PULSE) vs. 0.19 (Perch).
• 능동 학습의 영향: 현장 데이터의 일부를 라벨링하기 위해 능동 학습을 통합함으로써 성능이 더욱 향상되어, Macro F1은 0.34, Macro AUC는 0.84로 높아졌습니다.
• 임베딩 품질: 1024차원의 임베딩 공간 분석 결과, 891개 차원에서 유의미한 종 간 변이가 나타났습니다. 살리언시 맵(Saliency maps)은 높은 활성화 영역이 핵심 음향 특징(핵심 주파수 대역 및 진폭 피크)과 일치함을 확인했습니다.
• 일반화: 배경 클래스(인위적 소음, 조류, 박쥐, 자연 소음)를 포함하도록 확장했을 때, PULSE는 Orthoptera 클래스에 대해 경쟁력 있는 성능을 유지하면서 배경 소리를 효과적으로 분류했습니다.

의의 및 주장

본 논문은 PUL이 Orthoptera 생물 음향학에 내재된 데이터 부족 및 도메인 변화 문제를 효과적으로 해결한다고 주장합니다. 멀티태스크 접근 방식을 통해 큐레이션된 라이브러리 데이터와 라벨 미지정 현장 녹음을 결합함으로써, 프레임워크는 일반 목적 모델보다 로컬 환경에 더 잘 적응하는 전문 모델을 생성합니다.

저자들은 학습된 임베딩이 생태학적으로 의미 있는 구조를 인코딩하여, 단순한 분류를 넘어 과학적 발견을 용이하게 한다고 강조합니다. 임베딩을 시각화하는 능력은 생태학자들이 종 내 행동 차이(예: 온도에 따른 노래 속도 변화) 및 환경적 동인을 이해하는 데 도움을 줍니다. 궁극적으로 이 연구는 대규모 곤충 PAM을 촉진하여 보전 및 서식지 관리 전략에 필수적인 정보를 제공하는 것을 목표로 합니다. 저자들은 이 도구가 자동화를 진전시키기는 하지만, 모든 보전 과제에 대한 독립적인 솔루션이라기보다는 생태적 추론을 지원하는 수단임을 언급하며 겸허한 태도를 유지하고 있습니다.