Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

기술 요약: 고래 울음소리의 약한 감독 기반 탐지 및 시간적 국소화

문제 제기
수동 음향 모니터링 (PAM) 시스템은 해양 사운드스케이프의 연속적이고 수 개월 간의 녹음을 생성하며, 종종 테라바이트 규모의 데이터를 총합합니다. 고래 발성 탐지는 개체군 모니터링 및 보전 (SDG 14 지원) 에 중요하지만, 자동화된 분석은 주석 비용이라는 심각한 병목 현상에 직면해 있습니다. 현재 주로 합성곱 신경망 (CNN) 을 사용하는 딥러닝 접근법은 분류를 위한 이진 존재/부재 레이블과 국소화를 위한 정밀한 시간적 경계 (시작/종료 시간) 라는 두 가지 구별되고 비용이 많이 드는 주석 작업을 요구합니다.

• 불일치: 30 분 녹음에 이진 레이블을 할당하는 데는 몇 초가 걸리는 반면, 해당 녹음 내의 개별 울음소리를 모두 타임스탬프하는 데는 전문가의 수시간이 소요됩니다.
• 기존 방법의 한계: 표준 CNN 과 기반 모델은 일반적으로 고정된 크기의 짧은 지속 시간 입력 (예: ≤15 초) 으로 작동합니다. 장기간 스트림 (수 분에서 수 시간) 을 처리하기 위해 이러한 방법은 시간적 압축 또는 윈도우 선택 휴리스틱에 의존하는데, 이는 성능을 저하시키고 프레임 수준의 감독 없이 시간적 국소화를 제공하지 못합니다. 결과적으로 완전히 감독된 모델은 긴 입력 (예: 1800 초 녹음에서 F1 점수가 약 0.8 에서 약 0.2 로 하락) 에서 성능이 크게 저하되며, 비용이 많이 드는 인스턴스 수준의 주석이 없으면 울음소리를 국소화할 수 없습니다.

방법론: DSMIL-LocNet
저자들은 오직 녹음 수준 (가방 수준) 의 존재/부재 레이블만을 사용하여 분류와 시간적 국소화를 모두 수행하는 약한 감독 프레임워크인 DSMIL-LocNet(이중 스트림 다중 인스턴스 학습 - 국소화 네트워크) 을 제안합니다.

1. 다중 인스턴스 학습 (MIL) 공식화:

   • 각 장기간 녹음은 여러 개의 비겹치는 짧은 세그먼트인 "인스턴스"($x^j_i$) 를 포함하는 "가방"($B_i$) 으로 간주됩니다.
   • 모델은 전체 가방에 대한 단일 이진 레이블 $y_i \in \{0, 1\}$ (어떤 울음소리가 존재하는지 여부 표시) 만 받으며, 특정 인스턴스 레이블은 훈련 중에 알려지지 않은 (잠재적) 상태로 남습니다.
   • 목표는 울음소리를 포함하는 인스턴스에는 높은 확률을, 배경 소음에는 낮은 확률을 할당하는 주의력 가중치 ($\alpha^j_i$) 를 학습하는 것입니다.

2. 이중 스트림 아키텍처:

   • 스펙트럼 스트림: 주파수 변조를 포착하기 위해 잔류 블록을 갖춘 CNN 인코더를 사용하여 멜 스펙트로그램 (STFT 에서 유래) 을 처리합니다.
   • 시간적 스트림: 오디오 파형에서 직접 추출된 수동 제작 시간적 특징을 처리하며, 여기에는 RMS 에너지, 제로 크로싱률 (ZCR), 피크 진폭, 포락선 통계, 시간적 중심점이 포함됩니다.
   • 융합: 융합 모듈은 가변적인 소음 조건과 울음소리 유형에 적응하기 위해 두 스트림의 특징을 동적으로 가중치 부여하여 결합합니다.

3. 주의력과 국소화:

   • 모델은 가방 내의 소프트맥스 함수를 통해 각 인스턴스에 대한 가중치 $\alpha^j_i$를 계산하는 주의력 메커니즘을 사용합니다.
   • 분류: 가방 수준의 예측은 인스턴스 임베딩의 가중합입니다.
   • 국소화: 시간적 국소화는 특정 임계값을 초과하는 인스턴스를 식별함으로써 달성됩니다. 이를 통해 모델은 훈련 중에 프레임 수준의 레이블을 전혀 보지 않고도 타임스탬프를 출력할 수 있습니다.

4. 손실 함수:
   훈련 목적 함수는 장기간 생물음향학의 특정 과제를 해결하기 위해 네 가지 구성 요소를 결합합니다:

   • 포칼 이진 교차 엔트로피 ($L_{BCE}$): 클래스 불균형 (희귀한 양성 울음소리) 을 해결합니다.
   • 시간적 부드러움 ($L_{temp}$): 울음소리의 연속성을 반영하기 위해 인접한 인스턴스 간의 일관된 주의를 장려합니다.
   • 희소성 ($L_{sparsity}$): 모델이 관련 세그먼트의 소수에만 집중하도록 보장합니다.
   • 인스턴스 일관성 ($L_{inst}$): 일관된 특징 표현을 촉진합니다.

주요 기여

1. 약한 감독 공식화: 저자들은 다중 분간 녹음당 단일 이진 레이블만 요구하는 MIL 문제로 장기간 고래 울음소리 분석을 공식화하여, 비용이 많이 드는 프레임 수준 주석에 대한 의존성을 제거했습니다.
2. 이중 스트림 아키텍처: 그들은 스펙트럼 CNN 특징과 수동 제작 시간적 특징을 결합하고, 긴 가방에서의 주의력 희석, 클래스 불균형, 시간적 일관성을 처리하기 위해 다중 구성 요소 손실 함수를 활용하는 네트워크를 도입했습니다.
3. 동시 분류 및 국소화: 이 프레임워크는 단일 세트의 학습된 주의력 가중치가 가방 수준 분류와 인스턴스 수준 시간적 국소화 모두에 사용될 수 있음을 입증했습니다.

실험 결과
이 방법은 높은 배경 소음 (73–99.9%) 을 가진 1,880.25 시간의 남극 고래 녹음으로 구성된 AcousticTrends BlueFinLibrary에서 평가되었습니다.

• 장기간 성능: DSMIL-LocNet 은 300 초에서 1800 초까지의 녹음에서 F1 점수 0.88–0.91을 달성했습니다. 반면, 완전히 감독된 CNN 베이스라인 (ANIMAL-SPOT, DeepWhaleNet 등) 은 시간적 압축으로 인한 정보 손실로 인해 이러한 지속 시간에서 F1 점수 0.19–0.64로 크게 저하되었습니다.
• 국소화 능력: 추가 주석 없이 시간적 국소화를 제공하지 않는 감독된 베이스라인과 달리, DSMIL-LocNet 은 울음소리를 성공적으로 국소화했습니다.
• 지속 시간 트레이드오프:
  • 분류: 울음소리를 포함할 가능성이 증가함에 따라 가방 지속 시간이 길어질수록 (최대 1800 초까지) 성능이 향상되었습니다.
  • 국소화: 정밀도는 짧은 가방 지속 시간 (60–120 초) 에서 정점을 찍었으며, 더 많은 인스턴스 간의 주의력 희석으로 인해 더 긴 지속 시간 (600 초에서 0.5–0.6) 에서 약간 저하되었습니다. 그러나 저자들은 긴 입력에서 강력한 감독 베이스라인이 제공하는 "국소화 부재"보다 정밀도가 낮아진 국소화라도 더 가치 있다고 지적합니다.
• 애블레이션 연구: 이중 스트림 설계 또는 다중 구성 요소 손실을 제거하면 성능이 크게 저하되어 스펙트럼/시간적 통합과 특정 손실 제약의 필요성이 확인되었습니다.

의의 및 주장
이 논문은 DSMIL-LocNet 이 전문가 시간이 제한된 운영 규모 PAM 배치에 대한 실용적인 해결책을 제공한다고 주장합니다. 값싼 녹음 수준 레이블로부터 탐지와 국소화를 모두 가능하게 함으로써, 이 방법은 짧은 세그먼트 모델 최적화와 연속적이고 장기간의 해양 모니터링 현실 사이의 간극을 메웁니다.

저자들은 이 접근법이 해양 생물음향학에 국한되지 않는다고 강조합니다. 그들은 값싼 가방 수준 레이블을 구조화된 시간적 예측으로 변환한다는 기본 원리는 지진학, 의료 음향학, 육상 생물다양성 조사와 같이 연속 데이터 스트림, 희소 대상 이벤트, 높은 주석 비용이 특징인 모든 도메인에 적용될 수 있다고 제안합니다. 이 연구는 고정 입력 아키텍처를 가진 강력한 감독이 지원하지 못하는 기능 (긴 입력에서의 결합 분류 및 국소화) 을 약한 감독이 제공할 수 있음을 보여줍니다.