기술 요약: 판타날 생물 다양성 모니터링을 위한 조류를 넘어선 사전 학습

문제 정의

수동 음향 모니터링(PAM)은 생물 다양성 평가를 위한 확장 가능한 솔루션을 제공하지만, 자동 종 식별은 다중 분류군 생태계에서 여전히 어렵습니다. 이 연구가 다루는 구체적인 과제는 브라질 판타날 습지의 5개 분류군(조류, 양서류, 곤충류, 포유류, 파충류)에 걸친 234종을 대상으로 하는 BirdCLEF 2026 경진대회입니다.

식별된 핵심 난제는 다음과 같습니다:

1. 다중 분류군 복잡성: 기존의 딥러닝 모델은 주로 조류의 발성음에 맞춰 학습되었습니다. 이 모델들은 대상 종의 30.8%를 차지하는 비조류 분류군을 구별하는 데 필요한 음향 특징 표현 능력이 부족합니다.
2. 심각한 클래스 불균형: 레이블이 지정된 훈련 세트는 매우 편향되어 있습니다. 조류는 대상 종의 69.2%를 차지함에도 불구하고 레이블링된 클립의 97.9%를 차지합니다. 비조류 분류군 및 특정 곤충 소리 형태(sonotypes)는 레이블링된 훈련 예시가 거의 없거나 전혀 없습니다.
3. 준지도 학습 제약: 평가 데이터의 상당 부분(레이블이 없는 10,658개의 사운드스케이프)은 의사 레이블링(pseudo-labeling)을 통해 활용되어야 하지만, 이러한 레이블의 품질은 모델의 보정(calibration) 및 신뢰도 임계값에 매우 민감합니다.

방법론

저자들은 체계적인 사전 학습, 준지도 학습, 앙상상블 방법 및 후처리 과정을 포함하는 종합적인 딥러닝 파이프라인을 제안합니다.

1. 데이터 및 전처리

• 입력: 32 kHz로 리샘플링된 5초 길이의 오디오 세그먼트를 256×256 로그-멜 스펙트로그램으로 변환합니다.
• 외부 사전 학습 코퍼스: 비조류 데이터의 부족을 해결하기 위해 9,257종에 걸친 760,008개의 클립으로 구성된 코퍼스를 구축했습니다. 여기에는 XenoCanto/BirdCLEF의 조류 데이터와 iNaturalist의 비조류 데이터(양서류, 곤충류, 포유류, 파충류)가 포함됩니다.
• 증강(Augmentation): SpecAugment, XY 마스킹, 무작위 필터링, 배경 소음 혼합, 소프트 의사 레이블 혼합 기법을 사용합니다.

2. 모델 아키텍처

• 백본(Backbone): ImageNet 가중치로 초기화되어 미세 조정된 EfficientNetV2-S를 사용합니다.
• 헤드(Head): 다음을 포함하는 음향 이벤트 탐지(SED) 헤드입니다:
  • GeMFreq 풀링: 주파수 축을 따라 특징을 집계하기 위한 일반화 평균 주파수(Generalized Mean Frequency) 풀링.
  • AttHead: 병렬 어텐션 및 분류 브랜치를 갖춘 어텐션 기반 분류 헤드.
• 대안 브랜치: Perch 임베딩과 양방향 상태 공간 모델(SSM)을 사용하여 장기적인 시간적 의존성을 포착하는 ProtoSSM 브랜치입니다.

3. 학습 전략

• 다중 분류군 사전 학습: 백본을 9,257종의 외부 코퍼스에서 먼저 사전 학습한 후 대회 데이터에 대해 미세 조정합니다.
• 준지도 학습 (의사 레이벨링): 레이블이 없는 사운드스케이프로부터 소프트 의사 레이블을 생성합니다. 핵심적인 발견은 "보정-품질 역설(calibration-quality paradox)"(아래 상세 설명)과 관련된 것으로, 더 약한 교사 모델(AUROC 0.930)이 더 높은 평균 신뢰도(0.861)를 가질 때, 더 강력하고 잘 보정된 교사 모델(AUROC 0.946, 신뢰도 0.257)보다 더 나은 의사 레이블을 생성한다는 점입니다.
• 앙상블: 최종 시스템은 다음의 예측을 혼합합니다:
  • 여러 EfficientNetV2-S 변형 (SED 헤드).
  • HGUNet-SED 모델.
  • ProtoSSM 브랜치.
  • 혼합 비율은 최적화됩니다 (예: SED/ProtoSSM에 대해 65/35).

4. 추론 및 후처리

• 테스트 시 증강 (TTA): 추가 세그먼트를 생성하기 위해 시간적 이동(2.5s 오프셋)을 적용합니다.
• 분류학적 평활화 (Taxonomic Smoothing): 개별 종의 예측을 해당 종의 속(genus, $\alpha=0.15$) 및 강(class, $\alpha=0.05$)의 평균 예측과 혼합하는 비용 없는 후처리 단계입니다.
• 배포: 90분 실행 시간 제한을 충족하기 위해 모델을 OpenVINO IR 형식으로 변환하여 CPU 전용 추론을 수행합니다.

주요 기여

본 논문은 288회의 체계적인 실험을 통해 도출된 세 가지 주요 기여를 강조합니다:

1. 다중 분류군 백본 사전 학습: 조류 전용 데이터에서 9,257종(비조류 포함)의 다양한 코퍼스로 사전 학습을 확장하는 것은 조류 종의 수를 단순히 늘리는 것보다 더 유익하다는 것을 입증하며, 조류 전용 사전 학습 대비 +0.016 AUROC의 향상을 가져왔습니다. 이는 사전 학습에서의 분류학적 다양성이 중요함을 보여줍니다.
2. 보정-품질 역설 (The Calibration-Quality Paradox): 저자들은 의사 레이블 생성에서 나타나는 역설적인 현상을 식별했습니다. 더 잘 보정된 교사 모델이 오히려 더 낮은 품질의 의사 레이블을 생성하고, 덜 보정되었지만 더 높은 신뢰도를 가진 교사 모델보다 다운스트림 성능을 저하시켰습니다. 이는 생물 음향학 분야의 반복적 자기 학습(self-training) 전에 신뢰도 재보정 또는 샤프닝(sharpening)이 필요함을 시사합니다.
3. 분류학적 평활화: 알려진 생태적 공생 패턴을 활용하여 예측을 분류학적 평균과 혼합하는 후처리 기법입니다. 이는 추가적인 학습 비용 없이 일관된 +0.001 AUROC 이득을 제공합니다.

결과

제안된 파이프라인은 BirdCLEF 2026 리더보드에서 다음과 같은 성능을 달了:

• 공개 리더보드 (Public Leaderboard): AUROC 0.960 (분류학적 평활화 적용 후).
• 비공개 리더보드 (Private Leaderboard): AUROC 0.959 (분류학적 평활화 적용 후).
• 순위: 선정된 제출물 중 19위, 미선정 제출물 중 3위.

절제 연구(Ablation studies)를 통해 다중 분류군 사전 학습이 가장 큰 단일 성능 향상(+0.016)을 제공했으며, 그 뒤를 다양한 아키텍처의 앙상블과 ProtoSSM 브랜치가 이었다는 것을 확인했습니다. 시스템은 TTA와 혼합 HGUNet 앙상블 전략을 사용하는 구성이 공개 및 비공개 LB 점수 모두에서 0.959를 달성함으로써, 공개 세트에 대한 과적합이 없음을 보여주었습니다. 그러나 최종적인 분류학적 평활화 단계는 공개 세트의 종 공생 분포에 대한 경미한 과적합을 유발하여, 공개 점수를 0.960으로 높인 반면 비공개 점수는 (평활화 전의 0.959에서) 0.954로 약간 감소시켰습니다.

의의 및 주장

저자들은 본 연구가 보전 적용을 위한 다중 분류군 생물 음향 모니터링에 실질적인 지침을 제공한다고 주장합니다. 구체적으로:

• 조류학을 넘어: 본 연구 결과는 조류 모니터링을 넘어 PAM 애플리케이션을 확장할 때, 분류학적으로 다양한 데이터로 사전 학습하는 것이 모델 성능에 결정적임을 확립합니다.
• 준지도 학습의 모범 사례: 보정-품질 역설의 식별은 자기 학습 파이프라인 설계를 위한 새로운 휴리스틱을 제공하며, 생물 음향 분야에서는 보정 지표보다 원시 신뢰도(raw confidence)가 의사 레이블 선택에 더 가치 있는 지표일 수 있음을 시사합니다.
• 효율성: 분류학적 평활화는 생태적 사전 지식을 활용하여 정확도를 높이는 계산 비용이 들지 않는 방법을 제공하지만, 비공개 데이터셋에 대한 일반화 가능성을 신중히 고려해야 합니다.

저자들은 모든 코드와 모델 가중치가 연구 촉진을 위해 공개되어 있으며, 모든 결과가 광범위한 절제 연구를 통한 재현 가능한 증거에 의해 뒷받침됨을 강조합니다.