YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

기술 요약: YAPAT — 수동 음향 모니터링(PAM) 데이터의 능동 및 약지도 학습 기반 주석 작성을 위한 오픈 소스 플랫폼

1. 문제 정의

수동 음양 모니터링(Passive Acoustic Monitoring, PAM)은 비침습적이고 대규모인 동물의 생물 다양성 평가를 가능하게 하지만, 전문가가 수동으로 주석(annotation)을 달기에는 방대한 양의 오디오 아카이브를 생성한다. 머신러닝(ML)은 종 검출을 자동화할 수 있지만, 고품질의 레이블링된 학습 데이터를 필요로 하며, 이로 인해 기존에 사전 학습된 모델이나 레이블 데이터셋이 존재하는 분류군 및 서식지로 적용이 제한되는 병목 현상이 발생한다.

기존의 주석 도구들은 이러한 과제의 일부를 해결한다: 데스크톱 소프트웨어(예: Raven Pro)는 스펙트로그램 시각화를 제공하고, 자동화 도구(예: BirdNET-Analyzer)는 추론을 제공하며, 웹 플랫폼(예: ARBIMON, Whombat)은 협업 워크플로우를 지원한다. 그러나 기존 솔루션 중에는 고품질의 상호 운용 가능한 데이터셋을 대규모로 생성하는 데 필요한 전체 주석 사이클을 통합적으로 지원하는 도구가 없다. 구체적으로, 현재의 솔루션들은 다음과 같은 기능의 결합된 통합이 부족하다:

• 온톨로지에 근거한 레이블 공간(Ontology-grounded label spaces).
• 콜드 스타트(cold-start) 시나리오를 위한 약지도 학습 기반 사운드 이벤트 검출(WSSED).
• 벡터 유사도 검색과 결합된 능동 학습(Active Learning, AL).
• 탐색적 주석 작성을 위한 인터랙티브 임베딩 공간 투영.

2. 방법론 및 시스템 아키텍처

YAPAT(Yet Another PAM Annotation Tool)는 PAM 큐레이션을 위한 인터랙티브 머신러닝 워크플로우를 위해 설계된 웹 기반 오픈 소스 플랫폼이다. 본 시스템은 클라이언트-서버 아키텍처를 기반으로 구축되었다:

• 백엔드(Backend): 효율적인 코사인 유사도 검색을 위해 pgvector로 확장된 PostgreSQL 데이터베이스와 Python(FastAPI, SQLAlchemy)을 사용한다. 임베딩, 추론, 재학습과 같은 장시간 실행 작업은 Celery와 Redis를 통해 비동기적으로 관리된다.
• 프론트엔드(Frontend): TypeScript(React 18, Vite, Tailwind CSS)를 사용하여 브라우저에서 실행되며, 2D 투영 렌더링을 위한 WebGL과 멜-스펙트로그램(mel-spectrogram) 계산을 위한 클라이언트 측 JavaScript를 활용한다.
• 임베딩 모델: 시스템은 고정된(frozen) BirdNET 임베딩(3초, 48kHz 윈도우로부터 추출된 1024차원 벡터)을 주요 특징 표현(feature representation)으로 사용한다.

핵심 워크플로우:

1. 데이터 수집(Ingestion): 현장 녹음 데이터는 고정된 길이(기본값 3초)의 중첩되지 않는 스니펫(snippet)으로 분할된다.
2. 임베딩(Embedding): 스니펫은 BirdNET을 사용하여 임베딩되고 데이터베이스에 저장된다.
3. 주석 인터페이스(Annotation Interface): 사용자는 오디오 플레이어, 스펙트로그램, 다중 레이블 입력 필드가 포함된 페이지가 구분된 스니펫 카드 피드를 통해 상호작용한다.
4. 피드백 루프(Feedback Loop): 주석 작업은 고정된 임베딩 위에서 선형 분류기 헤드(linear classifier head)의 비동기적 재학습을 트리거한다.

3. 주요 기여

YAPAT은 기존 도구들에서 조합되어 나타나지 않았던 네 가지 기능을 통합함으로써 차별성을 가진다:

A. 온톨로지에 근거한 레이블 공간
레이블은 주석 작성 시 권위 있는 생물학적(GBIF) 및 환경적(ENVO) 분류 체계와 연결된다. 시스템은 폴백(fallback) 용도로 명시적인 로컬 개념(local concepts)을 지원하여, 데이터셋의 상호 운용성과 재사용성을 보장한다.

B. 다중 레이블 능동 학습(AL)
YAPAT은 레이블링되지 않은 스니펫의 순위를 매기기 위해 세 가지 기준을 균형 있게 고려한 복합 획득 점수(composite acquisition score)를 채택한다:

• 불확실성(Uncertainty): 활성 레이블 범위에 대한 레이블당 평균 베르누이 엔트로피(Bernoulli entropy).
• 다양성(Diversity): 스니펫의 임베딩과 가장 가까운 레이블된 이웃 간의 거리(탐색되지 않은 영역의 커버리지를 장려함).
• 밀도(Density): 레이블링되지 않은 풀(pool) 내에서의 k-최근접 이웃(k-nearest-neighbor) 밀도 추정치(고립된 이상치를 낮게 평가함).
  스니펫은 이 복합 점수에 따라 순위가 매겨져 전문가의 노력을 가장 정보 가치가 높은 샘플로 유도한다.

C. 이중 콜드 스타트 메커니즘
"콜드 스타트" 문제(분류기를 훈련하기 위해 레이벨링된 데이터가 먼저 필요한 상황)를 해결하기 위해, YAPAT은 두 가지 접근 방식을 제공한다:

1. 업로드 기반 벡터 유사도: 사용자가 참조 클립(예: 사운드 라이브러리에서 가져온 것)을 업로드한다. 시스템은 이 클립을 임베딩하고 코사인 유사도를 통해 데이터셋 내의 가장 가까운 이웃을 검색하여, 사전 분류기 없이도 주석 작성을 시작할 수 있게 한다.
2. 약지도 사운드 이벤트 검출(WSSED): 다중 인스턴스 학습(Multiple Instance Learning, MIL)을 사용하여, 파일 수준으로 레이블된 컬렉션(예: Xeno-Canto, FNJV)에서 파생된 "백(bag)" 형태의 3초 세그먼트에 대해 선형 분류기를 훈련한다. 이는 깨끗한 초점 녹음과 노이즈가 섞인 PAM 데이터 사이의 도메인 격차를 메워주며, AL 사이클을 부트스트랩하기 위한 초기 예측을 제공한다.

D. 인터랙티브 2D 임베딩 투영
플랫폼은 사용자 선택형 차원 축소 기법(PCA, t-SNE, UMAP, Isomap)을 사용하여 BirdNET 임베딩 공간의 인터랙티브 산점도를 렌더링한다. 점들은 주석 상태에 따라 색상으로 구분된다. 점을 클릭하면 주석 피드에서 해당 스니펫이 강조 표시되어, 공간적 탐색과 주석 워크플로우를 결합한다.

4. 결과 및 확장성 벤치마크

시스템은 AnuraSet(1,612개의 녹음에서 추출된 30,687개의 스니펫)을 사용하여 평가되었다.

• 데이터 수집 및 임베딩: 임베딩 추출은 선형($O(N)$)으로 확장된다. AMD EPYC CPU가 탑재된 워크스테이션에서 전체 데이터셋 임베딩에는 약 150초가 소요되었으며, 단일 NVIDIA RTX PRO 6000 GPU를 사용하면 약 52초가 소요되었다(약 3배의 속도 향상).
• 유사도 검색: 벡터 유사도 쿼리는 전체 데이터셋 범위에 대해 거의 일정한 지연 시간(~0.56초)을 보이며, 인터랙티브한 응답 시간 범위를 유지한다.
• 능동 학습 점수 산출:
  • 불확실성 점수 산출은 거의 일정하다(~0.03–0.12초).
  • 밀도 점수는 $O(N \log N)$으로 확장되며, 약 1.6초에 도달한다.
  • 다양성 점수(레이블되지 않은 집합과 레이블된 집합 간의 비교)가 가장 지배적인 비용이며, 전체 규모에서 $O(N \cdot N_l)$로 확장되어 약 4.1초에 도달한다. 그럼에도 불구하고, 모든 연산은 실제적인 세션 내에서 인터랙티브한 한계 범위 내에 머문다.
• 재학습: 선형 헤드를 업데이트하는 것은 레이블된 스니펫의 수($N_l$)에 따라 선형적으로 확장된다($O(N_l)$). GPU 가속은 CPU 대비 14~23배의 속도 향상을 제공한다. 일반적인 초기 사이클($N_l < 2,000$)에서 CPU 재학습은 인터페이스를 차단하지 않고 9초 이내에 완료된다.
• 프론트엔드 성능: WebGL을 이용한 임베딩 투영 렌더링은 데이터셋 크기에 관계없이 일정하다(~0.11초). 전체 데이터셋에 대한 초기 페이지 로드는 약 2.2초이다.

5. 의의 및 주장

본 논문은 YAPAT이 협업 가능한 브라우저 기반 환경에서 온톨로지 기반 레이블, 약지도 학습, 벡터 유사도를 결합한 능동 학습, 그리고 인터랙티브 임베딩 투영을 결동적으로 지원하는 최초의 도구라고 주장한다.

• 상호 운용성: 레이블을 GBIF 및 ENVO에 근거함으로써, YAPAT은 공공 저장소 및 다운스트림 분석에 적합한 데이터셋을 생성한다.
• 효율성: 콜드 스타트 메커니즘과 다기준 능동 학습의 결합은 특히 기존 모델이 없는 분류군에 대해 고품질의 레이블된 데이터셋을 생성하는 데 필요한 전문가의 노력을 크게 줄여준다.
• 배포 가능성: 시스템은 오픈 소스이며 컨테이너화(Docker)되어 있어, 브라우저 외에 별도의 클라이언트 설치가 필요하지 않다.

인정된 한계점:

• 임베딩 의존성: 현재 아키텍처는 조류의 발성에 최적화된 BirdNET에 의존하므로, 다른 분류군에 대해서는 동일하게 일반화되지 않을 수 있다(단, 양서류로의 전이는 성공적이었다).
• 주석 정밀도: 스니펫은 고정된 길이의 비중첩 방식이므로, 윈도우 경계를 가로지르는 이벤트의 시간적 구획이나 스니펫 내의 주파수별 주석을 방지한다.
• 훈련 제약: 분류기는 고정된 임베딩 위의 선형 헤드이며, 인코더의 미세 조정(fine-tuning)이나 고급 데이터 증강을 지원하지 않는다.
• 레이블되지 않은 데이터: 레이블되지 않은 스니펫은 분류기 훈련에 기여하지 않는다(준지도 학습 없음). 이는 많은 양의 데이터를 활용하지 못하게 남겨둔다.
• 설정 복잡성: 오픈 소스이지만, 초기 서버 설정에는 IT 지원이 필요하며 비기술적 사용자를 위한 "원클릭" 설치 방식은 아니다.

저자들은 YAPAT을 모든 기존 도구를 대체하는 것이 아니라, 통합된 인간 참여형(human-in-the-loop) 워크플로우를 통해 고품질의 상호 운용 가능한 PAM 데이터셋을 대규모로 생성하는 데 있어 발생하는 공백을 메우는 종합적인 플랫폼으로 포지셔닝한다.