Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

기술 요약: 제로샷 환경 음향 분류를 위한 임베딩 공간 확산 모델 (Embedding-Space Diffusion)

문제 정의
제로샷 학습(Zero-shot Learning, ZSL)은 의미론적 정보를 활용하여 학습 세트와 테스트 세트의 클래스 집합이 서로 분리된 상황에서도 보지 못한 클래스를 분류할 수 있도록 하는 것을 목표로 한다. ZSL은 컴퓨터 비전 분야에서 상당한 연구가 이루어졌으나, 환경 음향에 대한 적용은 여전히 미개척 분야이며 기존 연구들에서는 낮은 성능을 보인다. 현재의 환경 음향 ZSL 방식은 주로 비생성적 접근 방식(예: 호환성 네트워크)에 의존하거나, 시각 작업에서 관찰된 생성 모델의 성공을 활용하지 못한다. 또한, 기존의 ZSL 생성적 접근 방식은 특정 모달리티(이미지 및 텍래벨)에 종속된 대규모 사전 학습 모델(Stable Diffusion 등)에 의依赖하는 경우가 많아, 그러한 사전 학습된 기초 모델이 존재하지 않거나 특징 데이터가 사전 학습 중에 노출되지 않아야 하는 오디오 도메인에 적용하기에는 한계가 있다.

방법론
본 논문은 사전 학습된 생성 모델을 필요로 하지 않고 완전히 임베딩 공간 내에서 작동하는 새로운 생성적 방법인 ZeroDiffusion을 제안한다. 이 방법론은 세 가지 주요 단계로 구성된다:

1. 임베딩 생성:

   • 클래스 임베딩 ($\sigma(z)$): 클래스 레이블은 사전 학습된 Word2Vec 모델을 사용하여 300차원 벡터로 변환된다. 이 임베딩을 풍부하게 하기 위해, 대부분의 데이터셋(크기 또는 장르 제한으로 인한 ARCA23K-FSD 및 GTZAN 제외)에 대해 유의어(synonyms)가 추가된다.
   • 오디오 임베딩 ($\tau(w)$): 수정된 YAMNet 모델이 학습된(seen) 클래스들에 대해 로그 멜 스펙트로그램으로부터 128차원 오디오 임베딩을 추출하도록 학습된다. 이는 특징 추출기가 사전 학습 중에 미지의 클래스를 의도치 않게 "보는" 것을 방지하기 위함이다.

2. 확산 모델 학습:

   • 경량화된 완전 연결 신경망(fully connected neural network)이 클래스 보조 데이터에 조건화되어 확산 모델로서 학습된다.
   • 입력: 모델은 노이즈가 주입된 오디오 임베딩($\tilde{\tau}(w)$)과 지터링(jittered)된 클래스 임베딩($\tilde{\sigma}(z)$)이 결합된 형태를 입력으로 받는다.
   • 목표: 모델은 클래스 임베딩에 조건화되어 노이즈가 섞인 입력으로부터 원래의 오디오 임베딩을 재구성하는 법을 학습한다.
   • 손실 함수: 학습 목표는 평균 제곱 오차(재구성), 최대 평균 편차(분포 정렬), 분산 손실(다양성), 전역 중심점 정렬, 그리고 코사인 유사도 손실(방향 정렬)의 다섯 가지 구성 요소로 결합된다.
   • 생성: 학습이 완료되면, 모델은 무작위 노이즈와 그에 대응하는 클래스 임베딩을 입력으로 넣어 미지의(unseen) 클래스에 대한 합성 오디오 임베딩을 생성한다.

3. 분류기 학습:

   • 비선형 호환성 네트워크(Attribute Label Embedding, ALE 기반)가 학습된 클래스의 실제 오디오 임베딩과 미지의 클래스를 위해 생성된 합성 임베딩을 결합하여 학습된다.
   • 분류기는 특징 데이터를 클래스 레이블로 매핑하는 유사도 함수 $f(w, z)$를 학습하며, 이 과정에서 미지의 클래스의 실제 오디오 샘플을 전혀 접하지 않는다.

실험 설정
본 연구는 여섯 가지 데이터셋(ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019, GTZAN)에 대해 네 가지 방법을 평가한다.

• 베이스라인:
  • Non-linear ALE: 환경 음향을 위한 최첨단 비생성적 베이스라인.
  • CADA-VAE: 컴퓨터 비전에서 파생된 교차 정렬 및 분포 정렬 변이형 오토인코더(VAE).
  • LisGAN: 유도적 설정(transductive 구성 제거)에 적응된 Leveraging Invariant Side Generative Adversarial Network.
• 프로토콜: 실험은 서로 다른 무작위 시드를 사용하여 10회 반복되었다. ESC-50에 대해서는 표준 비선형 ALE 분할을 사용하였고, 나머지 데이터셋에 대해서는 새로운 무작위 분할을 생성하였다.

주요 결과

• 성능: ZeroDiffusion은 모든 6개 데이터셋에서 평균 정확도 34.86%를 기록하며, 비선형 ALE 베이스라인(32.27%), CADA-VAE(31.37%), 그리고 LisGAN(29.36%)을 능가하는 최고 성능을 달erm했다.
• 데이터셋별 특이사항:
  • ZeroDiffusion은 ARCA23K-FSD와 TAU Urban Acoustics 2019에서 상당한 개선을 보였다.
  • UrbanSound8k와 GTZAN에서는 베이스라인들과 경쟁력 있는 성능을 보였다.
  • ESC-50과 FSC22에서는 결과가 엇갈렸으며, ZeroDiffusion이 모든 폴드(fold)에서 일관되게 모든 방법을 능가하지는 못했고, 특히 FSC22 테스트 세트에서 성능이 눈에 띄게 불안정했다.
• 안정성: 생성적 방법(ZeroDiffusion 포함)은 비생성적 ALE 베이스라인에 비해 실행 간 높은 표준 편차를 보였다. 예를 들어, CADA-VAE는 UrbanSound8k에서 최대 8.08%의 표준 편차를 보인 반면, ALE는 약 1% 수준을 유지했다.
• 데이터 의존성: 저자들은 ZeroDiffusion의 성능이 데이터셋 크기와 상관관계가 있음을 관찰했다. 클래스당 샘플 수가 많은 데이터셋(예: 클래스당 1,440개 샘플인 TAU 2019)은 더 나은 결과를 냈으나, 작은 데이터셋(예: 클래스당 40개 샘플인 ESC-50)은 불안정성을 보였다.

기여 및 의의
본 논문은 다음과 같은 기여를 주장한다:

1. 최초의 임베딩 공간 확산 모델: (Stable Diffusion과 같은) 사전 학습된 생성 모델에 의존하지 않고 임베딩 공간 내에서 작동하는 최초의 확산 기반 제로샷 학습 방법을 소개하며, 이는 모달리티에 구애받지 않는다(modality-agnostic).
2. 새로운 SOTA(State-of-the-Art) 수립: 6개의 다양한 오디오 데이터셋에서 기존 방법들을 능가하거나 대등한 성능을 보임으로써 제로샷 환경 음향 분류의 새로운 최첨단 성능을 확립했다.
3. 새로운 벤치마크 제공: FSC22, ARCA23K-FSD, TAU Urban Acoustics 2019에 대한 최초의 제로샷 학습 벤치마크를 제공한다.
4. 포괄적인 비교: 환경 음향 제로샷 분류를 위한 GAN(LisGAN), VAE(CADA-VAE), 그리고 확산 모델(Diffusion models)을 직접 비교한 첫 사례이다.

의의 및 한계
저자들은 본 연구가 확산 모델을 오디오 분야의 제로샷 학습을 위한 유망한 접근 방식으로 자리매김하는 토대를 마련했다고 위치시킨다. 그러나 논문은 생성적 방법의 신뢰성에 대해 신중한 입장을 취한다. 저자들은 ZeroDiffusion이 정확도를 향상시키기는 하지만, 특히 작은 데이터셋에서 비생성적 베이스라인에 비해 높은 분산과 불안정성을 겪는다는 점을 명시적으로 인정한다. 저자들은 제로샷 학습의 이론적 보장이 부족하다는 점과 데이터셋 크이에 대한 의존성이 향후 이해가 필요한 핵심 영역임을 시사한다. 본 연구는 생성 모델의 불안정성을 해결했다고 주장하는 것이 아니라, 충분한 데이터가 있을 때 더 높은 정확도를 낼 수 있는 잠재력을 입증하는 데 목적이 있다.