S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models

"General Audio Foundation Models 를 위한 자기지도식 지식 증류 (S-SONDO)"논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

일반적인 오디오 기반 모델은 다양한 작업에서 최첨단 성능을 달성했으나, 막대한 규모 (종종 수억 개의 파라미터) 로 인해 극심한 계산 비용으로 고통받고 있습니다. 이는 모바일 폰, 임베디드 시스템과 같은 리소스가 제한된 엣지 장치에서의 배포를 제한합니다.

지식 증류 (Knowledge Distillation, KD) 는 모델 압축을 위한 표준 기술이지만, 오디오 분야의 기존 방법들은 주로 지도 학습 (Supervised Learning, SL) 설정에 의존합니다. 이러한 전통적인 접근법은 다음을 요구합니다:

• 클래스 로짓 (Class Logits): 클래스 예측의 확률 분포를 일치시켜야 하는데, 자기지도 학습 (SSL) 모델은 이를 출력하지 않습니다.
• 아키텍처 특정성: 많은 방법들이 중간 레이어 정렬을 요구하므로, 교사 (Teacher) 와 학생 (Student) 모델 간의 유사한 아키텍처가 필요합니다.
• 레이블 의존성: 샘플링이나 손실 계산을 위해 정답 레이블 (ground-truth labels) 에 의존합니다.

결과적으로, 클래스 레이블이나 아키텍처 정렬 없이 임베딩 기반의 SSL 오디오 모델 (잠재 표현만 출력하는 모델) 을 효율적인 학생 모델로 증류할 수 있는 효과적인 프레임워크가 부족합니다.

2. 방법론: S-SONDO

저자들은 S-SONDO(General AuDio FOundation Models 를 위한 자기지도식 KnOwledge DistillatioN) 를 제안했습니다. 이는 출력 임베딩만을 사용하여 일반 오디오 모델을 증류하도록 설계된 프레임워크입니다.

핵심 아키텍처

파이프라인은 논문의 Fig. 1 에 illustrated 된 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 사전 훈련된 교사 ($g_\gamma$): 원시 오디오에서 고차원 잠재 임베딩 ($Z_t$) 을 생성하는 대형 SSL 기반 모델 (예: MATPAC++, M2D).
2. 학생 인코더 ($f_\theta$): 자체 임베딩 ($Z_s$) 을 생성하는 경량 고효율 모델 (예: MobileNetV3, DyMN, ERes2Net).
3. 매핑 헤드 ($h_\beta$): 학생 임베딩을 교사의 잠재 공간으로 투영하는 다층 퍼셉트론 (MLP). 이는 학생과 교사가 종종 다른 임베딩 차원 ($d_s \neq d_t$) 을 가지기 때문에 중요합니다. 투영된 학생 임베딩은 $Z'_s$로 표기합니다.

학습 목적

로짓 간의 차이를 최소화하는 표준 KD 와 달리, S-SONDO 는 교사의 의미 공간에서 투영된 학생 임베딩($Z'_s$) 과 교사 임베딩($Z_t$) 간의 거리를 최소화합니다.

논문은 가장 효과적인 정렬 전략을 결정하기 위해 여러 손실 함수 ($L_{KD}$) 를 평가했습니다:

• $L_{MSE}$ 및 $L_{L1}$: 요소별 거리 패널티.
• $L_{cos}$ (코사인 유사도): 벡터 간의 각도 유사성을 측정합니다.
• $L_{CLAP}$: CLAP 모델에서 적응된 대비 손실 (contrastive loss).
• $L_{KL}$: 쿨백 - 라이블러 발산 (임베딩을 확률 분포로 간주).

주요 발견: **코사인 유사도 ($L_{cos}$)**가 기본이자 가장 강력한 손실로 확인되었습니다. 요소별 손실 (MSE/L1) 은 SSL 임베딩의 의미 정보가 절대 좌표가 아닌 상대적 방향에 인코딩되어 있기 때문에 최적이지 않습니다. KL 발산은 SSL 임베딩이 확률 분포가 아니므로 부적절합니다.

균형 잡힌 데이터 샘플링 (Balanced Data Sampling, BDS)

정답 레이블 없이 클래스 불균형을 해결하기 위해 저자들은 **균형 잡힌 데이터 샘플링 (BDS)**을 적용했습니다:

1. 클러스터링: 교사 임베딩을 클러스터링 (예: $k=50$인 K-Means 사용) 하여 의사 레이블 (pseudo-labels) 을 생성합니다.
2. 가중치 부여: 샘플을 클러스터 빈도에 반비례하도록 가중치를 부여합니다 ($w_i = \frac{1}{freq(cluster) + 100}$).
3. 샘플링: 학습 중 이러한 가중치에 기반하여 배치를 샘플링하여 희귀한 의미 클러스터가 적절히 대표되도록 합니다.

3. 주요 기여

1. 최초의 임베딩 전용 SSL KD 프레임워크: S-SONDO 는 클래스 로짓이나 중간 레이어 정렬 없이 출력 임베딩만을 사용하여 일반 오디오 기반 모델을 증류하는 최초의 방법입니다.
2. 아키텍처 무관성: 매핑 헤드를 사용하고 최종 임베딩에 초점을 맞춤으로써, 이 방법은 교사 (Transformer 기반) 와 학생 (CNN 기반) 간의 아키텍처 차이와 관계없이 작동합니다.
3. 손실 함수 분석: 논문은 SSL KD 를 위한 손실 함수를 체계적으로 평가하여, 이 특정 작업에서 MSE, L1, KL 발산보다 코사인 유사도가 우월한 선택임을 입증했습니다.
4. 레이블 없는 샘플링: 자기지도식 설정에서 균형 잡힌 데이터 샘플링을 수행하기 위해 클러스터링 기반 의사 레이블을 사용하는 효과성을 입증했습니다.

4. 실험 결과

이 방법은 두 명의 교사 (MATPAC++ 및 M2D, 둘 다 약 86M 파라미터) 와 세 명의 학생 (MobileNetV3, DyMN, ERes2Net, 1.4M 에서 8.7M 파라미터 범위) 을 사용하여 음악 및 환경 소음 등 일곱 가지 다운스트림 오디오 태깅 작업에서 평가되었습니다.

주요 성능 지표:

• 성능 유지: 증류된 학생 모델은 교사 모델의 성능을 최대 **96.4%**까지 유지했습니다 (특히 MATPAC++ 에서 증류된 MobileNetV3).
• 압축: 학생 모델은 교사 모델보다 최대 61 배 작았습니다.
• 지도 학습 베이스라인 초과: 6 가지 교사 - 학생 조합 중 4 가지에서 S-SONDO 증류 모델은 표준 지도 학습으로 훈련된 동일한 학생 아키텍처보다 우수한 성능을 보였습니다.
  • 예시: MATPAC++ 에서 증류된 MobileNetV3 는 평균 점수 73.0을 기록하여, 지도 학습 베이스라인의 72.0보다 높았습니다.
• 손실 비교: 코사인 손실이 평균 성능 (72.7) 을 가장 잘 발휘했으며, 그 뒤를 CLAP(72.3) 이 이었습니다. MSE 와 L1 은 현저히 낮은 성능을 보였습니다.
• BDS 영향: 균형 잡힌 데이터 샘플링은 ERes2Net 과 같은 용량이 작은 모델에게 결정적이었습니다. BDS 가 없으면 MATPAC++ 에서 증류된 ERes2Net 은 붕괴되었습니다 (70.8 에서 44.8 로 하락).

5. 중요성 및 결론

S-SONDO 는 오디오 AI 배포의 중요한 병목 현상인 모델 능력과 계산 효율성 간의 트레이드오프를 해결합니다. 임베딩 정렬만으로도 고품질 증류가 가능함을 입증함으로써, 이 논문은 다음을 가능하게 합니다:

• 엣지 장치 배포: 모바일 및 임베디드 하드웨어에서 강력한 기반 모델을 실행 가능하게 만듭니다.
• 일반화: 특정 아키텍처나 분류 헤드가 있는 모델뿐만 아니라 임베딩 기반 SSL 모델 전반에 적용 가능한 프레임워크를 제공합니다.
• 향후 방향: 저자들은 멀티레이블 작업을 위한 클러스터링 전략 개선과 부정적 쌍 (negative pairs) 을 더 잘 처리하기 위한 대비 목적 (contrastive objectives) 정교화가 향후 연구의 유망한 방향이라고 제안합니다.

요약하자면, S-SONDO 는 대규모 오디오 기반 모델을 압축하기 위한 견고하고, 아키텍처 무관하며, 레이블이 없는 솔루션을 제공하여 파라미터의 일부로 교사 수준의 성능을 달성합니다.