기술 요약: S-JEPA

문제 정의

현재의 자기지도 음성 표현 학습(SSL)은 특정 레시피에 의해 지배되고 있습니다: 일반적으로 $k$-means를 통한 음향 특징(acoustic features)의 오프라인 클러스터링(clustering) 후, 마스킹된 위치에서 이산적인(discrete) 하드 클러스터 ID를 예측하도록 인코더를 크로스 엔트로피 손실(cross-entropy loss)로 학습시키는 방식입니다. 저자들은 이 패러다임의 두 가지 결정적인 한계를 식별했습니다:

1. 음향적 모호성 붕괴 (Acoustic Ambiguity Collapse): 하드 클러스터 할당은 경계선에 있는 프레임(예: 음소 전이 구간, 무음/비무음 전환)을 단일 파티션으로 강제함으로써, 이러한 영역에 내재된 불확실성을 버리게 됩니다.
2. 중단-재시작 훈련 파이프라인 (Stop-Restart Training Pipeline): 이 방법은 전체 코퍼스에 대해 클러스터 중심을 다시 맞추기 위해(오프라인 재클러스터링) 반복 학습 사이에 학습을 중단해야 하며, 이는 불연속적인 최적화 궤적을 생성합니다.

방법론: S-JEPA

저자들은 이러한 문제들을 단일한 연속적 학습 과정 내에서 해결하는 자기지도 목적 함수인 S-JEPA를 제안합니다. 이는 JEPA(Joint Embedding Predictive Architecture) 패턴을 채택하여, 마스킹된 위치에서 가우시안 혼합 모델(GMM)의 **소프트 사후 확률(soft posteriors)**을 KL 발산(KL divergence)을 통해 일치시키도록 학습되는 인코더-예측기 쌍을 활용합니다.

핵심 구성 요소

• 아키텍처: 인코더($f_\phi$), 예측기($h_\psi$), 그리고 클러스터 헤드($g_\omega$)로 구성된 JEPA 스타일의 설정입니다. 비학습 대상인 보조 구성 요소로서 지수 이동 평균(EMA) 인코더($\bar{f}$)가 유지됩니다.
• 소프트 타겟 (Soft Targets): 하드 클러스터 ID 대신, 타겟은 음향 특징에 대한 GMM의 사후 분포 $q_t$입니다. 이를 통해 경계 근처의 프레임들이 여러 성분에 걸쳐 비제로(non-zero) 확률을 가질 수 있게 하여 음향적 모호성을 보존합니다.
• 손실 함수: 훈련 목적 함수는 마스킹된 위치에서의 예측기의 소프트맥스 출력($p_t$)과 GMM 사후 확률($q_t$) 사이의 KL 발산입니다:
  $$\mathcal{L} = \frac{1}{|S|} \sum_{t \in S} \text{KL}(q_t \parallel p_t)$$

2단계 훈련 파이프라인

훈련은 두 가지 뚜렷한 단계로 진행되는 단일 연속 최적화 궤적으로 진행됩니다:

1. 1단계: 고정된 MFCC GMM

   • 39차원 MFCC 특징에 대해 미니 배치 $k$-means와 기대 최대화(EM)를 사용하여 GMM($K=100$)을 한 번 적합시킵니다.
   • 이 GMM은 고정됩니다. 손실은 노이즈 제거 증강(denoising augmentation)과 함께 마스킹된 위치와 가시적인 위치 모두에 적용됩니다.
   • 이 단계에서는 EMA 인코더가 사용되지 않습니다.

2. 2단계: 온라인 인코더-특징 GMM

   • EMA 인코더의 프레임 수준 특징에 대해 GMM을 재초기화합니다($K=500$).
   • 온라인 업데이트: GMM을 고정하는 대신, 매 미니 배치마다 EMA 인코더의 책임 가중치 통계량(responsibility-weighted statistics)을 사용하여 GMM의 파라미터(평균 및 분산)를 온라인으로 업데이트합니다. 이는 전체 코퍼스 재라벨링 과정을 제거합니다.
   • 적응형 레이어 선택: GMM의 입력 레이어는 고정되지 않습니다. 시스템은 각 레이어의 인코더 특징에 대한 특이값 스펙트럼(singular value spectrum)의 **유효 랭크(effective rank)**를 계산합니다. 가장 높은 유효 랭크(표현의 풍부함을 나타내는 대리 지표)를 가진 레이어가 GMM의 입력으로 선택됩니다. 훈련 중에 최적의 레이어가 변경되면, GMM은 훈련을 중단하지 않고 입력을 전환합니다.
   • 주기적으로 전환되는 EMA 감쇠: 타겟 안정성과 인코더 개선 추적 사이의 균형을 맞추기 위해, EMA 감쇠율($\alpha$)은 빠른 값($0.999$)과 느린 값($0.9999$) 사이를 교대로 오갑니다. 이를 통해 타겟 분포가 최근의 인코더 이득을 반영하도록 주기적으로 이동하면서도, 그래디언트 학습에 충분히 안정적으로 유지될 수 있게 합니다.

주요 기여

1. 소프트 타겟 마스크 예측: 본 논문은 하드 $k$-means 라벨을 KL 발산을 통해 일치되는 소프트 GMM 사후 확률로 대체하는 음성 SSL 목적 함수를 도입합니다. 이는 JEPA와 아키텍처적으로 호환되며 하드 할당의 정보 손실을 방지합니다.
2. 단일 패스 훈련: 온라인 GMM 업데이트와 적응형 레이어 선택을 구현함으로써, S-JEPA는 오프라인 재클러스터링 및 어떤 트랜스포머 레이어를 클러스터링할지에 대한 수동 튜닝 과정을 제거합니다. 전체 과정은 하나의 연속적인 최적화 궤적으로 실행됩니다.
3. 새로운 파레토 프런티어 (Pareto Frontier): S-JEPA는 사전 훈련된 티처(teacher) 모델이나 오프라인 재클러스터링에 의존하지 않고, 90M 파라미터 미만의 모델 성능에 대한 새로운 경계를 구축합니다.

실험 결과

모델은 51.8M 파라미터 인코더(6개 Transformer 레이어)를 사용하여 약 83,000시간의 영어 음성(LibriLight + Granary)으로 사전 훈련되었습니다. 평가는 고정된 인코더를 사용하여 SUPERB 프로토콜을 따랐습니다.

• ASR (자동 음성 인식): S-JEPA는 LibriSpeech test-clean에서 **12.10% 단어 에러율(WER)**을 달성했습니다(greedy CTC decoding). 이는 평가된 모든 SSL 방법 중 90M 파라미터 미만에서 가장 낮은 WER이며, DistilHuBERT(13.37%)와 DeCoAR 2.0(13.02%)을 능가했습니다. 4-gram LM 리스코어링(rescoring)을 적용하면 WER은 8.50%로 떨어졌습니다.
• 감정 인식 (ER): 모델은 64.83% 정확도를 기록하여, HuBERT-Base의 55% 파라미터만을 사용하고도 HuBERT-Base(64.92%)와 대등한 성능을 보였습니다.
• 슬롯 필링 (SF): 83.05의 F1 점수를 달성하여, 58%의 파라미터 수로 DeCoAR 2.0(83.28)과 거의 동등한 성능을 냈습니다.
• 프로빙 작업: Speaker ID, Gender, Chapter ID에 대한 선형 프로브(linear probe)에서 S-JEPA는 WavLM과 HuBERT를 능가했습니다. 특히, 음소 분류(Phoneme classification)에서 S-JEPA는 선형 프로브에서 MLP 프로브로 전환했을 때 베이스라인보다 더 큰 이득(+5.2 포인트)을 보였는데, 이는 S-JEPA가 비선형 디코더에 의해 복구 가능한 형태로 음성 정보를 인코딩하고 있음을 시사합니다.

소프트 타겟 분석

저자들은 홀드아웃(held-out) 음성에 대한 예측기의 프레임당 엔트로피를 분석하여 **양봉 분포(bimodal distribution)**를 밝혀냈습니다:

• 엔트로피가 0.3 비트 미만인 "확신 영역(confident regime)".
• 엔트로피가 1 비트 근처(두 클러스터 간의 50/50 분할에 해당)인 "구조화된 양방향 타이 영역(structured two-way tie regime)".
• **36.6%**의 프레임이 이 고엔트로피 영역에 속했습니다.
  이는 소프트 타겟 목적 함수가 하드 타겟과 달리 경계에서의 음향적 모호성을 성공적으로 보존한다는 것을 보여주는 실증적 증거입니다. 반면 하드 타겟 목적 함수는 이러한 프레임들을 단일 ID로 강제 붕괴시켜 클러스터 간 질량을 버리게 됩니다.

의의 및 주장

본 논문은 소프트 범주형 타겟이 하드 타겟이 버리는 정보, 즉 음향 경계에서의 불확실성을 보존한다는 것을 S-JEPA가 입증한다고 주장합니다. 소프트 GMM 타겟, 온라인 업데이트, 그리고 JEPA 스타일의 예측을 통합함으로써, 이 방법은 오프라인 재클러스터링의 계산적 오버헤드나 지식 증류를 위한 대규모 사전 훈련된 티처 모델의 요구 없이도 90M 파라미터 미만 영역에서 최첨단 효율성을 달착합니다. 저자들은 이를 하드 타겟의 한계를 완화하면서도 이산적 타겟의 이점을 유지하는, 효율적이고 연속적인 자기지도 음성 학습을 위한 새로운 레시피로 제시합니다.