Learning task-specific subspaces via interventional post-training of speech foundation models

기술 요약: 개입적 사후 학습을 통한 음성 파운데이션 모델의 작업 특화 서브스페이스 학습

문제 정의
방대한 레이블 없는 데이터 코퍼스로 사전 학습된 음성 파운데이션 모델은 강력한 작업 일반화 능력을 보이는 범용 표현(general-purpose representations)을 생성한다. 그러나 이러한 표현은 다양한 음성 변수(예: 화자 정체성, 콘텐츠, 채널 조건)에 대한 정보를 분산되고 얽힌(entangled) 방식으로 인코딩한다. 자동 음성 인식(ASR)이나 화자 식별(SID)과 같은 다운스트림 작업은 일반적으로 이 가변성의 극히 일부에만 의존한다. 예를 들어, ASR 시스템은 화자에 대해 불변(invariant)해야 하는 반면, 화자 검증 시스템은 발화된 콘텐츠에 대해 불변해야 한다. 얽힌 표현을 학습하려는 기존 방식들은 통계적 독립성이나 가우시안 분포(Gaussianity)에 대한 가정을 기반으로 하는데, 이는 진정한 디스인탱글먼트(disentanglement)를 보장하기에는 불충분하다는 것이 증명되었다. 또한, 표준 대조 학습(contrastive learning)은 일반적으로 여러 소스의 가변성을 별도의 서브스페이스로 명시적으로 분리하기보다는, 하나의 섭동 변수(nuisance variables)에 대해 불변하는 단일 임베딩 공간을 최적화하는 데 집중한다.

방법론
저자들은 **개입적 대조 학습(Interventional Contrastive Learning)**이라 명명된 사후 학습 정교화 프레임워크를 제안한다. 이 접근 방식은 다중 부분 대조 손실(multi-part contrastive loss)을 사용하여, 고정된(frozen) 음성 파운데이션 모델의 얽힌 표현 공간을 별개의 작업 특화 서브스페이스(구체적으로 콘텐츠 및 화자)로 변환하는 것을 목표로 한다.

• 개입적 데이터셋(Interventional Dataset): 디스인탱글먼트를 위한 필요한 감독(supervision)을 제공하기 위해, 저자들은 최첨단 제로샷 텍스트 음성 변환(TTS) 시스템(F5-TTS)을 사용하여 합성 데이터셋을 구축하였다. 이 합성 데이터셋은 모든 화자가 모든 발화 텍스트와 쌍을 이루는 "밀집된 개입(dense interventions)"을 가능하게 한다. 이러한 합성 설정은 인과적 변수인 콘텐츠(텍스트)와 화자(참조 오디오)에 대한 정밀한 제어를 가능하게 한다.
• 아키텍처: 모델은 입력 음성으로부터 특징을 추출하는 고정된 사전 학습 백본(예: wav2vec 2.0, HuBERT, 또는 WavLM)으로 구성된다. 추출된 특징은 평균 풀링(mean pooling)을 통해 단일 발화 임베딩으로 집계된다. 학습 가능한 서브스페이스 네트워크(병목 현상이 없는 3계층 MLP)는 이 임베딩을 더 높은 차원의 공간으로 투영하며, 이 공간은 두 개의 동일한 크기의 서브스페이스인 콘텐츠 서브스페이스($z_c$)와 화자 서브스페이스($z_s$)로 분할된다.
• 손실 함수: 학습 목적 함수는 두 가지 구성 요소의 결합으로 이루어진다:
  1. 다중 양성 대조 손실(Multi-Positive Contrastive Loss): 여러 서브스페이스를 처리하도록 확장된 이 손실은, 임베딩이 동일한 인과 변수를 공유할 경우(예: 화자 서브스페이스에서 동일한 화자) 같은 서브스페이스 내의 임베딩들을 가깝게 만들고, 다를 경우 멀어지도록 유도한다. 이는 개입된 인과 변수에 따라 양성 및 음성 쌍을 정의하기 위해 개입적 레이블(interventional labels)을 활용한다.
  2. 직교성 손실(Orthogonality Loss): 서브스페이스 간의 교차 공분산(cross-covariance)에 대한 프로베니우스 노름(Frobenius norm)에 기반한 정규화 항으로, 콘텐츠와 화자 표현 사이의 유사성을 억제하여 디스인탱글먼트를 강제한다.

주요 기여

1. 새로운 대조 손실: 본 논문은 단일 공간 불변성을 넘어, 서로 다른 인과 변수와 연관된 여러 임베딩 공간을 동시에 학습할 수 있는 손실 함수를 도입한다.
2. 합성 개입 데이터셋: 저자들은 화자와 텍스트의 완전한 조합을 갖춘 데이터셋을 구축하여, 자연 음성 데이터에서는 얻기 어려운 인과 변수에 대한 밀집된 개입을 용이하게 하였다.
3. 경험적 검증: 제안된 방식은 합성 데이터셋을 사용하여 화자 검증(SV) 및 키워드 스포팅(KS) 작업에 대해 평가되었으며, 학습된 서브스페이스 간의 정보 분리를 입증하였다.

결과
실험은 세 가지 백본 모델(wav2vec 2.0, HuBERT, WavLM)에 대해 합성 데이터셋을 사용하여 수행되었다.

• 화자 검증 (도메인 외/Out-of-Domain): 두 서브스페이스를 공동으로 학습한 전체 모델은 베이스라인(평균 풀링된 백본) 및 단일 서브스페이스 변형 모델에 비해 VoxCeleb1 테스트 세트에서 유의미하게 낮은 등가 오차율(EER)을 달성하였다. 특히, 최적의 모델은 WavLM의 경우 약 24.7%, HuERT의 경우 27.2%의 EER을 기록하였으며, 이는 단 32명의 화자와 깨끗한 낭독 음성으로만 학습되었음에도 불구하고 야생의 자발적 음성(wild spontaneous speech)을 대상으로 한 비전문가 인간 베이스라인(26.51%)보다 우수한 성능을 보였다.
• 키워드 스포팅 (Keyword Spotting): 학습된 콘텐츠 서브스페이스는 베이스라인 풀링 표현과 유사하거나 약간 낮은 성능을 보였다. 저자들은 이를 문장 수준의 유사성을 강제하는 대조적 프리텍스트 태스크와 단어 수준의 요구사항인 키워드 스포팅 사이의 불일치 때문이라고 분석하였다.
• 디스인탱글먼트 증거: "매칭된" 서브스페이스(예: SV에서의 화자 서브스페이스)와 "미스매치된" 서브스페이스(예: KS에서의 화자 서브스페이스) 간의 성능 격차는 개입이 화자와 콘텐츠 정보를 성공적으로 분리했다는 증거를 제공한다. 다만, KS 작업에서는 그 격차가 덜 뚜렷했는데, 이는 정보 누출(information leakage) 가능성이나 KS가 예상보다 적은 콘텐츠 정보를 필요로 하기 때문임을 시사한다.
• 공동 학습 vs 개별 학습: 결과에 따르면 서브스페이스를 공동으로 학습하는 것이 개별적으로 학습하는 것에 비해 유의미한 성능 이점은 없었으나, 공동 모델이 파라미터를 더 효율적으로 사용하였다.

의의 및 주장
본 논문은 개입적 대조 학습이 음성 파운데이션 모델의 사후 학습을 통해 작업 관련 정보와 섭동 변수를 분리하는 실행 가능한 전략임을 주장한다. 주요 의의는 대규모의 레이블된 데이터 없이도 작은 합성 데이터셋을 사용하여 도메인 외 화자 검증 성능을 향arly 개선하는 데이터 불가지론적(data-agnostic) 변환을 학습할 수 있다는 점에 있다. 저자들은 화자 정보는 성공적으로 분리했으나 키워드 스포팅을 위한 콘텐츠 정보의 분리는 완벽하지 않다는 점을 인정하며, 이는 프리텍스트 태스크와 다운스트림 태스크 간의 입도(granularity) 불일치 때문일 가능성이 높다고 조심스럽게 언급하였다. 결론적으로, 이 접근 방식을 더 큰 규모의 실제 데이터셋으로 확장하고, 정보 누출을 더 잘 억제할 수 있도록 손실 함수를 정교화하기 위한 추가 연구가 필요하다고 밝혔다.