From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

기술 요약: A에서 B로, 다시 A로: 비병렬 데이터를 이용한 회문형(Palindromic) 제로샷 음성 변환

문제 정의
음성 변환(Voice Conversion, VC)은 언어적 콘텐츠를 보존하면서 소스 화자의 음성을 타겟 화자의 정체성에 맞게 변환하는 것을 목표로 한다. 전통적인 데이터 기반 방식은 병렬 코퍼스(서로 다른 화자의 정렬된 발화)에 의존하지만, 이는 대규모로 수집하기에 비용이 많이 들고 비현실적이다. 비병렬 방식들이 개발되었으나, 이들은 흔히 "any-to-any" 제로샷 설정(소스와 타겟 화자 모두 학습 시 보지 못한 경우)에서 어려움을 겪는다. 기존 솔루션들은 언어적 감독(예: 음소)이나 자기지도 학습(SSL)을 사용하여 콘텐츠와 화자 정보를 분리하려고 시도한다. 그러나 이러한 방법들은 다음과 같은 문제에 직면한다: 언어적 접근 방식은 언어 의존적이며 ASR/TTS 시스템이 필요하고, 분리 기반의 SSL 방식은 불완전한 분리로 인해 화자 정보가 유출되거나 콘텐츠 보존 능력이 저하되는 문제가 발생한다. 또한, SSL 특징에 대한 단순 K-최근접 이웃(KNN) 검색은 타겟 데이터가 제한적인 원샷(one-shot) 시나리오에서 희소한 이웃 문제로 인해 성능이 저하된다.

방법론
저자들은 병렬된 소스-타겟 발화를 요구하지 않고 오직 비병렬 데이터만을 사용하여 제로샷 VC를 위한 지도 학습을 가능하게 하는 프레임워크를 제 제안한다. 핵심 혁신은 병렬 데이터 없이 합성된 학습 쌍을 구축하는 회문형(palindromic) 학습 전략이다.

1. 합성 데이터 생성 ("A에서 B로" 단계):

   • 시스템은 사전 학습된 자기지도 학습(SSL) 모델인 WavLM을 사용하여 프레임 수준의 특징을 추출한다.
   • 주어진 실제 타겟 음성 세그먼트($a_1$)와 참조 화자 갤러리($b_{ref}$)에 대해, 시스템은 오프라인 KNN 검색을 수행한다. 타겟의 특징을 참조 화자와 매칭하여 합성 소스 특징 세트($\hat{B}_1$)를 생성한다.
   • 이를 통해 학습 트리플릿(triplet)을 생성한다: 합성 소스($\hat{B}_1$), 실제 타겟($a_1$), 그리고 타겟 화자의 추가적인 실제 참조 세그먼트($a_2$).

2. 모델 아키텍처:

   • 인코더(Encoder): 사전 학습된 WavLM 인코더.
   • 컨버터(Converter): 합성 소스 특징을 타겟 화자의 음향적 특성으로 매핑하여 잠재 특징($\tilde{A}_1$)을 생성하도록 학습된 트랜스포머(Transformer) 기반 잠재 컨버터.
   • 보코더(Vocoder): 잠재 특징으로부터 파형을 재구성하도록 학습된 HiFi-GAN 보코더.

3. 학습 절차 (3단계):

   • 단계 1 (보코더 사전 학습): 재구성 손실(Multi-Resolution STFT)과 적대적 학습(Multi-Period 및 Multi-Scale Discriminator)을 사용하여 Raw WavLM 특징으로부터 오디오를 재구성하도록 보코더를 학습시킨다.
   • 단계 2 (트랜스포머 학습): 트랜스포머는 합성 특징을 타겟 특징으로 변환하도록 학습된다. 손실 함수에는 다음이 포함된다:
     • L1 손실: 예측된 특징과 실제 타겟 특징 사이의 차이.
     • 화자 손실(Speaker Loss): 사전 학습된 화자 검증 모델을 사용하여 계산되는 파형 수준의 손실. 이는 참조 파형($a_2$)과 변환된 파형($\tilde{a}_1$) 사이의 코사인 유사도 및 L1 거리를 계산하여 정체성 일관성을 강제한다.
   • 단계 3 (보코더 사후 학습): 트랜스포머가 생성한 특징에 적응하도록 새로운 보코더 인스턴스를 학습시켜, 특징 분포를 조정함으로써 아티팩트를 줄이고 자연스러움을 개선한다.

4. 추론(Inference):

   • 추론 시, 시스템은 (합성이 아닌) 실제 입력 음성에서 직접 작동한다. 모델은 합성 학습 패러다임으로부터 일반화되어, 타겟 화자의 짧은 참조 발화만을 사용하여 실제 세계의 변환을 수행한다.

주요 기여

• 비병렬, 제로샷 프레임워크: 정렬된 음성 데이터 없이 제로샷 화자 변환을 가능하게 하기 위해 제어된 합성 데이터 생성(SSL 특징을 통한 KNN 검색)을 활용하는 새로운 접근 방식을 제시한다.
• 화자 검증 손실: 화자 유사도를 직접 최적화하고 일관된 정체성 보존을 보장하기 위해 화자 검증 모델에서 유도된 파형 수준의 손실을 도입하였다.
• 다국어 일반화: 영어 데이터로만 학습되었음에도 불구하고, 비영어 데이터에 대한 미세 조정 없이 강력한 교차 언어 성능을 보여준다.
• 성능: 제안된 방법은 최근의 최첨단 시스템(KNN-VC, Seed-VC, Vevo 포함)과 비교하여 단어 오류율(WER)과 문자 오류율(CER)은 대등하게 유지하면서도, 더 우수한 화자 유사도와 등가 오차율(EER)을 달성한다.

결과
실험은 LibriSpeech (영어) 및 Multilingual LibriSpeech 데이터셋을 대상으로 수행되었다.

• 화자 유사도: 제안된 방법은 모든 프롬프트 길이(3초~60초)에서 베이스라인보다 우수한 성능을 보인다. 특히 저자원 환경(3초 프롬프트)에서, 희소한 이웃으로 인해 지능 및 품질이 저하되는 KNN-VC보다 유의미하게 높은 성능을 기록했다.
• 지능 및 품질: 방법론은 최첨단 시스템과 대등한 WER 및 CER을 유지하며, 이는 화자 유사도의 향상이 콘텐츠 보존을 저해하지 않음을 나타낸다. 주관적 평가(MOS 및 SMOS) 결과, 특히 짧은 프롬프트 시나리오에서 높은 자연스러움과 화자 유사도를 달s 보여주었다.
• 교차 언어 성능: 네덜란드어, 프랑스어, 독일어, 이탈리아어, 폴란드어, 포르투갈어, 스페인어로 테스트했을 때, 비영어 미세 조정 없이도 일관된 WER 개선을 달성하였으며 경쟁 모델들과 대등한 화자 유사도 및 DNS-MOS 점수를 유지하였다.
• 절제 연구(Ablation Study): 보코더 사후 학습 단계를 제거하면 가청 아티팩트가 눈에 띄게 증가하고 DNS-MOS 점수가 낮아졌으며, 이는 트랜스포머의 출력 분포에 보코더를 적응시키는 것의 필요성을 확인시켜 준다.

의의
본 논문은 제어된 합성 감독이 명시적인 화자 수준의 목적 함수와 결려될 때, 전통적인 분리 기반 음성 변환의 효과적인 대안이 될 수 있음을 주장한다. 병렬 코퍼스나 명시적인 언어적 정렬의 필요성을 피함으로써, 이 프레임워크는 고품질의 any-to-any 제로샷 음성 변환을 위한 확장 가능하고 데이터 효율적인 경로를 제공한다. 결과에 따르면, 제안된 "회문형(palindromic)" 전략은 합성 학습 데이터와 실제 추론 사이의 간극을 효과적으로 메워, 제한된 참조 데이터와 보지 못한 언어 환경에서도 견고한 성능을 달성한다.