UniVoice: A Unified Model for Speech and Singing Voice Generation

기술 요약: UniVoice

문제 정의

텍스트 음성 변환(TTS)과 가창 음성 합성(SVS)은 기호적 입력을 통해 인간의 음성 오디오를 생성한다는 목표를 공유하지만, 생성 과정에서 근본적으로 상충하는 요구 사항을 부과합니다. TTS는 언어적 맥락으로부터 추론된 유연하고 언어 중심적인 운율(prosody)에 의존하는 반면, SVS는 명시적인 멜로디 제어(예: MIDI 노트)와 정밀한 리듬 정렬을 필요로 합니다.

혼합된 데이터로 단일 통합 모델을 훈련하는 것은 조건부 시맨틱(conditioning semantics)이 서로 호환되지 않기 때문에 매우 어렵습니다. 멜로디 조건은 가창을 위한 강력한 제약 조건으로 작용해야 하지만, 음성의 자연스럽고 맥락 의존적인 운율을 제한해서는 안 됩니다. 단순한 공동 훈련(naïve joint training)은 모델이 멜로디 관련 조건에 상충하는 의미를 할당하도록 강제하며, 이는 두 양식 모두에서 그래디언트 간섭(gradient interference)과 생성 품질 저하를 초래합니다.

방법론

UniVoice는 **조건부 흐름 매칭(Conditional Flow Matching, CFM)**과 확산 트랜스포머(Diffusion Transformer, DiT) 백본을 기반으로 하는 음성 및 가창 생성을 위한 통합 프레임워크입니다. 핵심 혁신은 **요인 분해 조건화(factorized conditioning)**와 **학습된 널 멜로디 토큰(learned null melody token)**에 있습니다.

1. 아키텍처

모델은 24개 레이어, 16개 어텐션 헤드, 약 0.3B(3억) 개의 파라미터를 가진 공유 DiT 백본(Wan-DiT에서 변형됨)을 활용합니다. 이 모델은 25Hz에서 Song Bloom VAE에 의해 추출된 잠재 특징(latent features) 위에서 동작합니다.

• 공유 백본: 음성과 가창 모두 동일한 연속적 흐름의 조건부 모드로 취급됩니다.
• 적응형 변조(Adaptive Modulation): 별도의 태스크 전용 헤드를 도입하지 않고도 공유 백본을 변조하기 위해, 적응형 레이어 정규화(AdaLN)를 통해 주입되는 경량화된 태스크 토큰(Task Token)("음성" 또는 "가창" 표시)을 사용합니다.

2. 요인 분해 조건화 (Factorized Conditioning)

표현의 충돌을 해결하기 위해, UniVoice는 조건 신호 $c$를 네 가지 직교하는 축으로 분해합니다:

• 콘텐츠 ($c_{cnt}$): ConvNeXt 기반 인코더에 의해 인코딩된 음소 시퀀스.
• 멜로디 ($c_{mel}$):
  • 가창의 경우: Conformer 인코더를 사용하여 MIDI 노트 시퀀스로 인코딩됩니다.
  • 음성의 경우: **학습된 널 멜로디 토큰($e_\emptyset$)**으로 대체됩니다. 이 토큰은 모델이 명시적인 멜로디 제약 대신 언어적 및 음향적 맥락으로부터 운율을 추론하도록 신호를 보냅니다.
• 음색 ($c_{tmb}$): 타겟 오디오와 동일한 VAE를 통해 인코딩된 3~10초 길이의 참조 오디오 프롬프트로부터 유도됩니다. 이를 통해 두 양식 모두에서 제로샷 보이스 클로닝(zero-shot voice cloning)이 가능합니다.
• 태스크 토큰 ($c_{tsk}$): 생성 모드를 구분하는 이산 임베딩.

3. 이론적 근거

본 논문은 학습된 널 토큰이 **멜로디 주변화(melody marginalization)**의 효율적인 아마티즈 근사(amortized approximation) 역할을 한다고 주장합니다. 음성 생성에서 이상적인 벡터 필드는 가능한 모든 멜로디 실현을 주변화해야 합니다. 널 토큰은 모델이 가창 특유의 그래디언트로부터 간섭받지 않고 최적의 "멜로디 부재" 표현을 학습할 수 있게 하여, 효과적으로 축 선택적 분류기 없는 가이드(axis-selective classifier-free guidance)를 수행하게 합니다.

4. 훈련 및 추론

• 데이터: 30,000시간의 음성 데이터(Emilia 데이터셋)와 35,000시간의 가창 데이터(스튜디오 및 야생 녹음)가 혼합된 데이터셋으로 훈련되었습니다.
• 훈련: 8개의 A800 GPU에서 100 에포크 동안 32,000 프레임의 배치 크기를 사용합니다. 분류기 없는 가이드를 활성화하기 위해 조건(텍스트, 멜로디, 오디오 프롬프트)을 10% 확률로 무작위로 드롭(drop)합니다.
• 추론: 32 스텝의 Euler ODE 솔버를 사용하여 오디오를 생성합니다. 축별 가이드 스케일(예: 텍스트에 대해 $w_{txt}=5$, 멜로디에 대해 $w_{mel}=1$)이 적용됩니다.

주요 기여

1. 통합 아키텍처: 태스크 전용 헤드 없이 음성과 가창을 모두 생성하는 공유 DiT 백본을 가진 단일 흐름 매칭 모델.
2. 요인 분해 조건화: 음성 운율 모델링과 가창 멜로디 제어 사이의 그래디언트 충돌을 제거하기 위해 콘텐츠, 멜로디, 음색을 분리하는 체계.
3. 학습된 널 멜로디 토큰: 명시적인 멜로디 입력을 멜로디 변수에 대한 주변화로 간주되는 학습된 토큰으로 대체하는 음성 생성을 위한 메커니즘.
4. UNISINGING-EVAL 벤치마크: 다양한 스타일, 구절 수준의 타임스탬프 및 교차 모달 일관성을 테스트하기 위해 설계된 12가지 음악 스타일을 포함하는 새로운 평가 벤치마크.

실험 결과

10초 클립에 대한 교차 문장 생성 작업에 대해 평가되었습니다:

• 음성 생성: UniVoice는 훨씬 적은 음성 데이터와 통합된 아키텍처를 사용함에도 불구하고, F5-TTS(5.21%) 및 CosyVoice3(5.30%)와 같은 전용 TTS 시스템(PER 5.26%)과 대등한 성능을 보였습니다. 또한 통합 모델 중 가장 높은 음성 자연스러움 점수(S-MOS 3.76)를 달 기록했습니다.
• 가창 생성: UniVoice는 PER 16.22%와 SIM(Speaker Similarity) 35.70%를 달성했습니다. 이는 통합 베이스라인인 Vevo1.5(PER 45.07%)와 전용 가창 모델인 Soul-X-Singer(PER 26.22%)를 크게 상회하는 수치입니다.
• 효율성: 단 0.3B의 파라미터와 65k 훈련 시간만으로, UniVoice는 더 큰 규모의 통합 모델(Vevo1.5, 1B 파라미터) 및 전용 가창 모델보다 우수한 성능을 보여주며 요인 분해 조건화의 효율성을 입증했습니다.

**어블레이션 연구(Ablation Studies)**를 통해 다음을 확인했습니다:

• 요인 분해 조건화를 제거하면 심각한 성능 저하가 발생합니다 (음성 PER 12.31%로 상승, 가창 PER 23.45%로 상승).
• 학습된 널 토큰은 고정된 제로 벡터보다 우수합니다.
• 태스크 토큰은 모달리티 적응에 필수적입니다.
• 명시적 멜로디 조건은 가창에는 결정적이지만, 음성에 강제될 경우 해롭습니다.

의의 및 한계

의의:
UniVoice는 상충하는 조건 요구 사항을 분리함으로써 단일 모델이 음성과 가창 사이의 간극을 효과적으로 메울 수 있음을 보여줍니다. 이는 음성과 가창 스타일 전반에 걸쳐 일관된 화자 정체성을 제공하면서도 전용 시스템에 필적하는 품질을 제공함으로써 통합 음성 생성의 새로운 표준을 제시합니다. 또한 UNISINGING-EVAL의 도입은 이 신흥 분야의 포괄적인 벤치마크 부족 문제를 해결합니다.

한계:

• 화자 유사도: 음성 전용 시스템에 비해 화자 유사도(SIM) 측면에서 격차가 존재하며, 이는 교차 모달 공유와 보이스 클로닝 충실도 사이의 트레이드오프를 나타냅니다.
• 언어 범위: 현재 평가는 영어와 중국어로 제한되어 있습니다.
• 지연 시간: 32 스텝의 ODE 샘플링 프로세스는 적은 단계의 생성 방법들에 비해 높은 지연 시간을 유발합니다.
• 스타일 커버리지: 랩이나 말하듯 노래하는 스타일과 같은 혼합된 보컬 스타일은 명시적으로 모델링되지 않았습니다.
• 윤리적 위험: 양식 간 제로샷 보이스 클로닝 능력은 딥페이크 및 저작권 문제를 일으킬 수 있으며, 워터마킹 및 동의 기반 등록과 같은 책임 있는 배포 조치가 필요합니다.