기술 요약: VoiceDesigner

문제 정의

텍스트-음성(T2V) 생성은 텍스트 전사본과 화자의 목소리에 대한 자연어 설명을 바탕으로 음성을 합성하는 것을 목표로 합니다. 최근의 딥러닝 발전은 목소리 속성이 생성을 가이드하는 시스템을 가능하게 했으나, 기존 모델들은 두 가지 주요 한계에 직면해 있습니다:

1. 제한된 목소리 다양성: 현재의 시스템은 광범위한 스펙트럼의 목소리, 특히 허구적이거나 비인간적인 캐릭터(예: 괴물, 로봇, 악마) 및 덜 일반적인 말하기 스타일(예: 속삭임, 초조한 말투)을 생성하는 데 어려움을 겪습니다. 대부분의 학습 데이터는 오디오북과 팟캐스트에서 추출한 자연스러운 인간의 음성으로 구성되어 있어, 영화나 게임과 같은 창의적인 응용 분야에 필요한 다양성이 부족합니다.
2. 취약한 편집 및 재사용성: 기존의 음성 복제 및 지시 기반 편집 시스템은 주로 일반적인 인간의 목소리를 위해 설계되었으며, 양식화되거나 독특한 목소리를 처리할 때 견고함이 떨어집니다. 또한, 음성 생성과 편집은 일반적으로 별개의 시스템으로 구현되어 배포 비용을 증가시키고 저자원 환경에서의 적용 가능성을 제한합니다.

방법론

저자들은 하이브리드 데이터 파이프라인과 최적화된 확산 트랜스포머(Diffusion Transformer) 아키텍처를 통해 이러한 과제를 해결하는 통합된 T2V 생성 및 편집 프레임워크인 VoiceDesigner를 제안합니다.

1. 하이브리드 데이터 시뮬레이션 파이프라인

데이터 부족 문제를 극번째하기 위해, 특히 비인간 및 캐릭터 목소리를 위해 저자들은 두 가지 상호 보완적인 시뮬레이션 파이프라인을 채택했습니다:

• DSP 기반 시뮬레이션: 디지털 신호 처리(DSP) 파이프라인은 피치 시프팅(pitch shifting), 포먼트 시프팅(formant shifting), 잔향(reverberation), 다이내믹 레인지 압축(dynamic range compression)과 같은 효과를 사용하여 표준적인 인간의 음성을 비인간 캐릭터 목소리(예: 드래곤, 유령, 로봇)로 변환합니다. 이를 통해 각 캐릭터를 위한 전용 녹음 없이도 인외(inhuman)의 음성 특성을 포함하도록 음성 분포를 확장합니다.
• 생성적 시뮬레이션: 제로샷 텍스트-음성 변환(voice cloning) 및 음성 변환 모델을 활용하는 파이스라인은 고품질의 스타일 데이터를 증강합니다. 이는 특정 목소리 특성(음색, 감정, 억양)이나 스타일 특성(피치 윤곽)을 보존하면서 다양한 언어적 콘텐츠를 생성하여, 음성 편집 작업을 위한 감독(supervision)을 제공합니다.
• 데이터 필터링: 언어적 정확도를 위한 단어 오류율(WER)과 화자 및 감정 일관성을 위한 임베딩 유사도 지표를 활용하여 품질을 보장하는 다단계 필터링 프로세스를 수행합니다.

2. 모델 아키텍처: 통합 MM-DiT

VoiceDesigner는 오디오 잠재 공간(DAC-VAE 사용)에서 작동하는 멀티모달 확산 트랜스포머(MM-DiT)를 기반으로 구축되었습니다. 이 모델은 단일 프레임워크 내에서 세 가지 생성 모드를 통합합니다:

• 음성 생성(Voice Generation): 전사본과 목소리 묘사를 바탕으로 음성을 합성합니다.
• 음성 복제(Voice Cloning): 참조 오디오와 전사본으로부터 화자의 정체성을 보존합니다.
• 음성 편집(Voice Editing): 언어적 내용을 유지하면서 지시에 따라 참조 오디오의 목소리 속성(감정, 스타일, 피치)을 수정합니다.

주요 아키텍처 혁신:

• 토큰 수준 적응형 레이어 정규화(Token-Level Adaptive Layer Normalization, AdaLN): 기존 TTS 프레임워크에서 사용되는 글로벌 확산 타임스텝과 달리, VoiceDesigner는 각 토큰에 연속적인 시간 임베딩을 할당합니다. 생성 대상은 노이즈(타임스텝 $t \in [0, 1]$)를 받는 반과, 조건 입력(지시문, 전사본, 참조 오디오)은 노이즈가 없는 상태($t=1$)로 유지됩니다. 이러한 명시적 구분을 통해 모델은 이질적인 신호들을 더 잘 조정하고 수렴을 개선할 수 있습니다.
• 3D 회전 위치 임베딩(3D Rotary Positional Embeddings, 3D-RoPE): 세 가지 서로 다른 조건 모달리티(지시문, 전사본, 오디오)를 처리하기 위해, 저자들은 RoPE를 3D 공간으로 확장했습니다. 지시문 토큰, 전사본 토큰, 오디오 토큰은 각각 별개의 축($x, y, z$)을 따라 인코딩됩니다. 이는 모달리티별 유도 편향(inductive bias)과 시간적 정렬을 보존하는 동시에 모든 토큰에 대한 통합된 셀프 어텐션(self-attention)을 가능하게 합니다.

주요 기여

1. 하이브리드 데이터 파이프라인: DSP 기술과 생성 모델을 결합하여 실제 인간의 목소리, 허구적 캐릭터, 편집 쌍을 포함하는 다양한 데이터셋을 구축함으로써 비인간 음성 데이터의 희소성 문제를 해결하는 새로운 접근 방식을 제시했습니다.
2. 통합 MM-DiT 아키텍처: 토큰 수준의 AdaLN과 3D-RoPE를 갖춘 최적화된 확산 트랜스포머를 통해 텍스트-음성 생성, 복제, 지시 기반 편집을 공동으로 모델링하며, 단일 모델 내에서 고충실도 생성과 정밀한 제어를 실현했습니다.
3. 포괄적 평가: 실험을 통해 VoiceDesigner가 프롬프트 정렬 및 경쟁력 있는 지각 품질 측면에서 최첨단 오픈 소스 및 상용 베이스라인보다 우수함을 입증하는 광범위한 주관적 및 객관적 실험을 수행했습니다.

실험 결과

저자들은 CapSpeech, Qwen3-TTS, ElevenLabs(API), IndexTTS-2 등의 시스템과 VoiceDesigner를 비교 평가했습니다.

• 음성 생성: VoiceDesigner는 오픈 소스 모델 중 가장 높은 스타일 정확도(0.66)와 가장 낮은 단어 오류율(1.22%)을 달축했습니다. 주관적 청취 테스트(MOS)에서 프롬프트-목소리 정렬(MOS-C) 측면에서 우수한 성능을 보였으며, 사용성(MOS-U) 및 품질(MOS-Q) 측면에서도 경쟁력 있는 결과를 보여 특히 후처리 향상이 적용되었을 때 상용 시스템과의 격차를 좁혔습니다.
• 음성 복제: Seed-TTS 벤치마크에서 VoiceDesigner는 1.70%의 WER과 0.757의 화자 유사도(SIM-o)를 달성하여, 대부분의 오픈 소스 제로샷 TTS 모델을 능가하고 폐쇄형 소스 모델의 성능에 근접했습니다. 까다로운 캐릭터 목소리에 대한 주관적 테스트에서 음색과 스타일 유사도 모두에서 CosyVoice-3 및 IndexTTS-2를 앞질렀습니다.
• 음성 편집: VoiceDesigner는 음성 유사도(SIM-t: 0.884)와 지시 이행 정확도(MOS-E: 4.129) 모두에서 Step-Audio-EditX 및 IndexTTS-2를 능가하였으며, 심각한 아티팩트를 유발하지 않으면서 미세한 스타일 편집을 수행하는 강력한 능력을 입증했습니다.
• 효율성: 모델은 단일 RTX 4090에서 생성 시 0.36, 편집 시 0.42의 실시간 계수(RTF)로 작동하며, 이는 Qwen3-TTS 및 IndexTTS-2보다 현저히 빠릅니다.

의의 및 주장

본 논문은 VoiceDesigner가 단순한 특성 기반 프롬프트를 넘어 직관적인 캐릭터 디자인(예: "거대한 수컷 드래곤")을 지원함으로써 음성 생성과 편집을 통합하는 중요한 진전을 이루었다고 주장합니다. 하이브리드 데이터 파이프라인을 활용함으로써, 이 프레임워크는 자연스러운 음성 코퍼스에서 얻기 어려운 비인간 존재를 포함한 목소리를 성공적으로 모델링합니다. 아키텍처 혁신(토큰 수준 AdaLN 및 3D-RoPE)은 이질적인 조건 신호의 효과적인 조율을 가능하게 하여, 단일 모델이 고충실도로 생성, 복제, 편집 작업을 처리할 수 있도록 합니다.

저자들은 선도적인 상용 시스템(예: ElevenLabs)과 여전히 성능 격차가 존재함을 언급하면서도, 유사한 데이터 시뮬레이션 및 모델링 패러다임을 따르고 추가적인 실제 데이터로 학습한다면 이 격차를 더욱 좁힐 수 있음을 시사했습니다. 이 연구는 다양한 목소리 디자인이 필수적인 일상적인 콘텐츠 제작, 게임, 영화 제작 분야에서 이러한 통합 프레임워크의 잠재력을 강조합니다.