기술 요약: Qwen3-TTS

문제 정의

신경망 텍스트 음성 합성(TTS) 분야는 안정적이고 제어 가능하며 인간과 유사한 음성 합성을 달eso 하는 것을 목표로 하며, 이는 범용 인공지능(AGI)으로 가는 길목에서 매우 중요한 능력으로 간급됩니다. 대규모 데이터셋으로 학습된 현대적 모델들은 짧은 참조 오디오로부터 고품질의 음성을 생성할 수 있지만, 안정성과 자연스러움 사이의 균형을 맞추고, 실시간 스트리밍을 위한 초저지연성을 달성하며, 다양한 언어와 긴 문맥 전반에 걸쳐 견고한 성능을 유지하는 데 여전히 과제가 남아 있습니다. 기존 방식들은 토큰화 과정에서 의미론적 충실도(semantic fidelity)와 음향적 풍부함(acoustic richness) 사이의 트레이드오프를 조절하는 데 어려움을 겪거나, 복잡한 확산 기반 디코더(diffusion-based decoders) 및 룩어헤드(look-ahead) 요구사항으로 인한 지연 시간 병목 현상에 직면하곤 합니다. 또한, 미세한 지시 이행(instruction following)과 ASR 메트릭에 과적합되지 않는 보이스 클로닝을 지원하기 위해 TTS를 대규모 언어 모델(LLM)과 원활하게 통합하는 것도 여전히 큰 난제입니다.

방법론

아키텍처 및 토큰화

Qwen3-TTS는 실시간 합성을 위해 설계된 이중 트랙 자기회귀(dual-track autoregressive) 아키텍처를 기반으로 한 모델 제품군을 도입합니다. 핵심 혁신은 서로 다른 지연 시간 및 품질 요구사항을 해결하기 위해 두 가지 별도의 음성 토크나이저를 개발한 데 있습니다:

1. Qwen-TTS-Tokenizer-25Hz: 의미론적 콘텐츠를 강조하는 단일 코드북 코덱(25 Hz)입니다. 이는 Qwen2-Audio 인코더를 기반으로 하며, 리샘플링 및 벡터 양자화(VQ) 레이어가 추가되었습니다. 파형 재구성을 위해 Flow Matching이 적용된 블록 단위 확산 트랜스포머(block-wise Diffusion Transformer, DiT)를 활용합니다. 이 토크나이저는 의미론적 단서와 음향적 단서를 통합하여 Qwen-Audio와의 원활한 통합을 지원하며, 슬라이딩 윈도우 블록 어텐션 메커니즘을 통해 스트리밍을 지원합니다. 그러나 단일 코드북 설계와 룩어헤드 요구사항으로 인해 초저지연 애플리케이션에는 적합성이 제한됩니다.
2. Qwen-TTS-Tokenizer-12Hz: 16개 레이어의 잔차 벡터 양자화(Residual Vector Quantization, RVQ) 설계를 특징으로 하는 다중 코드북 코덱(12.5 Hz)입니다. 첫 번째 코드북은 의미론적 콘텐츠를 포착하고, 후속 레이어들은 음향적 세부 사항을 모델링합니다. Mimi 아키텍처에서 영감을 받아, 의미론적 경로를 위해 교사-학생(teacher-student, WavLM) 설정이 포함된 GAN 기반 학습 프레임워크를 채택했습니다. 결정적으로, 완전히 인과적인(fully causal) 특징 인코더와 디코더를 사용하여 룩어헤드 없이 즉각적인 첫 패킷 방출이 가능합니다. 파형 재구성은 경량화된 인과적 ConvNet에 의해 처리되며, 화자 벡터 추출이나 복잡한 확산 모델의 필요성을 제거합니다.

모델 아키텍처

Qwen3-TTS 모델은 Qwen3 대규모 언어 모델(LM) 제품군을 활용합니다.

• 이중 트랙 표현: 텍스트와 음향 토큰은 채널 축을 따라 결합됩니다. 텍스트 토큰을 수신하면 모델은 그에 대응하는 음향 토큰을 예측하며, 이는 Code2Wav 모듈에 의해 파형으로 변환됩니다.
• 계층적 예측 (12Hz 변체): 백본은 제0차 코드북을 예측하며, 다중 토큰 예측(Multi-Token Prediction, MTP) 모듈은 모든 잔차 코드북을 생성하여 복잡한 음향적 세부 사항을 포착하고 음성 일관성을 향상시킵니다.
• 화자 제어: 학습 가능한 화자 인코더가 백본과 공동 학습되어 정밀한 정체성 제어를 유지합니다. 이 시스템은 참조 음성(화자 임베딩) 또는 텍스트-음성 쌍(인컨텍스트 러닝)을 통한 보이스 클로닝과 자연어 설명을 통한 보이스 디자인을 모두 지원합니다.

학습 전략

학습 과정은 사전 학습(pre-training)과 사후 학습(post-training) 단계로 구성되며, 모든 데이터는 ChatML 형식으로 구성됩니다:

1. 사전 학습:
   • 일반 단계 (S1): 5백만 시간 이상의 다국어 음성 데이터로 학습되어 단조로운 텍스트-음성 매핑을 구축합니다.
   • 고품질 단계 (S2): 환각(hallucinations)을 줄이고 음질을 개선하기 위해 층화된 고품질 데이터로 지속적 사전 학습(CPT)을 수행합니다.
   • 장문 맥락 단계 (S3): 토큰 길이를 8,192에서 32,768로 늘리고, 긴 음성 데이터를 업샘플링하여 맥락 처리 능력을 강화합니다.
2. 사후 학습:
   • 직접 선호도 최적화 (DPO): 구성된 선호도 쌍을 사용하여 출력을 인간의 선호도에 맞춥니다.
   • 규칙 기반 보상 및 GSPO: 작업 전반에 걸친 능력과 안정성을 향상시킵니다.
   • 경량 화자 미세 조정: 특정 목소리에 모델을 적응시키는 동시에 자연스러움과 제어 가능성을 개선합니다.
   • 지시 이행: 복잡한 설명에 대한 준수 능력을 높이기 위해 학습 중 확률적으로 활성화되는 사고 패턴(thinking pattern)을 도입합니다.

주요 기여

1. 이중 토크나이저 프레임워크: 두 가지 특화된 토크나이저(고충실도 의미론적 통합을 위한 25Hz 및 초저지연 스트리밍을 위한 12Hz)의 도입을 통해 모델이 표현력과 실시간 성능 사이의 균형을 맞출 수 있게 합니다.
2. 초저지연 스트리밍: 12Hz 변체는 즉각적인 파형 방출을 가능하게 하는 인과적 다중 코드북 설계를 활용하여, 0.6B 모델 기준 97ms, 1.7B 모델 기준 101ms의 낮은 첫 패킷 지연 시간을 달성합니다.
3. 고도화된 제어 가능성: 3초 보이스 클로닝, 사전 정의된 보이스 프로필, 그리고 보이스 생성(Voice Design) 및 편집(Target Speaker)을 위한 자연어 설명을 통한 미세한 제어를 지원합니다.
4. 강력한 다국어 성능: 10개 언어에 걸쳐 5백만 시간 이상의 데이터로 학습된 이 모델은 화자 일관성이 있는 다국어 생성 및 우수한 교차 언어 음성 전이 능력을 보여줍니다.
5. 장문 안정성: 이 아키텍처는 자기회귀 모델에서 흔히 발생하는 안정성 문제를 해결하여, 청크 기반 시스템에서 나타나는 아티팩트 없이 10분 이상의 유창한 음성을 원활하게 생성합니다.

실험 결과

음성 토크나이저 평가

• 25Hz 토크나이저: ASR 작업(CommonVoice, Fleurs)에서 S3 토크나이저 시리즈와 비교하여 경쟁력 있거나 우수한 단어 오류율(WER)을 달est성했습니다. 특히 단계 1에서 두드러졌으며, 단계 2에서는 더 나은 TTS 생성을 위해 음향적 풍부함을 의도적으로 추가함에 따라 WER이 약간 증가했습니다.
• 12Hz 토크나이저: 모든 지표(PESQ, STOI, UTMOS, SIM)에서 LibriSpeech test-clean 세트에 대해 새로운 SOTA(State-of-the-Art)를 기록하며 Mimi, SpeechTokenizer, X-Codec 등의 모델을 능가하는 동시에 높은 인코딩 효율성을 유지했습니다.

음성 생성 평가

• 제로샷 클로닝: Seed-TTS 벤치마크에서 Qwen3-TTS-12Hz-1.7B는 영어 1.24, 중국어 0.77의 WER을 기록하며 CosyVoice 3, Seed-TTS, MiniMax-Speech와 같은 베이스라인을 능가했습니다.
• 다국어 생성: 모델은 10개 언어 중 6개 언어(중국어, 영어, 한국어, 러시아어 포함)에서 가장 낮은 WER을 기록했으며, MiniMax 및 ElevenLabs와 비교하여 모든 10개 언어에서 가장 높은 화자 유사도 점수를 달성했습니다.
• 교차 언어 전이: 뛰어난 일반화 능력을 입증하였으며, 중국어-한국어 생성 시 CosyVoice 3 대비 오류율을 약 66% 감소시켰습니다.
• 제어 가능 생성: InstructTTSEval에서 12Hz Voice Design 변체는 설명-음성 일관성(DSD) 및 응답 정밀도(RP) 측면에서 오픈 소스 모델 및 상용 시스템(Hume, VoiceSculptor)보다 우수한 성능을 보였습니다. 타겟 화자 편집(Target Speaker editing)에서도 GPT-4o-mini-tts를 크게 앞질렀습니다.
• 장문 생성: 25Hz 변체는 10분 길이의 장문 테스트 세트에서 가장 낮은 WER(중국어 1.533, 영어 1.571)을 달성하여 Higgs-Audio-v2 및 VibeVoice와 같은 청크 기반 시스템보다 우수한 안정성을 입증했습니다.

효율성

• 스트리밍 지연 시간: 단일 동시성 조건에서 12Hz 모델은 25Hz 모델(138–150 ms)보다 현저히 낮은 첫 패킷 지연 시간(97–101 ms)을 보여주었습니다.
• 동시성: 모델은 다양한 동시성 수준(1, 3, 6)에서도 안정적인 성능을 유지하였으며, 12Hz 변체가 패킷당 낮은 정상 상태 비용을 보여주었습니다.

의의

본 논문은 Qwen3-TTS가 안정적이고 제어 가능하며 인간과 유사한 음성 합성을 향한 중요한 진전임을 주장합니다. 제로샷 클로닝, 교차 언어 전이, 미세한 지시 제어라는 다양한 과제를 단일 자기회귀 프레임워크 내로 통합함으로써, 차세대 옴니(omni) 역량 오디오 시스템을 위한 길을 열었습니다. 모델과 토크나이저 모두를 Apache 2.0 라이선스로 공개하여 커뮤니티 연구와 더 자연스럽고 접근 가능한 인간-컴퓨터 인터페이스 개발을 촉진하고자 합니다. 이 연구는 의미론적 토큰화와 음향적 토큰화의 균형을 맞추는 것이 인과적 디코딩 및 고급 학습 전략과 결합될 때, 기존 TTS 아키텍처의 지연 시간 및 안정성 한계를 극복할 수 있음을 강조합니다.