기술 요약: dots.tts

1. 문제 정의

본 논문은 현재의 텍스트 음성 변환(TTS) 시스템이 가진 두 가지 주요 한계를 다룹니다:

1. 이산 토큰의 한계 (Discrete Token Limitations): 주류 자기회귀(AR) TTS 시스템은 이산적인 음향 토큰에 의존합니다. 이는 대규모 언어 모델(LLM) 스택을 재사용할 수 있게 해주지만, 양자화 병목 현상으로 인해 음성, 감정적 파라언어(paralinguistics), 노래 및 일반 오디오를 아우르는 단일 분포를 모델링하는 능력을 제한합니다.
2. 연속적 AR의 불안정성 (Continuous AR Instability): 최근 음성을 연속적 표현으로 모델링하려는 시도들은 양자화를 피했지만, 장기적 오차 누적(long-range error accumulation) 문제로 어려움을 겪고 있습니다. 코덱이 불완전한 샘플을 유효한 구성으로 다시 잡아주는 이산 시스템과 달리, 연속 잠재 표현(continuous latents)은 모든 미세한 예측 오차를 충실히 재구성하여 다음 단계의 컨디셔ング(conditioning)으로 피드백합니다. 이는 긴 롤아웃(rollout) 과정에서 드리프트와 불안정성을 초래합니다.
3. 미성숙한 사후 학습 (Immature Post-Training): 연속적 AR 모델의 사후 학습 스택은 외부 보상 모델 없이 추론 시 발생하는 오류를 수정하는 견고한 방법이 부족하여, 이산 토큰 시스템보다 성숙도가 낮습니다.

2. 방법론

dots.tts는 20억 개의 파라미터를 가진 완전 연속형 엔드 투 엔드 자기회귀 TTS 파운데이션 모델입니다. 이 모델은 세 가지 핵심적인 구조적 및 학습 혁신을 통해 연속적인 잠재 공간에서 음성을 모델링합니다:

A. 시맨틱 인과적 오디오 VAE (Semantic Causal AudioVAE)

시스템은 48kHz 모노 음성을 25Hz(1920배 시간적 다운샘플링)의 128차원 잠재 스트림으로 인코딩하는 고충실도 AudioVAE를 기반으로 구축되었습니다.

• 구조: BigVGAN-v2 디코더의 인과적 변형과 완전 인과적 컨볼루션 인코더를 사용합니다.
• 학습 목표:
  • 단계 1: 멀티 피리어드/서브 밴드 CQT 적대적 손실, 멀티 스케일 멜-스펙트럼 손실, 그리고 KL + flow 사전 확률(prior)에 의해 규제되는 특징 매칭 손실을 사용하여 재구성 품질에 집중합니다.
  • 단계 2: AR 백본의 학습 가능성을 높입니다. WavLM 표현 정렬 손실(프레임 레벨 코사인 정렬)과 멀티태스크 다운스트림 블록(ASR, 감정, 화자 분류)을 추가합니다. 이를 통해 재구성 충실도를 희생하지 않으면서도 잠재 공간이 의미적으로 구조화되고 예측 친화적이도록 보장합니다.
• 시맨틱 인코더 (Semantic Encoder): AudioVAE 학습 파이프라인에서 전이된 모듈로, 생성된 각 25Hz VAE 잠재 패치를 단일 6.25Hz 오디오-시맨틱 임베딩으로 투영합니다. 이는 고변동성 음향 세부 사항을 제거하여 LLM에 원시 잠재값 대신 압축된 시맨틱 요약을 제공합니다.

B. 자기회귀 플로우 매칭 백본 (Autoregressive Flow-Matching Backbone)

백본은 세 가지 분리된 구성 요소로 이루어집니다:

1. 시맨틱 인코더: VAE 패치를 LLM 입력으로 변환합니다.
2. LLM 백본: Qwen2.5-1.5B에서 초기화되었으며, BPE 텍스트 토큰과 6.25Hz 시맨틱 임베딩을 소비합니다. 이는 장거리 텍스트-투-콘텐츠 모델링을 처리합니다.
   • 듀얼 스트리밍 (Dual Streaming): 저지연 대화를 위해 1T1A 인터리브 모드(텍스트 토큰과 오디오 단계를 교차 배치)를 지원하여, 전체 발화가 준비되기 전에도 합성이 시작될 수 있도록 합니다.
3. 자기회귀 플로우 매칭 (AR-FM) 헤드: 다음 4개 프레임의 VAE 잠재 패치를 생성하는 확산 트랜스포머(Diffusion Transformer, DiT)입니다.
   • 전체 이력 컨디셔닝 (Full-History Conditioning): LLM 은닉 상태, 모든 이전의 깨끗한 패치, 그리고 현재의 노이즈가 섞인 패치에 컨디셔닝됩니다.
   • 블록-인과적 어텐션 (Block-Causal Attention): 특수 학습 마스크를 통해 모든 패치에 대해 병렬 학습을 허용하면서도, 추론 시의 단계별 자기회귀 컨텍스트를 엄격하게 재현하여 훈련과 롤아웃 사이의 수치적 동일성을 보장합니다.

C. 학습 파이프라인 및 사후 학습

학습은 세 단계로 진행됩니다:

1. 사전 학습 (Pretraining):
   • 모달리티 정렬: 시맨틱 인코더와 AR-FM 헤드를 고정된(frozen) LLM과 정렬합니다.
   • 일반 학습: 150만 시간의 다국어 데이터로 엔드 투 엔드 학습을 수행합니다.
   • *애닐링 (Annealing): 고품질 서브셋에서의 미세 조정.
2. 보상 없는 자기 교정 정렬 (Reward-Free Self-Corrective Alignment, SOAR):
   • SOAR 개념을 AR 플러 매칭 헤드에 적용합니다.
   • 모델은 자신의 추론 시 상태로부터 분리된(detached) 오일러 롤아웃을 수행하여 "궤적 이탈(off-trajectory)" 오차를 생성합니다.
   • 그 후, 이러한 오차를 깨끗한 잠재 엔드포인트로 다시 유도하도록 학습됩니다. 이는 외부 보상 모델 없이도 강건성과 음향 품질을 개선합니다.
3. CFG 인식 평균 플로우 증류 (CFG-Aware MeanFlow Distillation):
   • 자기 교정된 티처(teacher) DiT를 학생(student) DiT로 증류합니다.
   • 학생 모델은 시간 간격 동안의 **평균 속도(mean velocity)**를 예측하며, Classifier-Free Guidance(CFG)를 타겟에 직접 융합합니다.
   • 이를 통해 단계당 단 2~4회의 함수 평가(NFE)만으로 저지연 추론을 가능하게 하여, 별도의 조건부/무조건부 패스가 필요 없도록 합니다.

3. 주요 기여

1. dots.tts 모델: 이산 음향 토큰을 제거하면서도 최첨단 안정성과 제로샷 보이스 클로닝 품질을 달면하는 20억 파라미터 규모의 완전 연속형 AR TTS 시스템입니다.
2. 안정성 메커니즘: 연속적 AR의 불안정성을 완화하기 위한 세 가지 설계:
   • WavLM 정렬을 포함한 시맨틱 인과적 AudioVAE.
   • 시맨틱 계획(LLM)과 음향 렌더링(AR-FM)의 분리.
   • 플로우 매칭 헤드를 위한 보상 없는 자기 교정 정렬.
3. 효율성: CFG 인식 MeanFlow 증류와 완전 인과적 1T1A 인터리브 스트리밍 구현을 통해, 실시간 배포에 적합한 낮은 첫 패킷 지연 시간(일반 모드 85ms, 인터리브 모드 54ms)을 달성했습니다.

4. 실험 결과

모델은 150만 시간의 음성 데이터로 학습되었으며 여러 벤치마크를 통해 평가되었습니다:

• Seed-TTS-Eval (제로샷 보이스 클로닝):

  • 오픈 소스 시스템 중 가장 우수한 평균 성능을 기록했습니다.
  • WER: 0.94% (중국어), 1.30% (영어), 6.60% (중국어-하드).
  • SIM (화자 유사도): 81.0 (중국어), 77.1 (영어), 79.5 (중국어-하드).
  • CosyVoice 3, Seed-TTS, VoxCPM 2와 같은 베이스라인을 능가했습니다.

• MiniMax 다국어 테스트 세트 (24개 언어):

  • 평균 화자 유사도(83.9)에서 선두를 차지하며, 차순위 베이스라인인 VoxCPM 2(82.3)를 앞질렀습니다.
  • 24개 언어 중 19개 언어에서 가장 높은 SIM을 달성했습니다.
  • WER은 경쟁력 있는 수준이었으나, BPE 토큰 커버리지 제한으로 인해 저자원 언어에서는 다소 높았습니다.

• CV3-Eval (교차 언어 클로닝):

  • 교차 언어 작업에서 화자 유사도(en→zh 75.0, zh→en 72.8) 선두를 차지하며 CosyVoice 3를 크게 앞질렀습니다.
  • SOAR 사후 학습 단계 이후 "hard-en" 서브셋에서 상당한 개선을 보였습니다.

• EmergentTTS-Eval (표현력):

  • 모든 시스템(오픈 및 폐쇄형 포함) 중 가장 높은 통사적 복잡도(Syntactic Complexity) 점수(65.7%)를 기록하며 Gemini-2.5-Pro를 넘어섰습니다.
  • 감정(Emotions)(72.7%) 및 gpt-4o-mini-tts 대비 종합 승률에서 오픈 소스 시스템 중 선두를 차지했습니다.
  • SOAR가 텍스트 충실도(Syntax)를 향상시키는 대신, 사전 학습된 체크포인트에 비해 감정적 표현력이 약간 감소하는 트레이드오프가 관찰되었습니다.

• 효율성:

  • 단일 NVIDIA H800 GPU에서, MeanFlow 증류 모델은 인터리브 스트리밍 모드에서 **54ms의 첫 패킷 도달 시간(TTFP)**과 0.245의 RTF를 달s성했습니다.

5. 의의 및 주장

본 논문은 dots.tts가 연속 잠재 생성의 표현력과 생산에 필요한 안정성 사이의 간극을 성공적으로 메웠음을 주장합니다. 시맨틱 추론과 음향 렌더링을 분리하고 보상 없는 자기 교정 메커니즘을 도입함으로써, 저자들은 연속적 AR TTS가 이산 양자화 없이도 최첨단 안정성과 보이스 클로닝 품질을 달성할 수 있음을 입증했습니다.

이 연구는 Apache 2.0 라이선스로 전체 학습 및 추론 코드가 공개된, 연속적 AR TTS를 위한 재현 가능한 참조 스택으로 제시됩니다. 저자들은 이 시스템을 실시간 대화형 애플리케이션을 위한 실행 가능한 솔루션으로 포지셔닝하며, 기존의 연속 모델들이 동시에 달성하기 어려워했던 고충실도, 다국어 커버리지, 그리고 저지연성의 균형을 제공한다고 밝히고 있습니다.

인정된 한계점:

• 저자원 언어: 스크립트가 다르거나 과소 표현된 언어(예: 아랍어, 힌디어)에 대한 성능은 BPE 토큰 커서리지에 의해 제한됩니다.
• 범위: 현재 릴리스는 음성에 집중되어 있으며, 노래 및 통합 음성-사운드 생성은 포함되지 않습니다.
• 제어: 시스템은 명시적인 스타일이나 지시 제어 없이 표준적인 제로샷 조건 하에서 평가되었습니다(단, 캡션 쌍 데이터셋이 향후 경로를 제시함).
• 안전: 저자들은 고충실도 제로샷 보이스 클로닝의 위험성을 인정하며, 동의 기반 정책 및 탐지 도구의 사용을 권장합니다.