기술 요약: DLLM-TTS

1. 문제 정의

현재의 텍스트 음성 변환(TTS) 시스템은 생성 품질과 추론 효율성 사이의 근본적인 트레이드오프(trade-off) 문제에 직면해 있습니다.

• 자기회귀적 코덱 언어 모델 (AR-LLMs): 이러한 모델들(예: VALL-E, LLASA)은 매우 높은 명료도와 강력한 제로샷(zero-shot) 능력을 생성하지만, 방대한 데이터셋(60k~250k 시간)을 필요로 하며 토큰을 순차적으로 생성하기 때문에 실시간 애플리케이션을 저해하는 높은 지연 시간을 초래합니다.
• 비자기회귀적 (NAR) 접근 방식: 플로우 매칭(flow matching) 또는 디퓨전(diffusion)에 기반한 방법들은 병렬 생성을 가능하게 하여 지연 시간을 낮출 수 있습니다. 그러나 이들은 텍-음성 정렬(text-speech alignment)에 어려움을 겪어 단어 누락이나 반복과 같은 오류를 빈번히 발생시키며, 명시적인 지속 시간 모델링(duration modeling)이나 복잡한 다단계 파이프라인을 요구하는 경우가 많습니다.

텍스트 생성을 위한 **마스크된 이산 디퓨전(masked discrete diffusion)**의 최근 발전은 병렬 디코딩이 자기회귀적 품질에 도달할 수 있음을 보여주었습니다. 하지만 이를 이산 신경 코덱 토큰 상의 조건부 음성 생성에 적용하는 연구, 특히 국소적 음향 일관성(local acoustic coherence)과 전역적 텍-음성 정렬(global text-speech alignment) 사이의 균형을 맞추는 방법에 대한 연구는 아직 미개척 분야로 남아 있습니다.

2. 방법론: DLLM-TTS

저자들은 DLLM-TTS를 제안하며, 이를 X-Codec2 신경 오디오 코덱의 토큰에 대한 **조건부 블록 이산 디퓨전(conditional block discrete diffusion)**으로 정식화합니다.

핵심 아키텍처 및 메커니즘

• 코덱 표현: 본 시스템은 X-Codec2를 사용하여 오디오를 단일 토큰 스트림(50 Hz 프레임 레이트)으로 압축합니다. 이는 통합된 시맨틱-음향 아키텍처와 유한 스칼라 양자화(Finite Scalar Quantization, FSQ)를 통해 구현되며, 다중 스트림 RVQ 코덱에 비해 트랜스포머 언어 모델과의 통합을 단순화합니다.
• 블록 분해 (Block Decomposition): 코덱 토큰 시퀀스는 연속적인 크기 $B$의 블록(기본값 $B=32$, 약 0.64초의 오디오)으로 분해됩니다.
• 스테어케이스 어텐션 (Staircase Attention): 모델은 작업의 하이브리드 특성을 처리하기 위해 특화된 어텐션 마스크를 채택합니다:
  1. 현재 "노이즈가 섞인(noised)" 블록 내에서의 **양방향 어텐션(bidirectional attention)**을 통해 국소적 음향 일관성을 포착합니다.
  2. 현재 블록에서 모든 이전 "깨끗한(clean)" 블록으로 향하는 **인과적 어텐션(causal attention)**을 통해 순차적 문맥을 유지합니다.
  3. 이전 깨끗한 블록 내에서의 인과적 어텐션을 수행합니다.
     이 설계는 명시적인 지속 시간 예측 없이도 완전한 병렬 디퓨전과 자기회귀적 생성 사이를 보간합니다.
• 학습 목표: 모델은 입력 텍스트와 화자 참조 프롬프트를 조건으로 하여 블록 내의 마스크된 토큰을 재구성하도록 학습됩니다. 순방향 과정(forward process)은 선형 스케줄에 따라 토큰을 점진적으로 마스킹하며, 역방향 과정(reverse process)은 마스킹된 위치에 대해 교차 엔트로피 손실(cross-entropy loss)을 최소화합니다. 이 마스크된 목적 함수는 다양한 마스킹 패턴 하에서 시퀀스가 관찰되므로 암시적인 데이터 증강 효과를 제공합니다.
• 추론 전략: 생성은 블록 단위로 순차적으로 진행됩니다. 각 블록 내에서 모델은 반복적인 디노이징(denoising) 단계를 수행합니다. 신뢰도 기반 샘플링(confidence-based sampling) 전략이 사용되는데, 각 단계에서 예측 신뢰도가 임계값($\tau=0.6$) 이상인 토큰은 "확정(committed/unmasked)"되는 반면, 모호한 위치는 후속 단계를 위해 마스크 상태로 남습니다. 이를 통해 최대 단계 횟수에 도달하기 전에 블록 내의 모든 토근이 해결될 경우 조기 종료가 가능합니다.

3. 주요 기여

1. TTS에 블록 이산 디퓨전을 최초로 적용: 본 논문은 블록 분해를 사용하여 코덱 토큰 상에서 조건부 마스크된 토큰 재구성을 모델링하는 최초의 프레임워크를 도입했습니다.
2. 공동 모델링을 위한 스테어케이스 어텐션: 저자들은 명시적인 지속 시간 모델링 없이도 국소적 음향 일관성(블록 내)과 전역적 텍-음성 정렬(블록 간)을 동시에 포착하는 새로운 어텐션 메커니즘을 사용합니다.
3. 높은 데이터 효율성: 본 시스템은 20,000시간의 학습 데이터만으로도 경쟁력 있는 성능을 달enc히며, 이는 일반적으로 60k250k 시간이 필요한 자기회귀 시스템에 비해 312배 감소한 수치입니다.
4. 효율적인 실시간 생성: 0.6B 파라미터 모델은 0.15의 실시간 계수(Real-Time Factor, RTF)를 달성하여, 강력한 제로샷 화자 유사성과 함께 실용적인 저지연 음성 합성을 가능하게 합니다.

4. 실험 결과

모델은 영어 표준 및 도전적 시나리오(희귀 단어, 복잡한 운율, 긴 문장 등)를 포함하는 Seed-TTS-eval 벤치마크에서 평가되었습니다.

• 성능 지표:
  • 명료도 (Intelligibility): 단어 오류율(WER) 2.25%, 음절 오류율(CER) **1.05%**를 달성했습니다.
  • 화자 유사도 (Speaker Similarity): 코사인 유사도 점수 0.750을 기록하며 오픈 소스 시스템 중 최고 수준에 도달했습니다.
  • 주관적 품질 (Subjective Quality): 평균 의견 점수(MOS) 4.25를 획득하여 F5-TTS, MaskGCT, CosyVoice3를 포함한 대부분의 베이스라인을 능가했으며, LLASA-3B와 OpenAudio-s1-mini에 근접한 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 디노이징 단계 ($T$): 단계를 8에서 32로 늘리면 화자 유사도는 안정적으로 유지하면서 명료도(WER이 14.58%에서 2.25%로 감소)가 크게 향상되었습니다. $T=16$ 설정이 속도와 품질 사이의 최적의 트레이드오프를 제공했습니다.
  • 블록 크기 ($B$): 블록 크기 32가 최적의 결과를 냈습니다. 블록이 더 작으면 제한된 병렬 문맥으로 인해 오류율이 증가했고, 블록이 더 크면 블록 간 조건부 관계가 약화되어 명료도가 저하되었습니다.

5. 의의 및 주장

본 논문은 DLLM-TTS가 블록 이산 디퓨전 언어 모델이 자기회귀적 음성 모델의 실행 가능한 규모 있는 대안이 될 수 있음을 입증한다고 주장합니다. 디퓨전의 병렬 생성 장점과 순차적 블록 구조를 결합함으로써, 본 프레임워크는 다음을 달성합니다:

• 실용적인 실시간 합성: 0.15의 RTF는 낮은 첫 오디오 도달 시간(time-to-first-audio)을 가진 스트리밍 애플리케이션을 가능하게 합니다.
• 데이터 효율성: 마스크된 디퓨전 목적 함수의 암시적 데이터 증강 덕분에 자기회귀 모델보다 훨씬 적은 학습 데이터로도 고품질 합성이 가능합니다.
• 강력한 정렬: 본 방법은 명시적인 지속 시간 모델이나 음소 수준의 주석 없이도 텍스트-음성 정렬과 국소적 음향 일관성을 성공적으로 모델링합니다.

저자들은 이 접근 방식이 TTS의 효율성-품질 트레이드오프에 대한 균형 잡힌 솔루션을 제공하며, 계산 및 데이터 요구 사항을 줄이면서도 고충실도, 저지연 음성 합성을 가능하게 한다고 결론지었습니다.