기술 요약: WordVoice

1. 문제 정의

최근 대규모 언어 모델(LLM) 기반의 텍-트-스(TTS) 시스템은 놀라운 자연스러움을 달성했으나, 주로 암시적인 엔드 투 엔드(end-to-end) 생성 패러다임에 의존하고 있습니다. 이러한 아키텍처는 거친 입도(coarse-grained)의 제어를 초래하며, 이는 오디오북 내레이션이나 비디오 더빙과 같이 단어 수준에서 정밀하고 결정론적인 개입이 필요한 애플리케이션에 있어 치명적인 병목 현상을 만듭니다. 현재의 모델들은 전역적 안정성을 해치지 않으면서 개별 단어의 특정 음향 속성(예: 지속 시간, 에너지, 피치, 톤)을 명시적으로 조작하는 데 어려움을 겪고 있습니다. 이러한 한계는 대규모의 미세한 주석 데이터의 부족과, 이산적인 자기회귀 생성 과정에 다차원 제어 신호를 통합하는 아키텍처상의 어려움으로 인해 더욱 심화됩니다.

2. 방법론

저자들은 WordVoice를 제안합니다. 이는 이중 단계 아키텍처와 방대한 새로운 데이터셋을 통해 암시적 생성을 명시적이고 고도로 제어 가능한 패러다임으로 전환하는 통합 프레임워크입니다.

2.1. 데이터 기초: WordVoice-5A

데이터 부족 문제를 해결하기 위해, 저자들은 약 4,700시간의 음성을 포함하는 이중 언어(중국어 및 영어) 데이터셋인 WordVoice-5A를 구축했습니다.

• 주석 파이프라인: 다음과 같은 엄격하고 언어학적으로 유도된 파이프라인이 개발되었습니다:
  • 타임스탬프 최적화: 고정밀 단어 경계를 보장하기 위해 음량 기반 최적화 및 일관성 검사를 포함한 이중 모델 정렬(MFA 및 Qwen3FA)을 수행했습니다.
  • 시간적 속성: 지속 시간 추출 및 5단계(연속적인 발성부터 주기적 휴지까지)로 경계의 이산화 작업을 진행했습니다.
  • 음향/운율 속ing: 에너지(상위 50% 프레임 평균), 피치(중앙 80% F0 평균), 그리고 톤을 추출했습니다. 톤은 전문가가 가이드하는 형태론적 회귀를 통해 모델링되었으며, 연속적인 F0 곡선을 7가지 보편적인 운율 범주(평탄, 상승, 강한 상승, 하강, 강한 하강, 정점, 골)로 매핑했습니다.

2.2. 아키텍처 프레임워크

WordVoice는 CosyVoice3에서 파생된 백본을 기반으로 작동하며, 문장 수준의 생성을 단어 수준의 "음향 계획(acoustic planning)" 프로세스로 정교화합니다.

1단계: WordVoice-LLM (거시적 운율 계획)

저자들은 자기회귀 LLM 내에 인과적 생성 과정을 재구조화하기 위한 경계 토큰 메커즘(⟨b⟩)을 도입했습니다.

• 음향 계획: 모델이 단어의 경계 토큰을 예측하면, 모델의 은닉 상태(hidden state)는 경량 Word Decoder로 라우팅되어 다섯 가지 음향 속성(지속 시간, 경계, 에너지, 피치, 톤)을 예측합니다.
• 명시적 제어: 이러한 속성들은 스타일 토큰으로 임베딩되어 시맨틱 임베딩과 결합함으로써 통합된 조건(condition)을 형성합니다. 이를 통해 두 가지 추론 모드가 가능해집니다:
  • Free Mode (자유 모드): 모델이 자율적으로 운율을 계획합니다.
  • Control Mode (제어 모드): 사용자가 디코더를 우회하여 특정 단어에 대해 속성 값을 수동으로 지정할 수 있으며, LLM 가중치를 변경하지 않고도 제로샷(zero-shot)의 결정론적 제어를 달성합니다.

2단계: WordVoice-FM (미시적 음향 변조)

이산적 토큰과 연속적 파형 사이의 해상도 차이를 메우기 위해, 미세한 음향 변조 모듈이 Flow Matching (FM) 단계에 통합되었습니다.

• 업샘플링: 단어 수준의 스타일 토큰은 예측된 지속 시간 및 휴지를 기반으로 프레임 수준으로 업샘플링됩니다.
• 변조: 이러한 프레임 수준의 스타일 토큰은 스케일($\gamma_t$)과 시프트($\beta_t$) 파라미터를 생성하는 전용 모듈을 통해 FM 백본에 주입됩니다. 이는 양자화 과정에서 손실된 음향적 세부 사항을 보완하며, 생성된 파형이 계획된 에너지, 피치 및 시간적 경계를 따르도록 명시적으로 가이드합니다.

3. 주요 기여

1. 데이터 기초: 엄격한 5차원 단어 수준 주석과 언어학적 가이드 파이프라인을 갖춘 4.7천 시간 규모의 이중 언어 데이터셋인 WordVoice-5A를 구축하고 공개했습니다.
2. 아키텍처 혁신: LLM 내의 경계 토큰을 통한 명시적인 "음향 계획" 프로세스와 Flow Matching 단계의 미세한 스타일 변조 모듈을 결합한 WordVoice 프레임워크를 제안했습니다.
3. 단어 수준 제어: 제로샷 합성 안정성을 유지하면서 여러 음향 차원(지속 시간, 경계, 에너지, 피치, 톤)에 걸쳐 고도로 정밀한 **디커플링된 제어(decoupled control)**를 입증했습니다.

4. 실험 결과

실험은 CosyVoice3를 베이스라인으로 하여 WordVoice-5A 테스트 세트(중국어 및 영어)에서 수행되었습니다.

• 주관적 평가: WordVoice-Control은 자연스러움(N-MOS)과 단어 스타일 제어(Ctrl-MOS)에서 가장 높은 점수를 기록했으며, 베이스라인 대비 제어 가능성 측면에서 통계적으로 유의미한 향상($p < 0.01$)을 보였습니다. 화자 유사도(Spk-MOS)는 국소적 변화로 인해 약간의 트레이드오프가 발생했으나, 전반적인 표현력은 크게 향상되었습니다.
• 객관적 평가:
  • 제어 정밀도: Control 모드에서 WordVoice는 베이스라인 대비 연속적 속성(지속 시간, 에너지, 피치)에 대한 평균 절대 오차(MAE)와 이산적 속성(경계, 톤)에 대한 에러율(ER)을 획기적으로 줄였습니다.
  • 시간적 정렬: WordVoice는 지속 시간과 경계 지표 모두에서 MagicTTS(시간 제어를 위한 강력한 베이스라인)보다 우수한 성능을 보였으며, 여러 속성을 동시에 조작할 때 탁월한 안정성을 입증했습니다.
  • 디커플링: 절제 연구(Ablation studies)를 통해 제어 메커니즘이 상당 부분 디커플링되어 있음을 확인했습니다. 단일 속성을 제한했을 때, 톤(tone)의 경우 그 역동적인 특성으로 인해 약간의 얽힘(entanglement)이 나타났으나, 다른 속성들에 미치는 영향은 최소화하면서 해당 속성의 오류를 크게 줄였습니다.
• 절제 연구: WordVoice-FM 모듈을 제거하면 에너지와 피치 정확도가 크게 저하되어, 양자화 손실을 보완하는 데 있어 해당 모듈의 필요성을 확인했습니다. 반면, 시간적 속성은 주로 LLM 단계에서 모델링되었습니다.

5. 의의 및 주장

본 논문은 WordVoice가 현재 LLM 기반 TTS의 근본적인 한계인 단어 수준에서의 고정밀, 미세한 음향 제어 불가능 문제를 해결한다고 주장합니다. 이 프레임워크는 다음과 같은 것을 가능하게 합니다:

• 결정론적 개입: 제작자는 미묘한 감정을 전달하거나 엄격한 교차 모달 정렬(예: 립싱크)을 달성하기 위해 특정 단어의 지속 시간, 강조, 억양을 세밀하게 조작할 수 있습니다.
• 통합된 다차원 제어: 단일 차원(예: 지속 시간 또는 감정만 제어)에 그쳤던 이전 방식들과 달리, WordVoice는 다섯 가지 음향 차원을 동시에 제어합니다.
• 미래 잠재력: 저자들은 이 명시적 계획 메커니즘이 매우 표현력이 풍부한 대화형 시스템을 위한 "음향 체인 오브 쏘트(acoustic chain-of-thought)" 역할을 할 수 있으며, 명령 기반 TTS를 위한 해석 가능한 생성을 제공할 수 있다고 제안합니다.

이 연구는 단순히 자연스러움을 개선하는 것을 넘어, 명시적이고 제어 가능하며 디커플링된 음성 합성을 향한 구조적 전환을 목표로 합니다.