기술 요약: MagpieTTS-LF

문제 정의

신경망 기반 텍스트 음성 변환(TTS) 시스템은 짧은 발화(2~20초)에서는 놀라운 자연스러움을 달est했지만, 긴 형태의 음성 생성에서는 상당한 어려움을 겪고 있습니다. 생성 길이가 길어짐에 따라 기존의 최첨단 모델들(예: Tortoise TTS, VALL-E, MagpieTTS, CosyVoice)은 운율 표류(prosodic drift), 화자 불일치(speaker inconsistencies), 그리고 문장 경계 아티팩트(sentence boundary artifacts) 문제를 보입니다.

생성 길이를 확장하려는 현재의 접근 방식들은 다음과 같은 뚜렷한 한계를 가집니다:

• 단순 청킹(Naive Chunking): 텍스트를 문장 단위로 나누고 독립적으로 합성된 오디오를 단순히 연결하는 방식은 에너지 불연속성, 경계에서의 떨림(warbles), 일관되지 않은 말하기 속도, 그리고 전역적 운율 패턴(예: 억양 변화)의 상실을 초래합니다.
• 시퀀스 압축(Sequence Compression): VibeVoice와 같은 방식은 고정된 윈도우 안에 더 긴 컨텍스트를 맞추기 위해 오디오 토큰을 압축하지만, 이 과정에서 시간적 해상도를 희생하여 긴 시퀀스에서 환각 현상과 이해도 저하를 일으킵니다.
• 스트리밍/블록 단위 방식(Streaming/Block-wise Methods): 블록 단위 어텐션 마스크(예: CosyVoice 2)를 사용하는 방식은 부드러운 그래디언트 대신 하드한 정보 차단을 생성합니다. 결정적으로, 이러한 방식은 아키텍처 수정과 재학습이 필요하므로 기존 배포 모델에 적용하기 어렵습니다.
• 교차 문장 모델(Cross-Sentence Models): HiGNN-TTS와 같은 모델은 인접한 텍스트 컨텍스트가 운율을 개선한다는 것을 보여주지만, TTS 시스템과 함께 공동 학습되는 전용 그래프 네트워크나 메모리 모듈을 필요로 합니다.

방법론

저자들은 기존의 MagpieTTS 모델을 재학습이나 아키텍처 변경 없이 일관된 긴 형태의 음성을 생성할 수 있게 하는 추론 시점(inference-time) 접근 방식인 MagpieTTS-LF를 제안합니다. 이 방법은 세 가지 핵심 혁신에 의존합니다:

1. 추론 시점 소프트 어텐션 사전 확률 (Inference-Time Soft Attention Priors)

하드한 컷오프를 만드는 이진 어텐션 마스크와 달리, MagpieTTS-LF는 원거리 토큰으로부터의 컨텍스트를 보존하면서 단조로운 정렬(monotonic alignment)을 유도하기 위해 **소프트 어텐션 사전 확률(soft attention priors)**을 도입합니다.

• 메커니즘: 각 디코딩 단계 $t$에서, 모델은 이전 단계로부터 가장 높은 크로스 어텐션 점수를 가진 텍스트 위치 $T_t$를 식별합니다. 사전 분포 $P_t$는 현재 세그먼트($T_t - 1$부터 $T_t + 3$까지)에서 높은 가중치를 갖고, 나머지 모든 위치에는 작은 비제로 값인 엡실론($\epsilon$)을 할당하도록 구성됩니다.
• 효과: 이는 먼 엔코더 위치가 비제로 가중치를 받도록 보장하여, 어텐션의 그래디언트를 유지하고 모델이 먼 컨텍스트를 완전히 억제하지 않으면서도 장거리 정보를 유지할 수 있게 합니다. 수정된 어텐션은 다음과 같이 계산됩니다:
  $$\tilde{A}_t = \text{softmax}\left(\frac{Q_t K^\top}{\sqrt{d}} + \lambda \log P_t\right)$$
  여기서 $\lambda$는 사전 확률의 강도를 조절합니다.

2. 상태 유지형 청크 생성 알고리즘 (Stateful Chunk Generation Algorithm)

문장 경계 간의 연속성을 유지하기 위해, 이 알고리즘은 상태 정보를 전달하며 문장 단위의 청크를 처리합니다. 상태는 세 가지 구성 요소로 이루어집니다:

• 이력 텍스트 토큰 ($H_{text}$): 이전 청크의 마지막 $K$개 토큰을 현재 청크 입력의 앞에 붙여 운율 계획을 위한 언어적 컨텍스트를 제공합니다.
• 이력 엔코더 컨텍스트 ($H_{enc}$): 이력 토큰에 대응하는 엔코더 은닉 상태를 현재 청크의 엔코더 출력과 결합하여, 경계 구간에서 연속적인 표현을 보장합니다.
• 어텐션 추적 (Attention Tracking): 이전 청크에서 마지막으로 어텐션이 집중되었던 텍스트 위치를 기록하여 현재 청크의 소프트 어텐션 사전 확률을 초기화함으로써, 매끄러운 운율 전이를 보장합니다.

3. 이력 인식 텍스트 인코딩 (History-Aware Text Encoding)

이 방법은 과거의 텍스트 이력을 텍스트 엔코더를 통해 통과시켜 운율 계획에 활용합니다. 이는 특수한 외부 컨텍스트 모듈을 요구하는 대신 모델 본연의 텍스트 표현을 활용합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 명시합니다:

1. 추론 시점 메커니즘: 원거리 토큰으로부터 유용한 컨텍스트를 보존하면서 단조로운 정렬을 유도하는 소프트 어텐션 사전 확률 메커니즘을 제안하며, 이를 통해 이진 마스킹의 하드 컷오프 문제를 피합니다.
2. 상태 유지 생성 (Stateful Generation): 청크 간에 어텐션 사전 상태, 엔코더 은닉 상태, 텍스트 이력을 전달하는 청크 생성 알고리즘을 통해, 단일 패스 생성의 메모리 오버헤드나 단순 연결의 불연속성 없이 일관된 운율을 구현합니다.
3. 성능 검증: 추론 시점의 소프트 사전 확률과 청크 간 상태 전파를 결합하는 것이 장거리 운율 일관성, 다분(multi-minute) 지속 시간 동안의 화자 일관성, 그리고 경계 자연스러움을 크게 향상시킨다는 것을 입증했습니다.
4. 벤치마킹: 신경 코덱 언어 모델, 멀티모달 아키텍처, 스트리밍 확산 프레임워크를 포함한 최첨단 모델들과의 구조적 비교를 수행했습니다.
5. 새로운 데이터셋: 긴 형태의 생성 설정에서 운율 연속성, 화자 지속성, 경계 견고성을 평가하기 위해 설계된 벤치마크인 Long-Form HiFiTTS 데이터셋을 도입했습니다.

실험 결과

저자들은 선별된 20개의 긴 영어 텍스트(각 약 3~4분) 데이터셋을 사용하여 Qwen3-TTS, VibeVoice-TTS, X-TTS를 포함한 베이스라인 모델들과 MagpieTTS-LF를 비교 평가했습니다.

• 이해도 (WER/CER): MagpieTTS-LF는 모든 베이스라인 모델보다 현저히 낮은 단어 오류율(0.025)과 문자 오류율(0.012)을 달성했습니다. VibeVoice는 상당한 성능 저하(WER 0.115)를 보였으며, 이는 극단적인 토큰 압축이 긴 시퀀스의 이해도를 해친다는 것을 시사합니다.
• 화자 유사도 (SSIM): MagpieTTS-LF는 전체 시퀀스 동안 가장 높고 안정적인 화자 유사도(WavLM: 0.979)를 유지했습니다. 경쟁 모델들은 더 높은 변동성과 표류를 보였습니다. VibeVoice는 낮은 SSIM을 보였는데, 이는 토큰 압축으로 인해 화자의 특징이 손실되었음을 나타냅니다.
• 운율 경계 불연속성 (PBD): MagpieTTS-LF는 경쟁 모델들의 약 절반 수준인 14.04 dB의 가장 낮은 경계 에너지 불연속성을 달 기록했습니다. 피치 점프($\Delta F_0$)는 시스템 간에 비슷했으나, 에너지 일관성이 주요 차별점이었습니다.
• 자연스러움 (UTMSv2): MagpieTTS-LF는 가장 낮은 분산을 가진 가장 높은 UTMOSv2 점수를 기록하여, 가장 자연스럽고 안정적인 오디오를 생성함을 보여주었습니다. VibeVoice는 긴 형태의 합성에 따라 가장 많이 저하되었고, X-TTS는 가장 덜 자연스러운 음성을 생성했습니다.

의의

본 논문은 추론 시점에 완전히 작동함으로써 문헌의 네 가지 수렴하는 간극을 해결한다고 주장합니다. 이 연구의 의의는 모델 재학습이나 아키텍처 수정 없이 일관되고 견고하며 자연스러운 소리의 긴 형태 음성 합성을 가능하게 한다는 점에 있습니다. 청크 간에 상태를 유지하고 소프트 어텐션 사전을 활용함으로써, 이 방식은 현재의 청크 기반 TTS 시스템을 괴롭히는 운율 표류와 경계 아티팩트 문제를 해결합니다. 저자들은 이 방법이 모든 청크 기반 인코더-디코더 TTS 시스템으로 확장될 수 있으며, 기존 배포 환경에서 긴 형태의 생성을 위한 실용적인 솔루션을 제공한다고 단언합니다.