기술 요약: PilotTTS

문제 제기

최첨단 텍스트-음성 변환 (TTS) 시스템의 현재 발전 방향은 수백만 시간 규모의 독점 데이터셋과 멀티 코드북 토크나이저, 다단계 파이프라인, 특수화된 서브 모델 등을 포함하는 점점 더 복잡한 아키텍처에 크게 의존하고 있습니다. 이러한 추세는 데이터 확보 및 처리에 막대한 인프라가 필요하고, 아키텍처의 복잡성이 엔지니어링 노력과 배포 비용을 급증시키기 때문에, 자원이 제한된 연구 팀과 상업적 배포에 상당한 장벽을 만들고 있습니다. 또한, 고급 제어 기능 (감정, 비언어적 요소, 사투리) 은 종종 별도의 시스템으로 개발되어 전문성이 분산되고 있습니다. 이 논문은 아키텍처의 새로움이나 극단적인 데이터 규모가 아닌, 엄격한 데이터 엔지니어링과 잘 통합된 오픈소스 구성 요소를 통해 경쟁력 있는 성능을 달성하는 덜 복잡하고 재현 가능한 대안이 필요하다고 주장합니다.

방법론

PilotTTS 는 약 20 만 시간의 학습 데이터로 높은 성능을 달성하도록 설계된 경량 자기회귀형 TTS 시스템이며, 전 과정이 오픈소스 도구를 사용하여 처리됩니다. 이 시스템은 네 가지 주요 구성 요소로 이루어져 있습니다:

1. 데이터 처리 파이프라인

공개적으로 이용 가능한 모듈들로 구성된 재현 가능한 3 단계 파이프라인이 원시 인터넷 오디오를 정제되고 주석이 달린 데이터셋으로 변환합니다:

• 품질 평가 및 향상: 오디오를 표준화하고, 음성 활동 감지 (SAD) 와 화자 변경 감지 (SCD) 를 통해 세그먼트로 나누며, DNSMOS, 음성/비음성 분류, 그리고 SNR 추정을 사용하여 품질을 평가합니다. 저품질 세그먼트는 노이즈 제거 및 향상을 거칩니다.
• 레이블 주석: 크로스 시스템 일관성을 위해 여러 ASR 시스템 (Paraformer, FireRedASR, Whisper) 을 사용하여 오디오를 전사합니다. 중첩 음성 감지, 강제 정렬, 그리고 Qwen3-Force-Alignment 를 통한 억양 주석이 적용됩니다. 3D-Speaker-Toolkit 을 사용하여 화자 태깅이 수행되며, 스펙트럼 롤오프 분석을 통해 저대역폭 녹음이 필터링됩니다.
• 품질 필터링: 잘라내기, 합성 음성 감지, 그리고 음향 품질, 음성 유효성, 메타데이터의 포괄적 집계에 기반하여 샘플이 필터링됩니다. 이를 통해 약 20 만 시간의 고품질 중국어 및 영어 데이터가 산출됩니다.

2. 모델 아키텍처

• 음성 토크나이저: CosyVoice 3 의 단일 코드북 유한 스칼라 양자화 (FSQ) 를 활용하며, 25Hz 에서 작동하고 코드북 크기는 6,561 입니다. 언어적 및 비언어적 속성을 인코딩하기 위해 ASR, LID, SER, AED, SA 등 다중 작업 목표를 기반으로 사전 학습됩니다.
• 자기회귀형 텍스트-의미론 모듈: 06B 파라미터의 Qwen3 언어 모델을 기반으로 구축되었습니다. 분리된 조건부 메커니즘을 사용합니다:
  • 고정된 CAMPPlus 인코더가 정적 화자 식별 임베딩을 추출합니다.
  • Q-Former 기반 의미론적 콘텐츠 어댑터가 참조 오디오 (w2v-BERT 임베딩 사용) 에서 동적 화법 스타일과 억양 단서를 추출합니다.
  • 교차 샘플 쌍별 학습을 통해 조건부 모듈이 내용과 무관하게 화자 식별을 인코딩하도록 강제하여 제로샷 클로닝과 제어 가능성을 용이하게 합니다.
• 음성 디코더: 조건부 흐름 매칭 (CFM) 디코더로, 확산 트랜스포머 (DiT) 백본 (3 억 파라미터) 을 사용하여 의미론적 토큰, 화자 임베딩, 참조 멜 스펙트로그램으로부터 멜 스펙트로그램을 합성합니다.
• 보코더: HiFi-GAN 이 생성된 멜 스펙트로그램을 파형으로 변환합니다.

3. 제어 가능성 전략

• 감정 제어: 약 2,200 시간의 감정 레이블이 지정된 데이터에 대한 후속 학습을 통해 달성되며, 11 가지 카테고리 (7 가지 기본, 4 가지 확장) 를 지원합니다.
• 비언어적 합성: 약 200 시간의 데이터에 대한 지도 미세 조정을 통해 웃음, 숨소리, 울음, 기침을 지원합니다. 고유한 "감싸인 웃음 (wrapped laughter)" 모드 (LAUGH_SPAN) 를 포함합니다.
• 사투리 합성: 데이터 부족 문제를 해결하기 위해 병렬 "사투리-표준어" 쌍을 구축하고, 약 16,000 시간의 사투리 데이터에 대한 미세 조정 중 혼합 프롬프트 샘플링을 사용합니다.

주요 기여

1. 재현 가능한 데이터 파이프라인: 원시 인터넷 오디오로부터 고품질 학습 데이터셋을 저비용으로 구축할 수 있도록 전적으로 오픈소스 도구로 조립된 다단계 파이프라인.
2. 분리된 조건부 메커니즘을 갖춘 컴팩트 아키텍처: 화자 식별과 화법 스타일을 효과적으로 분리하는 Q-Former 기반 조건부 메커니즘과 교차 샘플 학습을 결합하여 제한된 데이터로도 높은 화자 유사도와 내용 정확도를 달성.
3. 다차원 제어 가능성: 표적 후속 학습을 통해 제로샷 음성 클로닝, 감정 합성 (11 개 카테고리), 비언어적 합성 (4 개 카테고리 + 감싸인 웃음), 중국어 사투리 합성 (14 개 사투리) 을 지원하는 통합 프레임워크.

실험 결과

Seed-TTS Eval 벤치마크 및 특정 제어 가능성 작업에서 평가됨:

• 제로샷 생성: PilotTTS 는 중국어 (0.862) 와 영어 (0.815) 테스트 세트 모두에서 가장 높은 화자 유사도를 달성하여, 훨씬 더 큰 데이터셋으로 학습된 시스템을 능가했습니다. 영어에서 가장 낮은 단어 오류율 (WER, 1.50%) 을 달성했으며, 중국어에서는 0.87% 의 문자 오류율 (CER) 을 기록하여 MiniMax-Speech (0.83%) 에 이어 두 번째로 높은 순위를 차지했습니다.
• 감정 제어: 기본 감정에서 평균 성공률 88.1% 를 달성하여 CosyVoice 3(83.8%) 을 능가했습니다. 감정 제어 조건 하에서도 중립 합성 대비 감소폭이 가장 작으면서도 가장 높은 화자 유사도 (0.7329) 를 유지했습니다.
• 비언어적 요소: 일반적인 카테고리에서 전체 성공률 85.1% 를 달성하여 CosyVoice 3(80.4%) 과 Fish-Speech S2(64.3%) 를 능가했습니다. 특히 "감싸인 웃음" (94.6%) 과 울음 (61.9%) 에서 성공을 보였습니다.
• 사투리 합성: 동일 사투리 시나리오에서 91.8% 의 정확도, 표준어에서 사투리로의 전이에서 86.46%, 교차 사투리 시나리오에서 85.38% 의 정확도를 달성했습니다.

의의 및 주장

이 논문은 PilotTTS 가 경쟁력 있는 최첨단 TTS 성능이 반드시 수백만 시간의 독점 데이터나 복잡한 다단계 아키텍처를 필요로 하지 않는다는 것을 보여준다고 주장합니다. 데이터 엔지니어링과 확립된 오픈소스 구성 요소의 통합을 우선시함으로써, 저자들은 단지 20 만 시간의 데이터로 학습된 시스템이 더 크고 복잡한 모델보다 화자 충실도와 내용 정확도에서 더 뛰어난 성능을 보일 수 있음을 입증했습니다.

이러한 의의는 연구 커뮤니티와 상업적 주체들의 진입 장벽을 낮추는 데 있습니다. 완전한 데이터 파이프라인 레시피, 사전 학습 가중치, 그리고 코드의 공개는 자원이 제한된 팀들이 현재 최첨단 트렌드와 관련된 막대한 비용 없이도 경쟁력 있는 시스템을 구축하거나 기존 접근 방식을 개선할 수 있게 합니다. 저자들은 PilotTTS 를 표현력과 엔지니어링 실현 가능성 사이의 균형을 맞춘 실용적이고 배포 가능한 솔루션으로 위치시킵니다.