JaiTTS: A Thai Voice Cloning Model

다음은 논문 "JaiTTS: A Thai Voice Cloning Model"에 대한 상세한 기술 요약입니다.

1. 문제 제기

본 논문은 태국어와 관련하여 현재 텍스트 음성 변환 (TTS) 기술이 가진 세 가지 중요한 격차를 다루고 있습니다:

• 영어 중심 편향: 대부분의 최첨단 오픈소스 및 상업용 TTS 모델은 영어에 크게 최적화되어 있습니다. 다국어 모델 (예: Qwen3-TTS) 이 존재하지만, 학습 말뭉치 내 태국어 데이터의 부족으로 인해 태국어 발음 및 운율 오류를 자주 겪습니다.
• 기존 태국어 모델의 한계: 전용 태국어 시스템 (예: ThonburianTTS) 은 제로샷 화자 클로닝 능력에 제한을 받으며, 짧은 발화 위주로 구성된 데이터셋으로 학습되었기 때문에 장시간 음성 생성에 어려움을 겪습니다.
• 복잡한 전처리 요구사항: 전통적인 태국어 TTS 파이프라인은 숫자 처리와 실제 사용에서 흔한 태국어 - 영어 코드 스위칭을 처리하기 위해 복잡한 텍스트 정규화에 크게 의존합니다. 이는 배포 복잡성을 증가시키고 잠재적인 실패 지점을 만듭니다.
• 코덱의 한계: 최근 이산 오디오 코덱 (X-codec2 등) 을 사용하는 자기회귀 모델은 훈련 데이터에 태국어가 포함되지 않았다고 보고된 바 있어, 어휘적 성조 및 자음군과 같은 태국어 특유의 음성학적 대비를 재구성할 수 있는 검증된 능력이 부족합니다.

2. 방법론

저자들은 VoxCPM을 기반으로 한 최첨단 화자 클로닝 모델인 JaiTTS-v1.0을 제시합니다. 이 시스템은 외부 음성 코덱을 완전히 우회하는 토크나이저 없는 (tokenizer-free) 방식으로 설계되었습니다.

아키텍처 개요

이 모델은 논문의 그림 1 에 도시된 네 가지 핵심 구성 요소의 계층적 파이프라인을 통해 작동합니다:

1. 텍스트 - 의미 언어 모델 (TSLM): 토큰화된 텍스트와 역사적 음향 컨텍스트에 조건부로 작동하는 디코더 전용 트랜스포머 (MiniCPM-4 에서 초기화됨) 입니다. 이는 연속적인 의미 - 운율 표현을 생성하여 내용과 전달 스타일을 공동으로 포착합니다.
2. 유한 스칼라 양자화 (FSQ): 이 계층은 TSLM 의 연속 출력을 "반이산적 스키레톤"으로 압축합니다. 이는 정규화제 역할을 하여 계획 신호를 안정화시키면서도 스트레이트 스루 추정기를 통해 미분 가능성을 유지합니다.
3. 잔차 음향 언어 모델 (RALM): 반이산적 스키레톤을 정제하는 디코더 전용 트랜스포머입니다. 이는 음향적 표현력과 화자 특성에 특화되어 이산적 병목이 표현할 수 없는 세부 사항을 추가합니다.
4. 로컬 확산 트랜스포머 (LocDiT): 최종 연속 잠재 음성 패치를 디코딩하는 양방향 트랜스포머입니다. FSQ 스키레톤과 RALM 잔차의 결합된 신호, 그리고 패치 간 연속성을 보장하기 위한 이전 음성 패치에 조건부로 작동하는 흐름 매칭 탈노이즈를 사용합니다.
5. 정지 예측기: 생성을 종료하기 위해 시퀀스 끝을 예측하는 경량 헤드입니다.

학습 전략

• 데이터: 일반 대화/공식 연설과 금융, 의료, 교육, 법률 등 도메인별 콘텐츠를 결합한 약 10,000 시간 규모의 태국어 중심 말뭉치로 학습되었습니다.
• 직접 처리: 모델은 명시적인 텍스트 정규화 없이 태국어 - 영어 코드 스위칭과 숫자를 포함한 원시 텍스트를 직접 처리하도록 학습되었습니다.
• 목적: 시스템은 확산 프로세스를 위한 **흐름 매칭 (Flow Matching)**과 정지 예측기를 위한 **이진 교차 엔트로피 (Binary Cross-Entropy)**의 결합된 손실 함수를 사용하여 엔드 투 엔드로 최적화되었습니다.

3. 주요 기여

• 최초의 고성능 태국어 화자 클로너: JaiTTS-v1.0 은 태국어 화자 클로닝에서 최첨단 (SOTA) 성능을 달성한 최초의 모델로, 단시간 작업에서는 인간 기준을 능가하고 장시간 작업에서는 이를 달성합니다.
• 토크나이저 없는 아키텍처: VoxCPM 을 적응함으로써 모델은 이산 오디오 코덱의 음성학적 재구성 한계를 피하고, 태국어 성조와 군집을 더 정확하게 모델링할 수 있습니다.
• 실제 입력에 대한 강건성: 모델은 복잡한 텍스트 정규화 파이프라인의 필요성을 제거하여 혼합 언어와 숫자가 포함된 원시 텍스트에서 직접 음성을 합성합니다.
• 새로운 벤치마크: 저자들은 실제 사용 사례를 더 잘 반영하고 시간 경과에 따른 안정성을 테스트하기 위해 작업을 **단시간 (115 초)**과 **장시간 (1630 초)**으로 구분하는 새로운 평가 프레임워크를 도입했습니다.

4. 실험 결과

객관적 지표

• 단시간 작업: JaiTTS-v1.0 은 **문자 오류율 (CER) 1.94%**를 달성하여 인간 기준 (1.98%) 을 능가하고 모든 베이스라인 (Qwen3-TTS-1.7B: 2.56%; ThonburianTTS: 6.26%) 을 능가했습니다.
• 장시간 작업: 모델은 **2.55%**의 CER 을 유지하여 인간 성능 (2.47%) 과 근접했습니다. 반면 Qwen3-TTS-1.7B 는 3.64% 로 저하되었고, ThonburianTTS 는 의미 있는 출력을 생성하지 못했습니다.
• 화자 유사도 (SIM): 단시간 작업에서 0.62의 경쟁력 있는 SIM 을 달성했으며, 장시간 작업에서는 0.76을 기록했습니다.

효율성

• 실시간 계수 (RTF): JaiTTS-v1.0 은 0.1136의 RTF 를 달성하여 실시간보다 약 9 배 빠른 속도로 음성을 생성합니다. 이는 자기회귀형 Qwen3-TTS 모델 (RTF > 1.5) 보다 약 13 배 빠르며, 비자기회귀형 ThonburianTTS (0.1150) 보다 약간 빠릅니다.

인간 판단 평가

• 비교: 상업용 플래그십인 ElevenLabs (eleven_v3) 및 **MiniMax (speech-2.8-hd)**와 비교 테스트를 수행했습니다.
• 결과: 400 회 쌍별 비교에서 JaiTTS-v1.0 은 283 회 승리했고, 59 회 무승부, 58 회 패배했습니다.
• 선호도: 인간 평가자들은 자연스러움, 가독성 (특히 코드 스위칭/숫자 관련), 그리고 화자 유사성이 우수하다는 점을 들어 JaiTTS-v1.0 을 약 **70%**의 빈도로 선호했습니다.

5. 의의

JaiTTS-v1.0 은 저자원 언어 TTS 분야에서 큰 도약을 의미합니다. 이는 고품질이고 도메인이 다양한 데이터로 학습될 때, 토크나이저 없는 자기회귀 아키텍처가 기존 다국어 모델과 전용 소규모 언어 모델 모두를 능가할 수 있음을 보여줍니다.

코드 스위칭과 숫자가 포함된 원시 텍스트를 정규화 없이 처리할 수 있는 능력은 배포 파이프라인을 크게 단순화합니다. 또한, 장시간 생성에서의 우수한 성능은 기존 모델의 치명적인 실패 지점을 해결하여 오디오북, 장형 콘텐츠 제작, 복잡한 대화 시스템과 같은 응용 분야에 실용성을 부여합니다. 이 모델은 태국어 음성 합성을 위한 새로운 벤치마크를 설정하여, 전문적이고 고품질의 학습 데이터가 일반적 다국어 모델의 한계를 극복할 수 있음을 입증했습니다.