ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis

이 논문은 저자원 개인화 음성 합성을 위해 제로샷 TTS 를 데이터 증강원으로 활용할 때 발생하는 화자 유사도 저하 문제를 해결하기 위해, 경량 도메인 임베딩과 실제 데이터 과샘플링을 결합한 ZeSTA 프레임워크를 제안하고 이를 통해 화자 유사성을 향상시키면서도 음성과 이해도를 유지하는 효과를 입증했습니다.

핵심

🎤 핵심 문제: "가짜 목소리"를 섞으면 왜 망칠까?

상상해 보세요. 여러분이 **새로운 노래를 배우고 싶은 가창 연습생 (AI 모델)**이라고 가정해 봅시다.

1. 현실의 상황: 연습생이 배울 수 있는 **실제 원곡 (실제 녹음된 목소리)**은 단 10 곡뿐입니다. (데이터 부족)
2. 해결책 시도: 그래서 AI 는 **다른 유명 가수가 부른 가짜 노래 (Zero-Shot TTS)**를 90 곡이나 만들어서 섞어줍니다.
3. 문제 발생: 이 가짜 노래들은 가사 (언어) 는 완벽하지만, 목소리 톤은 원곡과 다릅니다. 연습생이 이 가짜 노래 90 곡과 실제 노래 10 곡을 섞어서 공부하면, 가짜 노래의 특징에 너무 익숙해져서 결국 "원래 목소리"를 잊어버리게 됩니다. (목소리 닮음도 떨어짐)

이게 바로 논문이 지적한 **"가짜 데이터를 무작정 섞으면 목소리 특징이 망가진다"**는 문제입니다.

---

💡 해결책: ZeSTA (제스타) 의 두 가지 비법

저자들은 이 문제를 해결하기 위해 ZeSTA라는 새로운 훈련 방식을 제안했습니다. 마치 훌륭한 요리사가 재료를 다룰 때 쓰는 두 가지 비법과 같습니다.

1. 비법 1: "이거 진짜야, 가짜야?" 라벨 붙이기 (도메인 조건부 학습)

요리사가 진짜 소고기와 인조 고기를 섞어 요리할 때, 각각의 재료가 어떤 것인지 구분해서 맛을 조절하듯, AI 에게도 **"이건 실제 녹음 (Real)"**과 **"이건 AI 가 만든 소리 (Synthetic)"**라는 **라벨 (도메인 임베딩)**을 붙여줍니다.

• 비유: 학생에게 "이건 실제 원곡 (A)"과 "이건 Cover 곡 (B)"이라고 명확히 알려주면, 학생은 Cover 곡을 들으면서도 "아, 이건 원곡이 아니구나"라고 구분하며 공부할 수 있습니다.
• 효과: AI 는 가짜 데이터의 풍부한 언어 정보 (가사, 발음) 는 배우되, 목소리 특징은 실제 데이터에 집중하게 되어 목소리가 섞이지 않습니다.

2. 비법 2: "진짜 원곡"을 더 자주 반복하기 (실제 데이터 과잉 샘플링)

가짜 노래가 너무 많아서 실제 원곡이 묻힐까 봐, 실제 원곡 10 곡을 3 번씩 반복해서 총 30 곡처럼 만들어줍니다.

• 비유: 시험 공부할 때, 중요도가 높은 '실제 원곡' 부분을 더 자주 복습시켜서 기억을 확실히 하는 것과 같습니다.
• 효과: AI 가 실제 사람의 목소리 특징을 더 잘 기억하게 되어, 목소리의 닮음도가 다시 높아집니다.

---

📊 결과는 어땠나요?

이 방법을 적용한 결과, 다음과 같은 놀라운 성과가 나왔습니다.

1. 목소리의 닮음도 (Similarity): 가짜 데이터를 섞었을 때 떨어졌던 목소리 닮음도가 원래 수준으로 돌아왔습니다. (실제 사람 목소리를 잘 따라 함)
2. 발음과 이해도 (Intelligibility): 가짜 데이터가 가진 장점인 명확한 발음과 이해도는 그대로 유지되었습니다.
3. 사람들의 평가: 청취자들이 들어보니, "목소리가 진짜 사람과 거의 똑같고, 말도 또렷하게 들린다"고 평가했습니다.

🌟 한 줄 요약

"적은 실제 목소리 데이터로 AI 를 훈련할 때, AI 가 만든 가짜 목소리를 섞으면 목소리가 망가질 수 있다. 하지만 AI 에게 '진짜/가짜'를 구분하게 하고, 진짜 목소리를 더 자주 반복하게 하면, 목소리 닮음도 떨어지지 않으면서 발음은 더 선명해지는 '완벽한 트레이닝'이 가능하다!"

이 기술 (ZeSTA) 은 앞으로 스마트폰 비서나 게임 캐릭터처럼, 적은 데이터로도 나만의 목소리를 쉽게 만들어주는 서비스에 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 개인화된 음성 합성 (Personalized TTS) 의 수요가 증가함에 따라, 제한된 데이터 (Low-resource) 로도 특정 화자의 목소리를 재현하는 모델 개발이 중요해졌습니다. 기존 제로샷 (Zero-shot) TTS 는 추가 학습 없이 다양한 화자를 생성할 수 있으나, 실제 배포에는 계산 비용이 크거나 화자 유사도가 낮다는 한계가 있습니다. 반면, 파인튜닝 (Fine-tuning) 방식은 충분한 데이터가 있을 때 고품질 음성을 생성하지만, 데이터가 부족할 경우 성능이 급격히 떨어집니다.
• 문제점: 데이터 부족 문제를 해결하기 위해 제로샷 TTS 로 생성된 합성 음성을 학습 데이터로 추가 (Data Augmentation) 하는 접근이 시도되고 있습니다. 그러나 실제 녹음 데이터와 대량의 합성 데이터를 단순히 혼합하여 학습할 경우, 모델이 합성 데이터의 특성 (도메인 편향) 에 과도하게 적응하게 되어 목표 화자의 목소리 특징 (Speaker Similarity) 이 심각하게 저하되는 문제가 발생합니다. 즉, 가청성 (Intelligibility) 은 향상되지만 화자 고유의 목소리 정체성이 사라지는 트레이드오프가 존재합니다.

2. 제안 방법: ZeSTA (Methodology)

저자들은 이 문제를 해결하기 위해 ZeSTA라는 새로운 프레임워크를 제안합니다. 이는 기존 TTS 아키텍처를 수정하지 않고도 적용 가능한 경량화된 방법론입니다.

• 도메인 조건부 학습 (Domain-Conditioned Training, DC):
  • 학습 데이터가 '실제 (Real)'인지 '합성 (Synthetic)'인지 구분하는 **가벼운 도메인 임베딩 (Domain Embedding)**을 모델에 추가합니다.
  • 모델은 입력 텍스트 ($x$) 와 도메인 레이블 ($d \in \{real, synthetic\}$) 을 조건으로 하여 음성을 생성하도록 학습됩니다 ($p(y|x, d)$).
  • 추론 (Inference) 시에는 항상 $d=real$로 설정하여 실제 화자의 특성을 유지하도록 유도합니다. 이를 통해 합성 데이터가 제공하는 언어적 풍부함은 유지하되, 화자 정체성 편향을 방지합니다.
• 실제 데이터 오버샘플링 (Real-Data Oversampling, OS):
  • 극히 제한된 실제 타겟 화자 데이터를 안정적으로 적응시키기 위해, 실제 발화 데이터를 학습 시 **약간 더 많이 반복 (Oversampling)**하여 가중치를 둡니다.
  • 이는 도메인 편향을 완화한 후, 실제 화자의 특징을 더욱 강화하여 화자 유사도를 높이는 역할을 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 데이터 증강 전략: 제로샷 TTS 를 저자원 개인화 TTS 의 데이터 증강 소스로 활용하는 효과적인 방법을 제시했습니다.
2. 아키텍처 수정 없는 솔루션: 복잡한 모델 구조 변경 없이, 경량 임베딩과 오버샘플링만으로 화자 유사도 저하 문제를 해결했습니다.
3. 균형 잡힌 성능: 합성 데이터 증강으로 인한 가청성 향상 효과는 유지하면서, 화자 유사도 저하를 방지하여 두 가지 목표 간의 균형을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 설정: LibriTTS 와 자체 구축 데이터셋 (YoBind) 을 사용했으며, Fish-Speech 와 CosyVoice 2 라는 두 가지 제로샷 TTS 모델을 증강 소스로 활용했습니다. 학습 데이터는 실제 데이터 10% 와 합성 데이터 90% 로 구성되었습니다.
• 객관적 평가 (Objective Evaluation):
  • 화자 유사도 (SECS): 단순 혼합 (Naive mixing) 방식은 SECS 가 0.760.79 수준으로 떨어졌으나, **ZeSTA(DC+OS)**를 적용하면 0.810.82 수준으로 실제 데이터만 학습한 경우 (Real 100%) 에 근접하게 회복되었습니다.
  • 가청성 (CER/WER): 합성 데이터 증강으로 인한 가청성 향상 효과는 대부분 유지되었습니다.
• 주관적 평가 (Subjective Evaluation):
  • 자연스러움 (MOS): 제안된 방법은 실제 녹음 데이터와 유사한 자연스러움을 보여주었습니다.
  • 화자 선호도 (ABX Test): 청취자들은 베이스라인 (단순 혼합) 보다 ZeSTA 로 생성된 음성을 약 60~70% 비율로 선호하여 화자 유사도가 크게 개선되었음을 입증했습니다.
• 추가 분석:
  • 도메인 임베딩 크기는 64 차원이 최적의 균형을 보였습니다.
  • **화자 일치 (Speaker-matched)**된 합성 데이터 사용이 중요하며, 화자가 다른 합성 데이터는 가청성 향상 효과는 미미하고 화자 유사도에는 오히려 해가 됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 저자원 환경에서의 개인화 TTS를 위한 실용적인 솔루션을 제시합니다. 기존에는 합성 데이터를 학습에 포함시키는 것이 화자 특성을 해칠 수 있다는 우려가 있었으나, ZeSTA 를 통해 합성 데이터의 언어적 다양성을 활용하면서도 화자의 정체성을 보존할 수 있음을 입증했습니다. 이는 실제 서비스 환경에서 고품질 개인화 음성 모델을 빠르게 구축하고 배포하는 데 중요한 기여를 할 것으로 기대됩니다.