When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS

이 논문은 다양한 데이터로 LoRA 파인튜닝을 수행할 경우, Qwen-0.5B 기반의 소형 LLM TTS 시스템이 음질, 화자 유사도, 신호 대 잡음비 측면에서 고정된 베이스 모델보다 우수한 성능을 발휘함을 입증합니다.

핵심

1. 핵심 아이디어: "두뇌"를 훈련시켜라 (LoRA 파인튜닝)

기존의 AI 목소리 시스템은 "말을 만드는 기계 (TTS)"와 "문장을 이해하는 두뇌 (LLM)"가 따로 놀았습니다. 이 연구는 **두뇌 (Qwen-0.5B) 자체를 특정 사람의 목소리에 맞춰 훈련 (LoRA 파인튜닝)**시키는 실험을 했습니다.

• 비유: 마치 유명한 요리사 (AI) 가 특정 식당 (목소리) 에 취업할 때, 그 식당의 레시피와 스타일을 배우는 과정입니다.
• 결과: 두뇌를 훈련시키니, 목소리의 일관성과 **선명도 (SNR)**가 크게 좋아졌습니다. 특히 훈련 데이터가 풍부한 경우, AI 가 그 사람의 목소리를 거의 완벽하게 따라 할 수 있게 되었습니다.

2. 성공의 비결: "다양한 재료"가 필요하다 (데이터의 다양성)

가장 중요한 발견은 "무엇을 먹이느냐 (데이터)"가 결과의 90% 를 결정한다는 것입니다.

• 성공 사례 (다양한 데이터):

  • 상황: 훈련 데이터에 그 사람의 목소리가 다양한 상황 (큰소리, 작은소리, 웃음소리, 다른 배경음 등) 으로 녹음되어 있을 때.
  • 비유: 요리사가 다양한 재료와 조리법을 경험해 본 경우입니다. 어떤 주문이 들어와도 맛있게 요리할 수 있죠.
  • 결과: AI 는 그 사람의 목소리를 자연스럽게 복제하면서도 잡음은 줄이고, 목소리 품질 (MOS 점수) 이 상향 평준화되었습니다.

• 실패 사례 (단조로운 데이터):

  • 상황: 훈련 데이터가 너무 똑같고 (같은 방, 같은 마이크, 같은 톤), 잡음이 섞여 있을 때.
  • 비유: 요리사가 오직 '짜장면'만 1,000 번 반복해서 만든 경우입니다. 비록 짜장면은 잘 만들지만, 다른 메뉴를 시키면 망치거나, 원래 있던 잡음까지 그대로 따라 합니다.
  • 결과: AI 는 그 사람의 목소리 특징은 잘 따라 하지만, 원래 녹음에 있던 잡음까지 그대로 복제해 버립니다. 심지어 목소리가 더 뭉개지거나 (품질 저하), 훈련이 잘 되고 있다는 '점수 (Loss)'는 올라가는데 실제 듣는 느낌은 나빠지는 기이한 현상이 발생했습니다.

3. 함정: "점수"가 모든 게 아니다 (Loss vs 품질)

기존에는 AI 훈련 중 '오차 점수 (Loss)'가 줄어들면 "좋아지고 있다"고 생각했습니다. 하지만 이 연구는 **"점수가 좋아도 실제 목소리는 나빠질 수 있다"**고 경고합니다.

• 비유: 시험 점수 (Loss) 가 100 점 만점에 99 점으로 올라가는데, 정작 학생이 실제 생활 (목소리 품질) 에서는 엉뚱한 짓을 하고 있는 상황입니다.
• 교훈: 특히 데이터가 단조로운 경우, AI 는 잡음까지 완벽하게 학습해서 점수는 높지만 듣기 싫은 소리를 냅니다. 따라서 **실제 사람이 들어보고 평가하는 것 (MOS)**이 점수보다 훨씬 중요합니다.

4. 실용적인 팁: "온도 조절"과 "압축"

• 온도 조절 (Temperature): AI 가 말을 할 때 얼마나 창의적으로 (또는 자유롭게) 말하게 할지 조절하는 설정입니다.
  • 다양한 데이터: AI 가 자유롭게 말하게 해야 (온도 높음) 생동감이 살아납니다.
  • 단조로운 데이터: AI 가 너무 자유롭게 하면 잡음이 튀어 나오므로, 조심스럽게 (온도 낮음) 말하게 해야 품질이 좋아집니다.
• 압축 (GGUF): 모델을 가볍게 압축해서 (양자화) 실행하면, 속도가 5~6 배 빨라져도 목소리 품질은 거의 떨어지지 않습니다. 이는 실제 서비스 (앱 등) 에 적용하기 매우 좋습니다.

5. 한 번에 여러 사람 가르치기 (혼합 학습)

한 명의 목소리만 가르치는 것보다, 여러 사람의 목소리를 섞어서 가르치는 것이 더 나을 수도 있습니다.

• 비유: 한 명만 가르치면 그 사람에 너무 특화되어 다른 상황에는 취약할 수 있지만, 여러 사람을 가르치면 AI 가 "목소리"라는 개념을 더 폭넓게 이해하게 됩니다.
• 결과: 적은 데이터로 여러 사람을 가르친 모델도, 특정 사람 전용 모델과 거의 비슷한 수준의 목소리 흉내를 내면서, 보이지 않는 새로운 사람의 목소리도 잘 따라 할 수 있었습니다.

---

📝 한 줄 요약

"AI 목소리 복제를 잘하려면, 두뇌 (LLM) 를 훈련시키는 것이 중요하지만, 그보다 더 중요한 것은 '다양하고 깨끗한 목소리 데이터'를 많이 먹이는 것입니다. 단조롭고 잡음 많은 데이터로 훈련시키면 AI 는 잡음까지 완벽하게 흉내 내게 되어 오히려 품질이 떨어질 수 있습니다."

이 연구는 앞으로 우리가 AI 목소리 서비스를 만들 때, **"단순히 데이터를 많이 모으는 것"보다 "데이터의 다양성과 품질을 관리하는 것"**이 핵심 성공 요인임을 알려줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 신경형 텍스트 - 음성 변환 (TTS) 시스템의 의미론적 백본 (semantic backbone) 으로 널리 채택되고 있습니다. 특히 언어 모델을 기반으로 한 TTS 는 언어 모델링, 억양 계획, 장기 음향 일관성을 단일 자기회귀 (autoregressive) 백본으로 통합합니다.
• 문제점:
  • 고정된 표현의 한계: 프리트레인된 LLM 은 특정 화자의 음향적 및 지각적 특성 (음색, 발화 스타일 등) 을 모델링하기에 충분하지 않습니다.
  • 미탐구 영역: 기존 연구는 주로 TTS 의 하위 구성 요소 (음향 디코더, 스피커 임베딩 등) 에 LoRA(저랭크 적응) 를 적용하거나, 발음/피치 제어에 국한되었습니다. LLM 백본 자체를 LoRA 로 파인튜닝하여 음성 클로닝의 지각적 품질 (Perceptual Quality) 에 미치는 영향은 체계적으로 연구되지 않았습니다.
  • 데이터 의존성: 파인튜닝의 성공 여부가 훈련 데이터의 특성 (음향 다양성 등) 에 어떻게 의존하는지, 그리고 검증 손실 (Validation Loss) 이 지각적 품질 (MOS, SNR 등) 의 대용량 지표로 신뢰할 수 있는지에 대한 의문이 남아있습니다.

2. 방법론 (Methodology)

• 모델 아키텍처: NeuTTS 시스템의 언어 모델 백본으로 Qwen-0.5B 모델을 사용했습니다.
• 파인튜닝 기법:
  • LoRA (Low-Rank Adaptation): 메모리 효율성과 빠른 적응을 위해 Qwen-0.5B 의 어텐션 레이어 (q_proj, k_proj, v_proj) 에 LoRA 를 적용했습니다. (Rank 8, Alpha 16).
  • 비교 실험: 전체 파라미터 파인튜닝 (Full Finetuning) 과 LoRA 파인튜닝을 비교했습니다.
• 데이터셋:
  • HiFi-TTS: 오디오북 기반 (LibriVox, Project Gutenberg), 화자 ID 1, 2, 11614 사용.
  • Libriheavy-HQ: 더 긴 오디오 샘플 포함, 화자 ID 1401, 1212, 1259 사용.
  • 데이터 특성 분석: 각 화자의 훈련 데이터에 대한 에너지 분산 (Energy Variability), 평균 에너지, 고유 단어 수 등을 분석했습니다.
• 평가 지표:
  • DNS-MOS: 지각적 품질 (1~5 점 척도).
  • Speaker Similarity: Wespeaker 임베딩 기반 코사인 유사도 (0~1).
  • SNR (Signal-to-Noise Ratio): WADA-SNR 을 이용한 블라인드 추정.
  • 지연 시간 (Latency): GGUF 양자화 (Quantization) 적용 전후의 추론 속도 비교.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 데이터 다양성의 결정적 역할 (Data Diversity is Key)

• 성공 요인: 훈련 데이터의 에너지 표준 편차 (Energy Std Dev) 가 높을수록 (약 13dB 이상) LoRA 파인튜닝이 성공적입니다. 이러한 화자들은 DNS-MOS, 음성 유사도, SNR 에서 모두 유의미한 개선을 보였습니다.
• 실패 요인: 에너지 변동성이 낮은 (약 10dB 미만) 균질한 데이터로 훈련된 화자는 파인튜닝 후 지각적 품질이 저하되거나 (MOS 감소), 노이즈가 증폭되는 현상이 발생했습니다.
• 통찰: LoRA 는 화자 정체성을 잘 복제하지만, 훈련 데이터에 포함된 노이즈나 아티팩트도 함께 증폭시킵니다. 따라서 다양한 음향 조건 (Acoustic Diversity) 을 가진 데이터가 필수적입니다.

나. 손실 - 품질 분해 현상 (Loss-Quality Divergence)

• 발견: 훈련 및 검증 손실 (Loss) 이 지속적으로 감소하는 동안, 지각적 품질 (DNS-MOS) 은 저하되는 현상이 관찰되었습니다.
• 원인: 초기 LoRA 업데이트가 훈련 데이터의 특정 (나쁜) 음향 모드를 과도하게 학습하여 손실은 줄지만 품질은 떨어지는 경우입니다.
• 시사점: LLM 기반 TTS 에서는 손실 수렴을 조기 종료 (Early Stopping) 의 유일한 기준으로 삼을 수 없으며, 지각적 평가가 반드시 병행되어야 합니다.

다. 추론 온도의 영향 (Inference Temperature)

• 발견: 훈련 데이터의 변동성에 따라 최적의 추론 온도 (Temperature) 가 다릅니다.
  • 낮은 변동성 데이터: 낮은 온도 (Conservative sampling, 예: T=0.8) 가 품질 저하를 완화합니다.
  • 높은 변동성 데이터: 높은 온도 (T=1.0) 가 표현력 있는 뉘앙스를 유지하는 데 유리합니다.

라. 멀티 스피커 및 제로샷 일반화 (Multi-Speaker & Zero-Shot)

• 멀티 스피커 학습: 여러 화자 (HiFi-TTS) 로만 훈련된 모델이 훈련에 사용되지 않은 화자 (LibriHeavy) 에 대해 제로샷 (Zero-shot) 으로 파인튜닝된 단일 화자 모델보다 높은 MOS 를 달성했습니다.
• 데이터 효율성: 각 화자당 1/9 분량의 데이터만 사용하여 혼합 (Mix) 학습을 수행한 모델은, 전용 단일 화자 모델 대비 유사도 (Similarity) 에서 5~9% 이내의 성능을 유지하며 모든 화자를 동시에 서비스할 수 있는 확장 가능한 솔루션을 제시했습니다.

마. 지연 시간 최적화 (Latency Optimization)

• GGUF 양자화: 8-bit GGUF 양자화를 적용하면 비양자화 (F32) 모델 대비 약 4.5~6.9 배의 추론 속도 향상을 달성했습니다.
• 실용성: LoRA 어댑터를 양자화된 베이스 모델에 결합해도 계산 오버헤드는 미미하여 (4% 이내), 저지연 배포가 가능합니다.

4. 의의 및 결론 (Significance)

1. LLM 백본 파인튜닝의 유효성 입증: LoRA 를 LLM 백본에 직접 적용하는 것은 단순한 파라미터 효율적 기법을 넘어, 컴팩트한 LLM 기반 TTS 시스템에서 화자 수준의 적응을 위한 효과적인 메커니즘임을 증명했습니다.
2. 데이터 품질에 대한 새로운 기준: TTS 파인튜닝의 성공은 데이터의 양이나 절대적인 음량 (Energy Mean) 이 아니라, 데이터 내의 음향적 다양성 (Energy Variability) 에 의해 결정됨을 규명했습니다.
3. 평가 지표의 재정의: LLM 기반 TTS 에서는 손실 (Loss) 곡선이 지각적 품질을 보장하지 않으므로, DNS-MOS 와 같은 지각적 메트릭을 통한 검증이 필수적임을 강조했습니다.
4. 실용적 배포 가능성: GGUF 양자화와 LoRA 의 결합을 통해 저지연, 고품질 음성 클로닝이 가능해졌으며, 제한된 데이터로도 다화자 모델을 효율적으로 구축할 수 있는 경로를 제시했습니다.

이 연구는 LLM 기반 TTS 의 파인튜닝 전략을 수립할 때 데이터의 다양성 확보와 지각적 품질 중심의 평가가 핵심 요소임을 명확히 하고 있습니다.