LibriTTS-VI: A Public Corpus and Novel Methods for Efficient Voice Impression Control

이 논문은 수치적 음성 인상 (VI) 제어의 한계를 해결하기 위해 최초의 공개 VI 코퍼스인 'LibriTTS-VI'를 구축하고, 화자 정체성과 VI 의 분리를 통해 인상 누수를 방지하는 새로운 방법을 제안하여 객관적 및 주관적 제어 성능을 크게 향상시켰습니다.

핵심

이 논문은 **"말하는 인공지능 (TTS) 이 원하는 목소리 톤을 정확히 조절하는 방법"**에 대한 연구입니다. 마치 목소리 조종사가 되어 "조금 더 밝게", "조금 더 차분하게"라고 지시하면 AI 가 그대로 따라 하는 기술을 개발한 것이죠.

이 연구는 크게 두 가지 문제를 해결했습니다.

1. 문제 상황: "비밀 레시피"와 "목소리 섞임" 현상

과거의 기술은 두 가지 큰 걸림돌이 있었습니다.

• 비밀 레시피 (공개 데이터 부재): 목소리 톤을 조절하는 데 필요한 '데이터 레시피'가 공개되지 않아서, 누구나 연구하거나 따라 할 수 없었습니다. 마치 맛있는 소스 레시피가 비밀로만 남아 있는 것과 같습니다.
• 목소리 섞임 (Impression Leakage): 우리가 원하는 목소리 톤 (예: "밝게") 을 지시할 때, AI 가 참고로 들은 원본 목소리의 특징까지 그대로 가져와서 섞어버리는 현상이었습니다.
  • 비유: "이 노래를 밝은 목소리로 불러줘"라고 지시했는데, AI 가 참고한 원본 가수가 "우울한" 목소리를 가지고 있다면, AI 는 그 우울함까지 그대로 가져와서 "밝지만 어딘가 우울한" 이상한 목소리를 만들어내는 것입니다.

2. 해결책: 새로운 도서관과 분리된 조리법

연구팀은 이 두 문제를 해결하기 위해 다음과 같은 방법을 고안했습니다.

A. 새로운 공개 도서관: "LibriTTS-VI"

연구팀은 전 세계 누구나 사용할 수 있는 새로운 데이터 모음집인 LibriTTS-VI를 만들었습니다.

• 비유: 마치 전 세계 모든 사람이 무료로 접근할 수 있는 '목소리 톤 레시피 도서관'을 새로 지은 것과 같습니다. 이제 누구나 이 도서관의 자료를 바탕으로 더 좋은 목소리 AI 를 연구할 수 있게 되었습니다.

B. 목소리 섞임 방지 기술 1: "분리된 조리법" (Disentanglement)

기존에는 한 번의 녹음 (참고용) 으로 목소리 특징과 톤을 동시에 조절하려다 보니 섞이는 문제가 생겼습니다. 연구팀은 이를 두 개의 다른 녹음으로 분리했습니다.

• 비유: 요리할 때 "재료 (목소리 특징)"와 "양념 (목소리 톤)"을 한 그릇에 다 넣지 않고, 재료는 A 그릇에서, 양념은 B 그릇에서 따로 준비해서 섞는 것입니다.
  • 방법: 같은 사람이 한 말 중, '목소리 특징'을 알려주는 녹음과 '원하는 톤'을 알려주는 녹음을 따로 떼어내어 AI 에게 학습시킵니다. 이렇게 하면 AI 는 원본의 '우울함' 같은 불필요한 특징을 섞지 않고, 우리가 지시한 '밝음'만 정확히 구현할 수 있게 됩니다.

C. 목소리 섞임 방지 기술 2: "참고 없는 조리법" (Reference-free)

더 나아가, 아예 참고할 녹음 파일 없이 숫자 지시만으로 목소리를 만드는 방법을 개발했습니다.

• 비유: 요리사가 레시피 (참고 녹음) 를 보지 않고, 오직 "소금 3g, 설탕 2g" (숫자 지시) 만 보고도 완벽한 요리를 해내는 마법 같은 기술입니다.
  • 방법: AI 가 참고할 원본 파일 없이, 오직 우리가 입력한 "밝음 5 점, 차분함 3 점" 같은 숫자 값만으로 목소리를 생성합니다. 그래서 원본 파일의 특징이 섞일 여지가 아예 사라집니다.

3. 결과: 얼마나 잘되었나요?

연구팀은 이 방법들이 얼마나 효과적인지 실험해 보았습니다.

• 정확도 향상: 우리가 원하는 목소리 톤과 AI 가 만들어낸 목소리의 차이가 크게 줄었습니다. (오차율이 0.61 에서 0.41 로 감소)
• LLM(거대 언어 모델) 과의 비교: 최근 인기 있는 '텍스트로 지시하는' AI 와 비교했을 때, 우리 방법이 훨씬 더 정밀한 숫자 조절이 가능했고, 텍스트의 의미 (예: "화난 말투") 와 목소리 톤이 엉키는 현상도 막아냈습니다.
• 음질 유지: 목소리 톤을 조절하더라도 원래 목소리의 자연스러움은 그대로 유지되었습니다.

요약

이 논문은 **"목소리를 원하는 대로 정밀하게 조절하고 싶다면, 원본 녹음 파일에 의존하지 말고, 목소리 특징과 톤을 분리해서 학습시키거나 아예 숫자 지시만으로 만들어라"**는 결론을 내렸습니다.

마치 목소리 조종사가 되어, "조금 더 밝게, 조금 더 젊게"라고 숫자로 지시하면 AI 가 그 지시대로 정확히 목소리를 변신시켜주는, 더 자유롭고 정교한 기술의 길을 연 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

텍스트 음성 변환 (TTS) 기술은 자연스러움 측면에서 인간 수준의 성능을 달성했으나, 화자의 정체성 (Speaker Identity) 과 화법 스타일을 정밀하게 제어하는 것은 여전히 과제로 남아 있습니다. 특히 음성 인상 (Voice Impression, VI) 을 수치적으로 제어하려는 시도 (예: 밝기, 차분함, 젊음 등의 11 가지 차원 조절) 는 다음과 같은 두 가지 주요 한계에 직면해 있었습니다.

1. 공개 코퍼스의 부재: 기존 VI 제어 연구 (VIC) 는 비공개 데이터에 의존하여 재현성 있는 연구가 어려웠습니다.
2. 인상 누출 (Impression Leakage): 참조 오디오 (Reference Audio) 를 사용하여 화자를 지정할 때, 목표 VI 와 상관없이 참조 오디오 자체의 인상이 합성 음성에 편향되어 반영되는 현상이 발생했습니다. 이는 화자 정체성과 VI 정보가 단일 참조 문장에서 얽혀 (Entangled) 있기 때문으로 추정됩니다.

2. 주요 기여 (Key Contributions)

이 논문은 위 두 가지 문제를 해결하기 위해 다음과 같은 세 가지 핵심 기여를 제시합니다.

1. LibriTTS-VI 코퍼스의 공개:

   • 기존 LibriTTS-R 코퍼스를 기반으로 구축된 세계 최초의 공개 VI 코퍼스입니다.
   • 130 개의 발화 (10 가지 VI 차원) 에 대해 전문가 4 인이 7 점 리커트 척도로 수동 주석을 달았으며, 이를 바탕으로 전체 LibriTTS-R 코퍼스의 VI 값을 추정하는 모델을 학습시켰습니다.
   • 주석 가이드라인과 추정된 VI 값 전체를 공개하여 재현성을 확보했습니다.

2. 인상 누출 해소를 위한 새로운 학습 방법론 제안:

   • VIC-dis (Disentanglement): 화자 정체성과 VI 조건을 분리하기 위해, 동일 화자의 서로 다른 두 발화를 사용합니다. 한 발화 ($r'$) 는 화자 정체성 추출에, 다른 발화 ($r$) 는 목표 VI 추출에 사용하여 정보가 얽히는 것을 방지합니다.
   • VIC-srf (Speaker-Reference-Free): 참조 오디오를 아예 제거하고, 목표 VI 벡터와 가우스 잡음만으로 화자 임베딩을 생성하는 방법입니다. 이를 통해 참조 오디오에서 비롯된 인상 누출을 구조적으로 차단합니다.

3. LLM 기반 TTS 와의 비교 분석:

   • 최신 LLM 기반 TTS(Qwen3-TTS) 가 자연어 프롬프트를 통해 VI 를 제어할 수 있음을 보여주지만, 수치적 제어의 정밀도가 낮고 텍스트 의미와 VI 가 서로 얽히는 (Entanglement) 문제가 있음을 규명했습니다.

3. 방법론 (Methodology)

• 기반 아키텍처: FastSpeech2 에서 VITS 를 백본 (Backbone) 으로 변경하여 음질과 제어력을 개선했습니다.
• VIC-dis 전략:
  • 학습 시 식 (6) 을 $y = f(t, g(r', VIE(r)))$로 수정합니다. 여기서 $r'$은 화자 ID 추출용, $r$은 VI 추출용입니다.
  • 기존 VIC-base 의 단점인 단일 참조문에서의 정보 얽힘을 해결합니다.
• VIC-srf 전략:
  • 식 (3) 의 첫 번째 연결 항 (참조 인코더 출력) 을 가우스 잡음 $z$로 대체합니다.
  • $y = f(t, g(z, VIE(r)))$ 형태로, 참조 오디오 없이 오직 목표 VI 벡터만으로 합성을 수행합니다.
• LLM 기반 모델 (QVD) 평가:
  • VI 값을 자연어 프롬프트로 변환하는 생성기를 구축하고, 제로샷 (QVD-z) 과 파인튜닝 (QVD-f) 설정에서 평가했습니다.

4. 실험 결과 (Results)

A. 객관적 평가 (Objective Evaluation)

• 제어 오차 감소: 11 차원 VI 벡터의 평균 제곱 오차 (MSE) 가 기존 방법 (0.61) 에서 제안된 VIC-srf (0.41) 로 크게 감소했습니다. 주관적 평가에서도 1.15 에서 0.92 로 개선되었습니다.
• 인상 누출 (Impression Leakage) 제거: $\Delta V$ (참조 화자와 무관한 목표 VI 에 대한 오차 차이) 가 VIC-base(0.22) 에서 VIC-dis(0.14), VIC-srf(0.05) 로 감소하여, VIC-srf 가 구조적으로 누출을 효과적으로 제거했음을 입증했습니다.
• 음질 및 화자 유사성: 제안된 방법들은 고품질 합성 (UTMOS) 을 유지하면서 화자 유사성 (SECS) 도 높게 유지했습니다.
• LLM 모델의 한계: Qwen3-TTS 는 화자 식별 능력 (SECS) 이 낮고, 텍스트 의미와 VI 가 얽혀 있어 정밀한 수치 제어가 어려웠습니다.

B. 조절 실험 (Modulation Experiment)

• VI 차원을 1 에서 7 로 단계별로 변경했을 때, VIC-srf가 가장 높은 반응성 (가장 큰 양의 기울기) 을 보였습니다.
• 특히 '강함 - 약함 (Powerful-Weak)' 차원에서 기존 방법은 음의 기울기를 보였으나, VIC-srf 는 양의 기울기를 유지하여 방향성 제어가 가능함을 입증했습니다.

C. 주관적 평가 (Subjective Evaluation)

• 제어력: 단일 VI 및 다중 VI 조절 시, 제안된 방법 (VIC-dis, VIC-srf) 이 기존 방법 (VIC-base) 보다 목표 VI 와의 오차 (MSE) 가 유의하게 낮았습니다.
• 음질: 제어력 향상에도 불구하고, 음질 (MOS) 은 기존 방법과 유사하거나 일부 조건에서 더 높은 점수를 받아, 제어력과 음질 간의 트레이드오프가 발생하지 않음을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 TTS 의 음성 인상 (VI) 수치 제어 분야에서 다음과 같은 중요한 진전을 이루었습니다.

1. 데이터 인프라 구축: 연구 재현성을 위해 LibriTTS-VI라는 최초의 공개 VI 코퍼스를 제공했습니다.
2. 기술적 해결책: 참조 오디오에 의한 인상 누출 문제를 해결하기 위해, 화자/VI 정보 분리 (Disentanglement) 와 참조 없는 생성 (Reference-free) 기법을 제안하여 제어 정밀도를 획기적으로 높였습니다.
3. 차세대 모델 평가: 최신 LLM 기반 TTS 가 자연어 프롬프트를 통한 제어에는 유리할 수 있으나, 수치적 정밀도와 의미/스타일의 분리 측면에서는 여전히 한계가 있음을 지적하고, 이를 극복할 수 있는 전용 아키텍처의 필요성을 강조했습니다.

결론적으로, 이 연구는 사용자가 직관적인 수치 (1~7 점) 로 화자의 성격을 정밀하게 조절하면서도 고품질의 음성을 생성할 수 있는 새로운 표준을 제시했습니다.