Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2

이 논문은 FastSpeech2 아키텍처에 명시적인 감정 조건부와 반사실적 훈련 목표를 도입하여 텍스트, 감정, 화자가 말초리 (지속 시간, 피치, 에너지) 를 통해 음성 파형에 미치는 인과적 관계를 모델링함으로써, 언어적 내용과 감정적 프로소디를 분리하고 자연스러운 감정 표현과 정교한 프로소디 제어가 가능한 새로운 TTS 프레임워크를 제안합니다.

핵심

이 논문은 **"텍스트를 읽어주는 AI(음성 합성) 가 감정을 더 자연스럽게 표현하도록 만드는 새로운 방법"**을 소개합니다.

기존의 AI 는 글자를 소리 내는 데는 능숙했지만, "기분 좋은 목소리"나 "슬픈 목소리"를 만들 때 글자의 뜻이나 화자의 목소리까지 함께 바꿔버리는 경우가 많았습니다. 이 논문은 이를 해결하기 위해 **'인과관계 (Cause and Effect)'**라는 사고방식을 도입했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎭 비유: "연극 배우와 대본"

이 논문의 핵심 아이디어를 이해하기 위해 연극 배우를 상상해 보세요.

1. 기존 방식 (문제점):

   • 배우에게 "이 대본을 '화난' 상태로 연기해"라고 하면, 배우는 대본의 글자 자체를 바꿔버리거나 (예: "안녕"을 "안녕해!"라고 외치며 글자 뜻 훼손), 목소리 톤만 바꾸는 게 아니라 얼굴 표정까지 과장해서 연기합니다.
   • 결과: 청자는 "아, 화난 거구나"는 알지만, "이 배우가 원래 목소리가 아니야"라고 느껴지거나 대본의 의미가 왜곡될 수 있습니다.

2. 이 논문의 제안 (새로운 방식):

   • 이 논문은 **"감정은 오직 '리듬, 높낮이, 크기' (Prosody) 만을 통해 표현되어야 한다"**고 규정합니다.
   • 규칙 1 (대본은 그대로): 배우는 대본의 글자 (내용) 는 절대 바꾸지 않습니다.
   • 규칙 2 (목소리 톤은 그대로): 배우의 고유한 목소리 (화자) 도 그대로 유지합니다.
   • 규칙 3 (감정은 몸짓으로): 오직 **말하는 속도 (Duration), 목소리 높낮이 (Pitch), 목소리 크기 (Energy)**만 바꿔서 감정을 표현합니다.
   • 예: "화난" 상황이라면, 글자는 그대로 두고 목소리를 높게 하고 빠르게 말하게 합니다. "슬픈" 상황이라면 낮게 하고 느리게 말합니다.

---

🛠️ 어떻게 작동할까요? (두 가지 훈련 규칙)

저자들은 AI 를 훈련시킬 때 두 가지 특별한 규칙 (손실 함수) 을 적용했습니다.

1. "직접적인 간섭 금지" 규칙 (IPC Loss)

• 비유: 감독이 배우에게 "화나서 연기해"라고 지시했을 때, 배우가 대본의 글자를 바꾸거나 목소리 톤을 완전히 바꿔버리면 안 됩니다. 오직 **말하는 방식 (속도, 높낮이)**만 바꿔야 합니다.
• 실제: AI 가 감정을 입력받았을 때, 그 감정이 직접 목소리 파형에 영향을 주지 못하게 막습니다. 감정은 반드시 '리듬과 높낮이'라는 중계소를 거쳐야만 목소리에 반영되도록 강제합니다.

2. "만약에 (Counterfactual)" 훈련 규칙 (CPC Loss)

• 비유: 같은 대본을 같은 배우가 연기하는데, **"만약에 이 대본을 '기쁜' 상태로 연기했다면 어땠을까?"**라고 상상해 봅니다.
  • 이때 글자는 그대로여야 하고, 배우의 목소리도 그대로여야 하지만, 기쁜 감정에 맞는 리듬과 높낮이는 확실히 달라져야 합니다.
• 실제: AI 에게 "같은 문장을 다른 감정 (예: 슬픔에서 기쁨으로) 으로 바꿔보라"는 시나리오를 만들어 훈련시킵니다. AI 는 글자를 바꾸지 않으면서도 감정에 맞는 리듬을 만들어내야만 점수를 받습니다.

---

📊 결과가 어땠나요?

이 방법을 적용한 AI 는 기존 방식보다 훨씬 훌륭했습니다.

• 자연스러움: 사람들이 들었을 때 "아, 진짜 사람이 화난/슬픈 목소리로 말하는 것 같다"고 느꼈습니다. (MOS 점수 상승)
• 이해하기 쉬움: 감정을 표현하더라도 글자가 뭉개지거나 발음이 틀리지 않았습니다. (오류율 WER 감소)
• 화자 유지: 화난 목소리를 내도, 원래 화자의 목소리 특징 (예: 김철수 씨의 목소리) 은 그대로 유지되었습니다.
• 조절 가능성: "이 문장을 화난 목소리로 바꿔줘"라고 하면, AI 는 글자나 목소리 톤은 건드리지 않고 오직 속도와 높낮이만 바꿔서 완벽하게 변신시켰습니다.

---

💡 결론: 왜 이 연구가 중요할까요?

이 논문은 **"감정은 말의 '내용'이나 '화자'를 해치지 않고, 오직 '말하는 방식'으로만 표현되어야 한다"**는 원리를 수학적으로 증명하고 AI 에 적용했습니다.

마치 연극 배우가 대본을 해치지 않으면서도 다양한 감정을 연기할 수 있는 기술을 개발한 것과 같습니다. 앞으로 이 기술은 더 자연스러운 가상 비서, 개인화된 음성 보조 기기, 혹은 다양한 감정을 표현하는 콘텐츠 제작에 큰 도움을 줄 것입니다.

한 줄 요약:

"이 AI 는 감정을 표현할 때 글자나 목소리를 망치지 않고, 오직 '말하는 리듬과 높낮이'만 바꿔서 진짜 사람처럼 감정을 표현하는 방법을 배웠습니다."

기술 요약

이 논문은 텍스트 음성 변환 (TTS) 의 표현력을 향상시키기 위해 인과적 운율 중재 (Causal Prosody Mediation, CPM) 프레임워크를 제안합니다. 저자는 FastSpeech2 아키텍처를 기반으로 하여, 텍스트 내용과 화자 정체성을 유지하면서 감정을 운율 (Prosody) 을 통해 제어할 수 있는 새로운 학습 방법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 TTS 모델 (예: FastSpeech2) 은 자연스러운 발음을 생성하지만, **감정 표현 (Expressiveness)**을 명시적으로 제어하는 데 한계가 있습니다.

• 1 대 다 (One-to-Many) 매핑 문제: 동일한 텍스트가 다양한 방식으로 발화될 수 있는데, 이를 감정에 따라 조절하는 것이 어렵습니다.
• 엔트앵글먼트 (Entanglement) 문제: 기존 감정 조건부 TTS 는 감정을 학습할 때 운율 (음높이, 에너지, 지속 시간) 뿐만 아니라 화자의 목소리 톤이나 발음 내용까지 함께 변형시키는 경향이 있습니다. 이는 가청성 (Intelligibility) 저하나 화자 일관성 (Speaker Consistency) 손실로 이어집니다.
• 원인: 감정이 음성에 미치는 영향이 운율 (Prosody) 을 매개로 해야 함에도 불구하고, 모델이 감정을 직접 음성에 영향을 미치는 경로로 학습하기 때문입니다.

2. 방법론 (Methodology)

이 논문은 **구조적 인과 모델 (Structural Causal Model, SCM)**을 도입하여 감정이 음성에 미치는 영향을 운율 (Duration, Pitch, Energy) 을 통해 매개되도록 강제합니다.

A. 인과적 그래프 (Causal Graph)

• X (텍스트): 언어적 내용.
• E (감정): 의도된 감정 (예: 분노, 슬픔).
• S (화자): 화자 정체성.
• M (운율): 지속 시간, 피치, 에너지.
• Y (생성된 음성): 최종 출력.
• 가정: 감정 (E) 은 운율 (M) 을 통해만 음성 (Y) 에 영향을 미쳐야 합니다. 즉, 직접 경로 (E → Y) 는 제거되어야 하며, 모든 영향은 **간접 경로 (E → M → Y)**를 통해 이루어져야 합니다.

B. 아키텍처: 감정 증강 FastSpeech2

• 기존 FastSpeech2 에 감정 임베딩과 화자 임베딩을 인코더와 분산 어댑터 (Variance Adaptor) 에 추가합니다.
• 하지만 디코더에는 직접적인 감정 임베딩을 입력하지 않습니다. 이는 감정이 운율 예측기를 통해 간접적으로만 작용하도록 유도하기 위함입니다.

C. 핵심 손실 함수 (Counterfactual Training Objectives)

모델이 인과적 가정을 따르도록 하기 위해 두 가지 새로운 손실 함수를 도입합니다.

1. 간접 경로 제약 (Indirect Path Constraint, IPC):

   • 목적: 감정이 운율을 거치지 않고 직접 음성에 영향을 미치는 것을 방지합니다.
   • 방식: 동일한 텍스트와 운율 (M) 을 고정하고 감정 (E) 만 다른 감정 (E') 으로 변경한 경우, 출력 음성 (Y) 이 변하지 않아야 한다는 것을 학습시킵니다.
   • 효과: 디코더가 감정 신호를 무시하고 오직 운율 정보에만 의존하도록 강제합니다.

2. 반사실 운율 제약 (Counterfactual Prosody Constraint, CPC):

   • 목적: 감정이 변경될 때 운율 (M) 이 적절하게 변화하여 해당 감정이 반영되도록 합니다.
   • 방식:
     • 콘텐츠 일관성 (Content Consistency): 감정만 바뀌고 텍스트 내용은 동일하게 유지되어야 합니다 (WER 기반).
     • 감정 분류 손실: 생성된 음성이 목표 감정 (E') 으로 분류되도록 합니다.
   • 효과: 모델이 감정을 표현하기 위해 운율 (피치, 에너지, 지속 시간) 을 적극적으로 활용하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. TTS 의 운율 인과 모델링: 감정이 음성에 미치는 영향을 운율 (Duration, Pitch, Energy) 이 매개한다는 인과 모델을 정립하고 이를 FastSpeech2 아키텍처에 통합했습니다.
2. 반사실 학습 목표 (Counterfactual Training): IPC 와 CPC 라는 두 가지 새로운 손실 함수를 제안하여, 감정과 운율, 콘텐츠의 분리를 학습시킵니다. 이는 TTS 분야에서 반사실 개입 (Counterfactual Intervention) 훈련을 적용한 최초의 사례 중 하나입니다.
3. 해석 가능한 제어: 학습된 모델은 "같은 문장, 다른 감정"과 같은 반사실 시나리오를 통해 운율을 독립적으로 조작할 수 있게 하여, 모델의 해석 가능성과 제어 가능성을 높였습니다.
4. 실험적 검증: LibriTTS, EmoV-DB, VCTK 등 다양한 데이터셋을 통해 기존 모델 (Vanilla FS2, 감정 임베딩 추가 FS2, 사후 편집 CAE) 보다 우수한 성능을 입증했습니다.

4. 결과 (Results)

다양한 객관적 및 주관적 평가에서 제안한 CPM 모델이 베이스라인보다 우수한 성능을 보였습니다.

• 감정 정확도 (Emotion Accuracy): 외부 분류기를 통한 감정 인식 정확도가 **94%**로, 기존 감정 임베딩 모델 (80%) 보다 크게 향상되었습니다.
• 가청성 (Intelligibility): 단어 오류율 (WER) 이 **3.1%**로 가장 낮아, 감정 변경 시에도 발음 오류가 없음을 입증했습니다.
• 화자 일관성 (Speaker Similarity): 화자 임베딩 유사도가 높게 유지되어 (0.88), 감정 변경 시 화자의 목소리 톤이 왜곡되지 않았습니다.
• 자연스러움 (MOS): 평균 평점 (MOS) 이 4.45로, 다른 모든 베이스라인 (4.0~4.2) 보다 통계적으로 유의미하게 높았습니다.
• 콘텐츠 일관성 (CCS): 감정 변경 시 텍스트 내용이 변하지 않는 정도가 0.96 으로 매우 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **인과적 학습 원리 (Causal Learning Principles)**를 TTS 에 적용하여, 생성된 음성의 **제어 가능성 (Controllability)**과 **표현력 (Expressiveness)**을 동시에 향상시켰습니다.

• 해석 가능성: 모델이 왜 특정 감정을 그렇게 표현하는지 운율 수준에서 추적할 수 있어 디버깅과 개선이 용이합니다.
• 유연성: 학습된 운율 특성을 기반으로 감정의 강도를 조절하거나 중간 감정을 생성하는 등 유연한 제어가 가능합니다.
• 한계 및 향후 과제: 현재 운율 매개변수가 피치, 에너지, 지속 시간으로 제한되어 있어, 숨소리나 성대 질감 (Voice Quality) 같은 미세한 감정 표현은 포착하지 못합니다. 또한, 반사실 학습으로 인한 훈련 시간 증가 (약 1.5 배) 와 다양한 언어/감정 세분화에 대한 연구가 필요합니다.

결론적으로, 이 논문은 TTS 시스템이 단순히 자연스러운 소리를 내는 것을 넘어, 사용자의 의도에 따라 예측 가능하고 해석 가능한 방식으로 감정을 표현할 수 있는 새로운 패러다임을 제시했습니다.