Emotion-Aware Prefix: Towards Explicit Emotion Control in Voice Conversion Models

이 논문은 이 단계 음성 변환 아키텍처에 '감정 인식 접두사 (Emotion-Aware Prefix)'를 도입하여 화자 정체성과 언어적 무결성을 유지하면서 감정 변환 정확도를 42.40% 에서 85.50% 로 두 배 이상 획기적으로 향상시키는 방법을 제안합니다.

핵심

🎭 핵심 아이디어: "감성 프리픽스 (Emotion-Aware Prefix)"란 무엇일까요?

마치 연극 배우가 대본을 읽기 전에 '감정 메모'를 챙기는 것과 같습니다.

기존 기술들은 배우에게 대본 (내용) 만 주고, "이제 슬픈 목소리로 말해줘"라고 말하면, 배우가 대본의 톤을 살짝 바꿔보려다 실패하거나, 목소리 자체가 너무 달라져서 누구인지 모르게 되는 경우가 많았습니다.

이 연구팀은 **"감성 프리픽스"**라는 새로운 장비를 도입했습니다. 이는 마치 배우에게 대본을 읽기 전에 **"지금부터는 '화난' 캐릭터로 연기해. 그리고 내 목소리 톤은 그대로 유지해"**라고 명확하게 지시하는 **명확한 역할지시서 (프롬프트)**와 같습니다.

🏗️ 어떻게 작동할까요? (두 단계의 마법)

이 기술은 목소리를 만드는 과정을 두 단계로 나누어 정교하게 다룹니다.

1 단계: "연극 대본을 짜는 단계" (시퀀스 변조)

• 비유: 연극의 대본과 연출을 정하는 단계입니다.
• 작동: 여기서 '감성 프리픽스'가 가장 중요한 역할을 합니다. 화자가 어떤 감정을 표현할지 (기쁨, 슬픔, 분노 등) 대본의 흐름과 리듬을 먼저 결정합니다.
• 효과: 마치 연극 감독이 배우에게 "이 대사는 큰 소리로, 발걸음을 빠르게 걸어!"라고 지시하는 것처럼, 목소리의 높낮이와 속도, 강약을 미리 설계합니다.

2 단계: "실제 목소리를 내는 단계" (음향 구현)

• 비유: 배우가 실제 무대에서 목소리를 내는 단계입니다.
• 작동: 1 단계에서 정해진 감정 지시서를 바탕으로, 배우는 실제 소리를 냅니다. 이때 중요한 점은 **본래의 목소리 (화자 정체성)**를 잃지 않도록 돕는 것입니다.
• 효과: 배우가 감정을 표현하더라도, 여전히 그 사람이 맞다는 것을 유지합니다. (예: "화난 목소리"를 내더라도, 여전히 '김철수'의 목소리로 들립니다.)

🚀 이 기술이 가져온 놀라운 변화

연구팀은 기존 기술 (VEVO) 과 비교하여 다음과 같은 성과를 냈습니다.

1. 감정 전환 정확도 2 배 상승:

   • 예전에는 10 번 중 4 번 정도만 원하는 감정을 제대로 표현했습니다. (정확도 42%)
   • 이제는 10 번 중 8 번 반 이상을 정확하게 표현합니다. (정확도 85% 이상)
   • 비유: 예전에는 "화난 척" 하다가 웃음이 터지거나, 슬픈 척 하다가 웃음소리가 섞이는 일이 많았는데, 이제는 진짜처럼 감정을 표현할 수 있게 되었습니다.

2. 목소리의 정체성 유지:

   • 감정을 바꾸려고 목소리가 너무 변해서 "누구의 목소리인지 모르게" 되는 문제가 사라졌습니다.
   • 비유: 같은 사람이 화난 표정을 짓고 슬픈 표정을 지어도, 여전히 그 사람임을 알 수 있습니다.

3. 언어적 내용 유지:

   • "사랑해"라는 말을 "화난" 목소리로 바꾸면, 여전히 "사랑해"라는 뜻이 명확하게 전달됩니다. (말이 알아듣기 힘들어지지 않음)

🔍 왜 이 기술이 중요한가요? (두 가지 핵심 발견)

연구팀은 이 기술이 왜 잘 작동하는지 두 가지 비밀을 발견했습니다.

1. 감정은 '대본 (1 단계)'과 '목소리 (2 단계)'가 함께 움직여야 완벽하다:

   • 감정은 단순히 목소리 톤만 바꾸는 게 아니라, 말의 리듬과 흐름 (대본) 을 먼저 바꾸고, 그다음에 실제 소리를 내야 가장 자연스럽습니다. 두 단계가 협력할 때 가장 좋은 결과가 나옵니다.

2. 목소리와 감정을 분리하는 것이 중요하다:

   • 목소리의 '기본적인 특징 (누구의 목소리인가)'과 '감정 (지금 어떤 기분인가)'을 분리해서 처리해야 합니다.
   • 비유: 옷을 갈아입을 때, 몸매 (화자 정체성) 는 그대로 두고 옷 (감정) 만 갈아입는 것과 같습니다. 만약 옷을 입으려고 몸까지 변형시키면 (감정과 목소리가 섞이면), 원래 사람인지 알 수 없게 됩니다. 이 기술은 몸은 그대로 두고 옷만 갈아입는 방식을 고수합니다.

💡 결론: 이 기술이 어디에 쓰일까요?

이 기술은 앞으로 다음과 같은 곳에 큰 변화를 가져올 것입니다.

• 영화 더빙: 배우가 연기한 대본을 다른 언어로 더빙할 때, 원작자의 감정을 그대로 살려서 번역할 수 있습니다.
• 가상 비서 (AI): AI 가 단순히 기계적인 목소리로만 말하지 않고, 상황에 따라 기쁘게, 위로하며, 혹은 진지하게 대화할 수 있습니다.
• 게임 캐릭터: 게임 속 캐릭터가 상황에 따라 감정을 표현할 때, 플레이어의 목소리 톤을 유지하면서도 캐릭터의 감정을 자연스럽게 구현할 수 있습니다.

한 줄 요약:

"이 기술은 목소리의 **감정을 마음대로 조종할 수 있는 '감성 리모컨'**을 개발하여, 목소리는 그대로 유지하면서 감정은 100% 정확하게 표현할 수 있게 해줍니다."

기술 요약

1. 문제 정의 (Problem)

최근 제로샷 (zero-shot) 음성 변환 (Voice Conversion, VC) 기술은 스타일 제어에 잠재력을 보였으나, 감정 제어 (Emotion Control) 측면에서는 다음과 같은 한계가 있었습니다.

• 비최적 및 불일치한 성능: 기존 모델들은 전체적인 화법 스타일을 모방할 수는 있으나, 특정 고강도의 목표 감정으로 소리를 명확하게 전환하는 제어 능력이 부족했습니다.
• 암시적 의존성: 기존 모델들은 감정 조절을 위해 음향 프롬프트 (acoustic prompt) 에서 제공되는 전역 에너지나 평균 피치와 같은 암시적 단서 (implicit cues) 에 과도하게 의존했습니다.
• 명시적 제어 부재: 동적 변조 (dynamic modulation) 단계에서 감정을 명시적으로 제어할 수 있는 메커니즘이 부족하여, 원본 발화의 감정이 목표 감정으로 완전히 전환되지 않거나 일관성이 떨어지는 문제가 발생했습니다.

2. 제안 방법론 (Methodology)

저자들은 VEVO(Voice Conversion with Emotion and Voice) 라는 2 단계 음성 변환 백본을 기반으로 "감정 인지 프론트 (Emotion-Aware Prefix, EAP)" 와 "딥 프론트 프롬프팅 (Deep-Prefix Prompting)" 메커니즘을 제안했습니다.

가. 프레임워크 개요 (2 단계 구조)

1. 1 단계: 시퀀스 변조 (Sequence Modulation)
   • AR(autoregressive) Transformer 를 사용하여 이산적인 오디오 토큰을 예측합니다.
   • 입력 콘텐츠 토큰에 감정 인지 프론트 (E) 를 결합하여 프롬프트로 사용합니다.
   • 이 단계는 고수준의 운율 (prosody) 과 의도를 제어하는 핵심 단계입니다.
2. 2 단계: 음향 구현 (Acoustic Realization)
   • Flow-Matching Transformer 를 사용하여 예측된 오디오 토큰을 멜-스펙트로그램으로 재구성합니다.
   • 참조 음성의 스펙트럼 정보를 기반으로 화자 정체성과 저수준 음향을 유지합니다.

나. 핵심 구성 요소

• 감정 인지 프론트 인코더 (Emotion-Aware Prefix Encoder):
  • Temporal-Shuffle Transformer: 참조 멜-스펙트로그램의 시간 순서를 무작위로 섞어 (Shuffle) 언어적/음소적 정보 누출을 방지하면서 운율과 음색과 같은 전역 스타일 특성만 추출합니다.
  • Perceiver Layer: 가변 길이의 특징을 고정된 길이의 스타일 임베딩으로 압축합니다.
  • Emotion Fusion Layer: 사전 훈련된 감정 인코더 (Emotion2Vec+) 로부터 추출한 명시적 감정 벡터와 스타일 임베딩을 결합하여 최종 프론트 벡터 $E$를 생성합니다.
• 딥 프론트 프롬프팅 (Deep-Prefix Prompting):
  • 단순히 입력 시퀀스 앞에 프론트를 추가하는 것이 아니라, 언어 모델의 각 레이어 (Layer-wise) 의 KV-cache(키/값 캐시) 에 프론트 벡터를 주입합니다.
  • 이를 통해 생성되는 모든 오디오 토큰에 걸쳐 일관된 감정 제어가 가능해집니다.

3. 주요 기여 (Key Contributions)

1. 감정 제어 능력의 획기적 향상:
   • 제안된 방법을 통해 VEVO 의 베이스라인 감정 변환 정확도 (ECA) 를 42.40% 에서 85.50% 로 약 2 배 이상 향상시켰습니다.
   • 화자 정체성, 언어적 내용, 음질은 유지하면서 감정을 명확하게 제어할 수 있게 되었습니다.
2. 감정 제어의 계층적 민감성 규명:
   • 시퀀스 단계 (Stage 1) 가 고수준 운율 의도를 주도하지만, 시퀀스 변조와 음향 구현 단계의 공동 제어 (Joint Control) 가 변환 정확도에 시너지 효과 (비가산적 개선) 를 준다는 것을 입증했습니다.
3. 음성 분리 (Acoustic Decoupling) 의 역할 규명:
   • 음향 분리 (2 단계 구조) 가 화자 정체성 유지에 필수적임을 비교 분석을 통해 확인했습니다. 음향 분리 없이 단일 단계 구조에 적용하면 감정 제어는 향상되나 화자 정체성이 붕괴되는 현상을 발견했습니다.

4. 실험 결과 (Results)

• 객관적 평가 (Objective Evaluation):
  • ECA (감정 변환 정확도): 제안 모델 (85.50%) 이 VEVO(42.40%), GenVC(32.48%), StarGANv2-VC-EVC(36.00%) 등 기존 SOTA 모델들을 압도적으로 능가했습니다.
  • 화자 정체성 (Speaker Identity): EER(동일 오류율) 가 낮고 Spk-Cent SIM(화자 중심 유사도) 이 높아 화자 정체성이 잘 보존되었습니다.
  • 음질 및 가청성: UT-MOSv2 와 WER(단어 오류율) 지표에서 기존 모델과 유사하거나 더 나은 성능을 보였습니다.
• 주관적 평가 (Subjective Evaluation):
  • 감정 선호도: 청취자들은 제안된 모델이 참조 음성과 더 유사한 감정을 표현한다고 평가했습니다 (75.2% 선호도 vs VEVO 17.5%).
  • 화자 선호도: 화자 유사성에서도 제안 모델이 압도적으로 선호되었습니다 (58.7% vs 16.8%).
  • MOS: 자연스러움 점수 (MOS) 에서도 VEVO 보다 약간 높은 점수를 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 음성 생성 및 변환 분야에서 명시적인 감정 제어를 달성하기 위한 새로운 패러다임을 제시했습니다.

• 기술적 통찰: 감정을 효과적으로 제어하기 위해서는 단순히 음향 정보를 전달하는 것을 넘어, 시퀀스 변조 단계에서의 운율적 의도 제어와 음향 구현 단계의 안정적 스펙트럼 유지가 결합되어야 함을 입증했습니다.
• 화자 정체성 보존: 감정 변환 시 화자 정체성이 손실되지 않도록 하기 위해 음향 분리 (Acoustic Decoupling) 구조가 필수적이라는 중요한 발견을 제공했습니다.
• 응용 가능성: 이 기술은 몰입형 인간 - 컴퓨터 인터페이스 (HCI), 표현력 있는 더빙, 화자 익명화 등 다양한 분야에서 고품질의 감정적 음성 생성을 가능하게 할 것으로 기대됩니다.

요약하자면, 이 연구는 감정 인지 프론트와 딥 프론트 프롬프팅을 도입하여 기존 음성 변환 모델의 감정 제어 한계를 극복하고, 화자 정체성을 유지하면서 고품질의 감정 전환을 실현하는 방법을 제시한 획기적인 작업입니다.