Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer

이 논문은 텍스트와 병렬 데이터 없이 소스 음성의 내용과 화자 특성을 유지하면서 참조 음성의 감정 스타일을 전달하는 제로샷 음성-음성 감정 스타일 전이 프레임워크인 S2S-ZEST 를 제안하고, 기존 방법보다 향상된 성능과 감정 인식 데이터 증강 적용 가능성을 입증합니다.

핵심

🎭 1. 이 기술은 무엇일까요? (감정 스타일 이전)

상상해 보세요. 친구가 "오늘 날씨 정말 좋네"라고 평범하고 무감정하게 말하고 있어요.
그런데 이 기술을 사용하면, 그 친구의 목소리와 말투는 그대로 유지하면서, 그 문장을 기쁨에 차서, 혹은 화난 듯이, 혹은 슬픈 듯이 말하는 것처럼 들리게 바꿀 수 있습니다.

• 기존의 문제점: 예전에는 같은 사람이 같은 말을 여러 감정으로 반복해서 녹음해야만 이런 변환이 가능했습니다. 마치 배우가 같은 대본을 기쁨, 슬픔, 분노 버전으로 수십 번 녹음해야 하는 것처럼 비싸고 귀찮았죠.
• 이 기술의 혁신: 텍스트 없이 (Textless) 그리고 병렬 데이터 없이 (Non-Parallel) 가능합니다. 즉, "기쁨"으로 말한 녹음 파일 하나와 "평범함"으로 말한 녹음 파일 하나만 있으면, 두 파일을 섞어서 새로운 감정의 목소리를 만들어냅니다.

🏭 2. 어떻게 작동할까요? (분석과 합성 공장)

이 시스템은 크게 두 단계로 작동하는 거대한 음성 공장이라고 생각하시면 됩니다.

1 단계: 분석 (해체하기) 🧩

원본 음성 (예: 친구의 평범한 목소리) 과 참조 음성 (예: 배우의 기쁜 목소리) 을 공장 입구에 넣으면, 시스템은 이를 4 가지 부품으로 해체합니다.

1. 내용 (Semantic Tokens): "무엇을 말했는지" (문장 내용).
2. 화자 (Speaker): "누가 말했는지" (목소리의 고유한 특징).
3. 감정 (Emotion): "어떤 기분으로 말했는지" (기쁨, 슬픔 등).
4. 리듬과 높낮이 (Pitch & Duration): 말의 속도와 높낮이 곡선.

비유: 마치 레고 조립을 위해 블록을 모두 분해하고, '내용 블록', '화자 블록', '감정 블록'으로 분류하는 것과 같습니다.

2 단계: 합성 (재조립하기) 🏗️

이제 새로운 감정을 입히고 싶다면, 원본의 '내용'과 '화자' 블록을 가져와서, 참조 음성의 '감정' 블록을 끼워 넣습니다.

• "친구의 목소리로 (화자)" + "친구의 말 (내용)" + "배우의 기쁜 분위기 (감정)" = 기쁘게 말하는 친구의 목소리가 탄생합니다!

이때 시스템은 단순히 감정을 붙이는 게 아니라, **말하는 속도 (Duration)**와 **목소리의 높낮이 (Pitch)**도 감정에 맞게 자연스럽게 조절해 줍니다.

🌟 3. 이 기술의 핵심 특징 (왜 특별한가요?)

1. 완전한 자유도 (Zero-shot): 훈련 데이터에 없던 새로운 감정이나 새로운 사람이어도 잘 작동합니다. 마치 요리사가 레시피를 본 적 없는 새로운 재료를 보고도 맛있게 요리해 내는 것과 같습니다.
2. 자연스러운 리듬: 단순히 목소리 톤만 바꾸는 게 아니라, 감정에 따라 말이 빨라지거나 느려지는 리듬까지 완벽하게 재현합니다.
3. 데이터 부족 해결: 같은 사람이 여러 감정으로 녹음한 귀한 데이터를 많이 모을 필요가 없습니다. 다양한 데이터만 있으면 됩니다.

📊 4. 실험 결과 (얼마나 잘할까요?)

연구진은 이 기술을 다양한 상황 (같은 사람/다른 사람, 같은 말/다른 말, 훈련된 감정/훈련되지 않은 감정) 에서 테스트했습니다.

• 감정 전달력: 기존 기술들보다 훨씬 더 생생하게 감정을 전달했습니다. (예: "화난 목소리"를 넣으면 정말 화난 듯이 들립니다.)
• 목소리 보존: 감정을 바꿔도 원래 화자의 목소리 특징 (얼굴을 보는 듯이 목소리를 식별하는 능력) 은 잘 유지되었습니다.
• 내용 보존: 감정이 바뀌어도 무슨 말을 했는지 (텍스트) 는 그대로 유지되어, 기계가 알아듣는 오류율이 낮았습니다.

🚀 5. 어디에 쓸 수 있나요?

이 기술은 단순히 재미있는 장난감을 넘어 실용적인 가치가 큽니다.

• 영화/애니메이션: 배우의 목소리로 다양한 감정을 연기하게 하거나, 애니메이션 캐릭터에 생동감 있는 감정을 불어넣을 수 있습니다.
• 데이터 증강 (Data Augmentation): 감정 인식 AI 를 훈련시키기 위해, 적은 양의 데이터로도 다양한 감정 데이터를 만들어낼 수 있습니다. (예: "화난 목소리" 데이터가 부족하면, 평범한 목소리에서 "화난 버전"을 만들어내서 AI 학습에 쓰면 됩니다.)
• 보이스 피싱/사기 방지 (역이용): 이 기술이 너무 잘 작동하면 사기꾼이 목소리를 위조할 수도 있으므로, 이를 탐지하는 기술 개발에도 도움이 됩니다.

💡 요약

이 논문은 **"목소리의 정체성과 말의 내용은 그대로 두고, 오직 '감정'이라는 옷만 갈아입히는 마법 같은 기술"**을 제안했습니다. 기존에는 불가능하거나 매우 어려웠던 작업을, 적은 데이터로도 자연스럽게 해낼 수 있게 되어, 앞으로 음성 AI 의 세계가 훨씬 더 풍부하고 인간적으로 변할 것임을 보여줍니다.

기술 요약

논문 개요: 텍스트 없는 비병렬 음성 - 음성 감정 스타일 전이 (S2S-ZEST)

이 논문은 소스 (Source) 와 참조 (Reference) 음성 쌍을 입력받아, 소스의 내용과 화자 정체성을 유지하면서 참조 음성의 감정 특성을 전이하는 제로샷 (Zero-shot) 음성 - 음성 감정 스타일 전이 (S2S-ZEST) 프레임워크를 제안합니다. 기존 방법들의 한계인 병렬 데이터 (동일 화자가 다양한 감정으로 같은 문장을 말하는 데이터) 에 대한 의존성을 제거하고, 텍스트 정보 없이도 감정 이동을 가능하게 하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

• 감정 스타일 전이 (EST) 의 어려움: 인간의 감정은 복잡하며, 이를 생성 모델에 정확히 전이하는 것은 어렵습니다.
• 데이터 의존성: 기존 EST 방법들은 화자 정체성과 감정 스타일이 분리되지 않은 (Entangled) 표현을 사용하거나, 대규모의 병렬 감정 음성 데이터셋이 필요합니다. 이러한 데이터 수집은 비용이 많이 들고 현실적으로 어렵습니다.
• 제약 조건: 실제 응용에서는 소스 화자와 참조 화자가 다르고, 텍스트 내용도 다를 수 있으며, 훈련 데이터에 존재하지 않는 새로운 화자나 감정 (Zero-shot) 에도 대응해야 합니다.

2. 제안 방법론 (Methodology: S2S-ZEST)

제안된 프레임워크는 **분석 (Analysis)**과 합성 (Synthesis) 파이프라인으로 구성되며, 자동 인코딩 (Auto-encoding) 목적 함수로 학습됩니다.

A. 분석 모듈 (Analysis Module)

입력 음성을 5 가지 핵심 구성 요소로 분리하여 추출합니다:

1. 의미적 토큰 (Semantic Tokens): soft-HuBERT [17] 의 연속적 임베딩을 k-means 클러스터링을 통해 이산 토큰으로 변환합니다. 이는 발화 내용 (Content) 을 표현하며, 화자나 감정 정보가 제거된 상태입니다.
2. 화자 임베딩 (Speaker Embedding): 사전 학습된 ECAPA-TDNN 을 사용하지만, 감정 정보가 섞이는 것을 방지하기 위해 **감정 적대적 손실 (Emotion Adversarial Loss)**을 적용하여 화자 임베딩에서 감정 정보를 제거합니다.
3. 감정 임베딩 (Emotion Embedding): HuBERT-base 기반의 감정 분류기를 통해 프레임 레벨 및 발화 단위 (Utterance-level) 감정 임베딩을 추출합니다. 화자 정보와 분리하기 위해 **화자 적대적 손실 (Speaker Adversarial Loss)**을 적용합니다.
4. 피치 컨투어 (Pitch Contour): 내용, 화자, 감정 정보를 결합하여 피치 (F0) 궤적을 재구성합니다. 크로스 어텐션 (Cross-attention) 메커니즘을 사용하여 소스 내용과 참조 감정을 기반으로 피치를 생성합니다.
5. 지속 시간 예측 (Duration Prediction): 토큰의 지속 시간 (발화 속도) 을 예측합니다. 소스 토큰, 화자 임베딩, 참조 감정 임베딩을 입력받아 토큰의 길이를 조절합니다.

B. 합성 모듈 (Synthesis Module)

• BigVGAN 기반 보코더: 추출된 토큰, 화자 임베딩, 감정 임베딩, 그리고 재구성된 피치 컨투어를 입력받아 고품질 음성 파형을 생성합니다.
• 제로샷 전이 과정:
  • 소스: 내용 (토큰) 과 화자 정체성 (Speaker Embedding) 을 추출.
  • 참조: 감정 스타일 (Emotion Embedding) 과 피치/지속 시간 패턴을 추출.
  • 결합: 소스의 토큰에 참조의 감정 임베딩을 적용하여 지속 시간을 수정하고, 피치 컨투어를 재구성한 후 BigVGAN 을 통해 최종 변환된 음성을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 토크나이저 및 보코더 개선: 기존 HuBERT 와 HiFi-GAN 대신 soft-HuBERT 기반의 토크나이저와 BigVGAN 보코더를 도입하여 음질과 발화 제어 능력을 향상시켰습니다.
2. 지속 시간 및 피치 제어 메커니즘: 감정과 화자 임베딩이 토큰의 지속 시간을 동적으로 수정하도록 설계되었으며, 이를 기반으로 한 피치 재구성 기술을 통해 자연스러운 감정 표현을 가능하게 했습니다.
3. 텍스트 없는 비병렬 학습: 전사 텍스트 (Transcript) 가 필요 없으며, 병렬 데이터 없이도 소스와 참조를 자유롭게 결합하여 학습 및 추론이 가능합니다.
4. 광범위한 평가 및 데이터 증강: 객관적/주관적 평가를 통해 기존 방법 (StarGANv2-EST, VEVO 등) 보다 우수한 성능을 입증했으며, 감정 인식 (SER) 태스크를 위한 데이터 증강 도구로서의 유효성을 시연했습니다.

4. 실험 결과 (Results)

• 데이터셋: ESD (Emotional Speech Database), CREMA-D, TIMIT, IEMOCAP 등을 활용.

• 평가 지표:

  • 감정 유사도 (Emotion Similarity): emotion2vec 임베딩 기반 코사인 유사도.
  • 리듬 전이 (Rhythm Transfer): 단어 발화 속도의 피어슨 상관계수.
  • 내용 보존 (Content Preservation): ASR 기반 단어 오류율 (WER).
  • 화자 보존 (Speaker Preservation): Resemblyzer 기반 화자 유사도.

• 주요 성과:

  • 감정 전이: 모든 테스트 설정 (보이는/보이지 않는 화자 및 감정) 에서 기존 방법들보다 높은 감정 유사도 (평균 0.61) 를 기록했습니다. 특히 보이지 않는 감정 (Unseen Emotion) 에도 효과적으로 전이되었습니다.
  • 내용 및 화자 보존: WER 은 경쟁 모델들과 유사하거나 더 낮았으며, 화자 유사도는 높은 수준을 유지했습니다.
  • 데이터 다양성: 훈련 데이터에 다양한 화자와 음성을 추가한 S2S-ZEST-diverse 변형 모델은 보이지 않는 화자에 대한 일반화 성능을 크게 향상시켰습니다.
  • 데이터 증강: IEMOCAP 데이터셋을 이용한 감정 인식 실험에서, 소량의 데이터 (Low-resource) 환경에서 증강 데이터를 사용할 경우 분류 성능이 크게 향상됨을 확인했습니다 (예: 100 샘플/클래스 환경에서 5.67% 향상).

5. 의의 및 결론 (Significance)

이 연구는 텍스트와 병렬 데이터 없이도 고품질의 감정 스타일 전이가 가능함을 입증했습니다. 특히 BigVGAN 과 soft-HuBERT 토크나이저의 결합, 그리고 적대적 학습을 통한 표현의 분리 (Disentanglement) 는 음성 합성 및 변환 분야에서 중요한 진전을 이뤘습니다. 제안된 S2S-ZEST 는 인간 - 컴퓨터 상호작용 (HCI) 시스템의 자연스러운 감정 반응 구현뿐만 아니라, 데이터가 부족한 감정 인식 모델의 성능 향상을 위한 강력한 데이터 증강 도구로서도 큰 잠재력을 가지고 있습니다.

한계 및 향후 과제: 현재 모델은 주로 영어 데이터 (ESD) 로 훈련되어 화자 다양성에 한계가 있으며, 보이지 않는 화자에 대한 화자 유사도 보존은 대규모 데이터로 훈련된 모델에 비해 여전히 개선의 여지가 있습니다. 향후 더 다양하고 대규모의 감정 음성 데이터셋을 활용한 학습이 필요할 것으로 보입니다.