기술 요약: TRACE-EVC

문제 정의

전통적인 감정 음성 변환(Emotional Voice Conversion, EVC) 시스템은 생성 과정을 가이드하기 위해 이산적인 감정 레이블, 참조 오디오 발화 또는 절대적인 스타일 설명과 같은 명시적인 타겟 조건을 활용합니다. 이러한 패러다임은 효과적이기는 하지만, 고정된 타겟 상태를 정의할 뿐 소스(source)와 대비되는 감정 전이의 방향이나 성격을 포착하지는 못합니다. 많은 실제 시나리오에서 사용자는 특정 타겟 감정을 염두에 두기보다는 소스를 상대적으로 수정하기를 원합니다 (예: "말투를 약간 더 차분하게 만들어줘" 또는 "눈에 띄게 더 자신감 있게 들리게 해줘"). 기존 방식들은 이러한 상대적이고 소스 조건부적인 지시사항을 해석하는 능력이 부족하며, 정적인 발화 스타일보다는 감정적 *변화(transformation)*를 설명하는 데이터셋에 대한 상당한 데이터 격차가 존재합니다.

방법론

저자들은 TRACE-Instruct 데이터셋으로 지원되는, 지시어 기반의 상대적 EVC를 위한 제로샷 프레임워크인 TRACE-EVC를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. TRACE-Instruct 데이터셋 구축

상대적 지시를 위한 학습 데이터의 부족을 해결하기 위해, 저자들은 ESD 및 MEAD 코퍼스의 쌍을 이룬 감정 음성을 사용하여 TRACE-Instruct를 구축했습니다.

• 쌍 구축 (Pair Construction): 서로 다른 감정 간(inter-emotion) 및 감정 강도 수준 간(intra-emotion)의 소스-타겟 쌍을 형성합니다.
• 정동적 차이 계산 (Affective Difference Calculation): 음성 감정 인식(SER) 모델이 소스($VAD_{src}$)와 타겟($VAD_{tgt}$) 발화 모두에 대한 Valence-Arousal-Dominance (VAD) 좌표를 예측합니다. 상대적 정동 변화는 $\Delta VAD = VAD_{tgt} - VAD_{src}$로 계산됩니다.
• 지시어 생성 (Instruction Generation): LLM(Qwen3)에 소스 스타일 설명, 타겟 스타일 설명, 그리고 계산된 $\Delta VAD$를 프롬프트로 제공합니다. LLM은 절대적인 타겟 스타일이 아닌 변화를 설명하는 자연어 지시어(예: "활기를 높여라")를 생성합니다.
• 필터링 (Filtering): 규칙 기반 필터링을 통해 명시적인 타겟 감정 레이블, 수치적 VAD 값, 메타데이터를 제거하여 지시어가 상대적인 상태를 유지하도록 합니다.

2. TRACE-EVC 프레임워크

이 모델은 추론 시 타겟 레이블이나 참조 오디오를 필요로 하지 않는 제로샷 방식으로 작동합니다. 두 개의 계층적 모듈로 구성됩니다.

• Emo-Compass (감정 예측기):

  • 입력: 소스 감정 임베딩($z_{src}$)과 텍스트 인코딩된 지시어 임베딩($p$).
  • 표현: 감정 임베딩 $z$는 emotion2vec 임베딩(카테고리 수준), VAD 좌표(연속적 정동 상태), 그리고 평균 운율 특징(F0 및 에너지)을 결합합니다.
  • 메커니즘: 노이즈로부터 생성하는 확산 모델(diffusion models)과 달리, Emo-Compass는 변환을 **소스에 닻을 내린 직류 흐름(source-anchored rectified flow)**으로 모델링합니다. 이는 지시어를 정동 공간에서의 변위 벡터(displacement vector)로 취급합니다.
  • 학습: 트랜스포머 $D_\theta$는 흐름의 속도 $\hat{v}$를 예측하며, 실제 변위 $v^* = z_{tgt} - z_{src}$와 일치하도록 학습됩니다. 손실 함수에는 속도 회귀 항과 방향, 카테고리, VAD/운율 재구성, 그리고 강도 순서에 대한 보조 가이드 항이 포함됩니다.
  • 추론: $z_{src}$에서 시작하여, 모델은 $K$번의 Euler 스텝 동안 예측된 속도를 적분하여 타겟 임베딩 $\hat{z}_{tgt}$를 생성합니다.

• 합성 모듈 (Synthesis Module):

  • DurFlex-EVC 백본을 기반으로 하는 이 모듈은 연속적인 임베딩을 사용하여 제로샷 변환을 수행합니다.
  • 소스 화자 임베딩과 예측된 타겟 감정 임베딩을 결합하여 타겟 스타일 표현($m_{tgt}$)을 생성합니다.
  • 지속 시간 조절기(duration regulator)와 조건부 확산 디코더가 멜-스펙트로그램을 생성하며, 이는 HiFi-GAN 보코더에 의해 파형으로 변환됩니다. 이 과정은 소스 화자의 정체성과 언어적 내용을 보존하면서 지시된 감정 변화를 적용합니다.

주요 기여

1. 지시어 기반 상대적 EVC 태스크: 고정된 타겟 상태가 아니라 소스 조건부의 정동 변환(카테고리 변화 및 강도 수정)을 자연어 지시어로 지정하는 새로운 태스크 패러다임을 도입했습니다.
2. TRACE-Instruct 데이터셋: VAD 차이에 의해 유도된 LLM을 통해 생성된, 감정 간 변화, 감정 내 강도 수정, 개방형 전이를 포함하는 0.54M개의 상대적 감정 지시어 데이터셋입니다.
3. TRACE-EVC 프레임워크: 지시어를 통한 프롬프트 기반 EVC를 재고하여, 소스 임베딩에 닻을 내리고 지시어를 직류 흐름 속도로 모델링하는 Emo-Compass를 특징으로 하는 제로샷 시스템입니다. 이를 통해 타겟 레이블이나 참조 오디오 없이도 유연한 제어가 가능합니다.
4. 경험적 검증: 시스템이 화자 정체성, 언어적 내용 및 음성 품질을 보존하면서 상대적 지시를 정확하게 따르는 것을 입증하는 종합적인 실험을 수행했습니다.

실험 결과

감정 간 변환 (ESD 데이터셋)

• 성능: TRACE-EVC는 비교 대상인 베이스라인들(레이블 기반 SGEVC/DurFlex-EVC 및 참조 기반 ZEST/VEVO 포함) 중 가장 높은 감정 유사도(EECS: 0.82), 화자 유사도(SECS: 0.68), 감정 분류 정확도(ACCcls: 93.00%)를 달성했습니다.
• 품질: 경쟁력 있는 단어 오류율(WER: 9.96%)과 UTMOS 점수(3.57)를 유지하여 높은 명료도와 자연스러움을 보여주었습니다.
• 절제 연구 (Ablation): Emo-Compass를 제거하고 단순히 임베딩을 결합했을 때 EECS(0.65)와 ACCcls(43.08%)가 크게 하락하여, 흐름을 통해 타겟 임베딩을 명시적으로 예측하는 것의 필요성을 입증했습니다.

감정 내 강도 변환 (MEAD 데이터셋)

• 제로샷 능력: 보지 못한 화자에 대해 평가했을 때, TRACE-EVC는 실제값(3.248)에 근접한 NISQA 점수(3.147)를 기록하여 높은 자연스러움을 입증했습니다.
• 강도 제어: 시스템은 지시의 강도(예: "약한 증가" vs "강한 증가")에 따라 평균ful arousal 변화가 단조 증가함을 보여주었으며, 이는 감정 강도에 대한 미세한 제어가 가능함을 확인시켜 줍니다.
• 화자 보존: SECS는 보지 못한 화자에 대해서도 안정적(0.706)으로 유지되어 강력한 화자 정체성 보존을 나타냈습니다.

지시 이행 (Instruction Following)

• 15명의 평가자에 의한 주관적 평가 결과, 높은 지시 이행(IF) 점수를 얻었습니다: 감정 간 설정에서 4.135, 감정 내 설정에서 4.296 (5점 만점).

구성 요소 분석 (Emo-Compass)

• 정동적 단서 (Affective Cues): 절제 연구를 통해 emotion2vec이 강력한 카테고리 수준의 정확도를 제공하는 한편, VAD와 운율 특징의 포함이 연속적인 지표를 위해 필수적임을 확인했습니다. VAD를 제거하면 VAD L2 거리가 증가하고 강도 MSE가 높아졌으며, 운율을 제거하면 강도 일관성이 더욱 저하되었습니다.

의의 및 주장

본 논문은 TRACE-EVC가 자연어 지시와 미세한 감정 제어 사이의 간극을 성공적으로 메웠다고 주장합니다. 타겟 지향적 생성에서 소스 조건부 상대적 변환으로 전환함으로써, 이 프레스크는 사용자가 타겟 감정 레이블을 지정하거나 참조 녹음을 제공할 필요 없이 더 직관적이고 유연한 제어(예: "더 차분하게", "더 풍부하게")를 가능하게 합니다. 이 연구는 감정적 변화를 연속적인 정동 공간에서의 변위(직류 흐로를 통한)로 모델링하는 것이 제로샷 EVC를 위한 효과적인 전략임을 보여주며, 표준적인 카테고리 작업에서 최신 시스템과 경쟁할 만한 성능을 달성하는 동시에 상대적 강도 및 개방형 정동 제어라는 새로운 능력을 실현했습니다.