기술 요약: VibE-SVC2 – 독립적 제어 능력 향상을 통한 가창 음성 변환을 위한 비브라토 표현 제어

1. 문제 정의

가창 음성 변환(Singing Voice Conversion, SVC)은 화자의 음색, 프로소디(prosody), 감정을 변환하면서도 언어적 내용과 멜로디를 보존하는 것을 목표로 한다. 자연스럽고 표현력 있는 가창을 달성하기 위한 핵심적인 과제는 가창 스타일의 분리(disentanglement), 즉 피치 관련 스타일(예: 비브라토)과 음색 관련 스타일(예: 보컬 프라이, 브레시, 벨팅)의 독립적인 제어이다.

기존 방식들은 다음과 같은 몇 가지 한계점에 직면해 있다:

• 피치-에너지 얽힘(Pitch-Energy Entanglement): 비브라토는 피치 변동뿐만 아니라 동기화된 주기적 음량 진동에 의해서도 음향적으로 특징지어진다. 기존 모델들은 종종 이 둘을 분리하는 데 실패하며, 이로 인해 잔여 스타일 정보가 에너지 윤곽(energy contour)으로 누설되어 변환 품질을 저하시킨다.
• 제한된 제어 가능성: 이전 연구들(예: VibE-SVC)은 비브라토의 *폭(extent)*에 대한 제어는 허용했으나, 비브라토의 *속도(rate)*에 대한 독립적인 제어는 부족했다. 또한, 사전 정의된 스타일 ID에 의존하여 제로샷(zero-shot) 능력이 제한적이었다.
• 서브하모닉 아티팩트(Subharmonic Artifacts): 전통적인 SVC 파이프라인은 **보컬 프라이(vocal fry)**와 같은 포네이션(phonation) 스타일을 처리하는 데 어려움을 겪는다. 보컬 프라이는 서브하모닉 특성을 보이는데, 표준 기본 주파수($F_0$) 추출 방식은 여기서 실패하는 경우가 많아 피치 점프(pitch jump)와 불안정한 음색 변환을 초래한다.
• 결합된 속성: 인간의 발성 생성 과정에서 역동적인 속성들은 본질적으로 결합되어 있다. 하나의 속성(예: 피치 스타일)을 조작하면 다른 속성(예: 음색 또는 에너지)을 왜곡하는 경우가 많아, 세밀하고 독립적인 제어가 어렵다.

2. 방법론

저자들은 피치 역동성을 에너지 및 음색 속성으로부터 구조적으로 격리하도록 설계된 통합 프레임워크인 VibE-SVC2를 제안한다. 이 아키텍처는 이산 웨이브렛 변환(Discrete Wavelet Transform, DWT)을 기반으로 $F_0$ 윤곽을 분해하며, 몇 가지 새로운 모듈을 도입한다.

A. 에너지 스타일 컨버터 (Energy Style Converter)

피치-에너지 얽힘 문제를 해결하기 위해, 저자들은 에너지 스타일 컨버터를 도입한다.

• 메커니즘: 피치 스타일 컨버터와 유사하게, 저주파 에너지 윤곽과 타겟 스타일 ID를 입력으로 받는다. 이는 그에 대응하는 고주파 에너지 윤곽(주기적 비브라토 변조를 포함하는)을 예측한다.
• 통합: 예측된 고주파 에너지는 사전 학습된 SVC 모델에 의해 처리되기 전에 저주파 윤곽에 더해진다. 이를 통해 에너지 도메인의 비브라토 특성이 명시적으로 제어되고 피치 윤곽으로부터 분리되도록 보장한다.

B. 제로샷 피치 스타일 컨버터 (Zero-Shot Pitch Style Converter, ZSC)

명시적인 라벨 없이 미학습 참조 오디오로부터 피치 스타일을 전이할 수 있도록 한다:

• 메커론: 모델은 스타일 ID 대신 참조 오디오의 고주파 $F_0$ 윤곽을 조건으로 사용한다.
• 아키텍처: 고주파 스타일 인코더가 참조 윤곽으로부터 스타일 임베딩($z_{style}$)을 생성한다. 이 임베딩은 **스타일 적응형 레이어 정규화(Style Adaptive Layer Normalization, SALN)**를 사용하여 피치 스타일 컨버터의 모든 레이어에 주입된다.
• 학습: 시스템은 참조의 스타일 임베딩을 사용하여 소스 오디오의 고주파 윤곽을 재구성하도록 학습된다.

C. 독립적인 비브라토 속도 및 폭 제어

이 프레임워크는 추론 시 비브라토의 속도와 폭 모두에 대한 세밀한 제어를 가능하게 한다:

• 폭(Extent) 제어: 고주파 $F_0$ 윤곽을 계수 $\alpha$로 스케일링함으로써 달성된다.
• 속도(Rate) 제어: 저주파 $F_0$ 윤곽의 **시간적 스케일링(temporal scaling)**을 통해 달성된다.
  • 속도를 높이려면: 저주파 윤곽을 업샘플링(시간적으로 확장)하고, 스타일 인코더를 거친 후, 다시 원래 길이에 맞춰 다운샘플링(압축)한다.
  • 속도를 낮추려면: 업샘플링과 다운샘플링의 순서를 반대로 한다.
• 공식: 최종 윤곽은 $\hat{x}^\beta[n] = x_{low}[n] + \alpha \cdot \hat{x}^\beta_{high}[n]$로 재구성되며, 이를 통해 $\alpha$(폭)와 $\beta$(속도)를 독립적으로 조작할 수 있다.

D. 음색 스타일 변환 및 서브하모닉 교정 (Subharmonic Correction, SHC)

보컬 프라이를 포함한 다양한 포네이션 스타일을 처리하기 위해:

• 모듈성: 스타일 룩업 테이블(Lookup Table, LUT)은 글로벌 음색 및 포네이션 특성을 캡처하며, 피치 스타일이 음색 표현으로 누설되는 것을 방지하는 정보 병목 역할을 한다.
• SHC 알고리즘: 보컬 프라이에서의 $F_0$ 추출 실패(서브하모닉으로 인한 현상)를 해결하기 위해, 저자들은 다음과 같은 서브하모닉 교정 알고리즘을 제안한다:
  1. $F_0$ 윤곽을 로그 스케일로 변환하고 1차 차분($\Delta F_0$)을 계산한다.
  2. 절대 차이가 임계값을 초과하는 프레임(서브하모닉 특유의 피치 점프/드롭을 나타냄)을 탐지한다.
  3. 무성(unvoiced) 프레임에 대해 해당 차이를 0으로 설정하여 이러한 아티팩트를 필터링한다.
  4. 윤곽을 자기회귀적(autoregressively)으로 재구성한다.
  5. 모드 정렬(Mode Alignment): 원본과 교정된 윤곽 사이의 차이의 평균이 아닌 *최빈값(mode)*을 기준으로 교정된 윤곽을 스케일링하여, 서브하로닉 범위로 편향되는 것을 방지한다.

3. 주요 기여

본 논문은 이전 모델(VibE-SVC) 및 기존 베이스라인 모델들과 비교하여 다음과 같은 기여를 주장한다:

1. 에너지 스타일 컨버터: 피치-에너지 얽힘을 해결하여 에너지 윤곽에서의 잔여 스타일 누설을 효과적으로 제거하는 새로운 모듈이다.
2. 독립적 속도 스케일링: 특정 속도 파라미터에 대한 학습 없이도 추론 시 비브라토 속도와 폭을 독립적으로 제어할 수 있게 하는 방법론이다.
3. 제로샷 피치 스타일 컨버터 (ZSC): 미학습 참조 오디오로부터 피치 스타일(비브라토 및 글리산도 포함)을 직접 전이하는 메커니즘이다.
4. 서브하모닉 교정 (SHC): $F_0$ 윤곽을 정교화하여 보컬 프라이 변환 시 발생하는 피치 점프 아티팩트를 완화하는 알고리즘으로, 견고한 음색 스타일 전이를 가능하게 한다.
5. 통합 프레임워크: 피치와 음색 스타일 모두에 대해 세밀하고 독립적인 제어를 제공하며, 경쟁력 있는 자연스러움을 유지하면서도 기존 방식보다 우수한 스타일 정확도를 보여주는 시스템이다.

4. 실험 결과

저자들은 VocalSet 및 GTSinger 데이터셋을 사용하여 VibE-SVC2를 평가하였으며, SoVITS-SVC, Serenade, Vevo1.5/2, NeuCoSVC2, Seed-SVC와 같은 베이스라인과 비교하였다.

• 피치 스타일 변환: VibE-SVC2는 비브라토와 스트레이트 스타일 간의 변환에서 가장 높은 **스타일 정확도(Style Accuracy)**를 달립하였으며, 스타일 정보 분리에 어려움을 겪었던 베이스라인들을 크게 앞질렀다. 또한 대등한 수준의 자연스러움(nMOS)과 화자 유사도(SECS)를 유지하였다.
• 제로샷 성능: 제로샷 작업에서 VibE-SVC2-ZSC는 특히 미학습 글리산도 스타일 변환에서 가장 우수한 평균 스타일 정확도를 보였으나, 참조 오디오를 음색에 활용하는 모델(예: NeuCoSVC2)에 비해 화자 유사도는 약간 낮게 나타났다.
• 제어 가능성: 실험을 통해 비브라토 속도와 폭이 독립적으로 스케일링될 수 있음을 입증하였다. 스타일 정확도는 최적의 폭 스케일링($\alpha \approx 3.0$) 및 속도 스크일링($\beta < 2.0$)까지 개선되었으나, 그 범위를 넘어서면 자연스러움이 저하되었다.
• 음색 스타일 변환: SHC의 포함은 보컬 프라이 변환 시 베이스라인 대비 스타일 정확도를 유의미하게 향 향상시켰다. 모델은 스트레이트, 벨팅, 브레시, 보컬 프라이 스타일 간을 높은 정확도로 성공적으로 변환하였다.
• 트레이드오프(Trade-offs): 연구는 트레이드오프 관계를 인정한다: 스타일 강도(예: 극단적인 비브라토 폭 또는 보컬 프라이 강제)를 높이면 음향적 특징이 타겟 화자의 분포를 벗어나게 되어 화자 유사도(SECS)가 감소할 수 있다. 또한, 스타일 제어를 위한 구조적 분리는 완전히 얽힌 베이스라인에 비해 자연스러움을 약간 감소시킨다.

5. 의의 및 주장

본 논문은 VibE-SVC2를 가창 스타일 변환(Singing Style Conversion, SSC) 분야의 중요한 진전으로 자리매김한다. 주요 의의는 다음과 같다:

• 얽힘 문제 해결: 기존의 최첨단 모델들이 해결하지 못한 비브라토의 피치-에너지 결합 문제를 해결한다.
• 세밀한 제어: 전역적인 음색 교체를 넘어, 국소적인 역동적 스타일(비브라토 속도/폭)과 포네이션 스타일(보컬 프라이)에 대한 독립적이고 세밀한 제어를 제공한다.
• 견고성: SHC 알고리즘은 기존 SVC 파이프라인에서 아티팩트를 유발하는 까다로운 포네이션 스타일 변환을 위한 해결책을 제공한다.
• 제로샷 능력: ZSC 모듈은 프레임워크의 적용 범위를 미학습 참조 오디오로 확장하며, 이는 실용적이고 유연한 가창 스타일 전이를 향한 중요한 단계이다.

저자들은 트레이드오프(스타일 강도와 화자 정체성 보존 사이의 관계)가 존재하지만, VibE-SVC2가 이러한 요소들 사이의 균형을 성공적으로 맞추어 더욱 표현력 있고 제어 가능한 가창 음성 변환 프레임워크를 제공한다고 결론짓는다. 향후 연구 계획으로는 모델을 SVS/음악 생성과 통합하고, 스타일 제어를 위한 자연어 프롬프트를 탐구하며, 무성 구간을 더 견고하게 처리하기 위해 SHC 알고리즘을 정교화하는 것이 포함된다.