Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

기술 요약: 위상 일관성을 갖춘 신경 보코더를 위한 운율 가이드형 하모닉 어텐션(Prosody-Guided Harmonic Attention)

문제 제기
음성 합성 분야에서 신경 보코더(Neural Vocoder)의 성공에도 불구하고, 현재의 최첨단 모델들은 두 가지 지속적인 한계에 직면해 있다: 제한된 운율 모델링과 부정확한 위상 재구성이다. HiFi-GAN 및 WaveGlow과 같은 기존 방식은 멜-스펙트로그램(mel-spectrogram)을 조건부 특징으로 사용한다. 이는 효율적이긴 하지만, 멜-스펙트로그램은 손실이 발생하며 역변환이 불가능한 비가역적 특성을 지녀 미세한 하모닉 및 위상 정보를 버리게 된다. 이는 특히 표현력이 풍부하거나 운율이 복잡한 발화에서 피치 아티팩트(pitch artifacts), 흐릿한 하모닉스, 시간적 불연속성을 초래한다. 또한, 최근의 일부 모델들(예: Vocos, BigVGAN)이 스펙트럼 도메인 예측이나 피치 인식 조건부 모델로 이동했음에도 불구하고, 이들은 여전히 하모닉 어텐션과 같은 운율 인식 메커니즘을 명시적으로 활용하거나 크기와 위상을 통합된 위상 일관적 프레임워크 내에서 공동으로 모델링하는 데 실패하는 경우가 많다.

방법론
저자들은 고충실도 파형 생성을 위해 운율과 위상 정보를 모두 포착하도록 설계된 신경 보코더 아키텍처를 제안한다. 이 시스템은 멜-스펙트로그램 도메인이 아닌 복소 스펙트럼(complex spectral) 도메에서 직접 작동한다. 아키텍처는 세 가지 주요 구성 요소로 이루어진다:

1. 운율 가이드형 하모닉 어텐션 (Prosody-Guided Harmonic Attention):
   모델은 Harvest 알고리즘을 사용하여 참조 파형으로부터 기본 주파수(F0)를 추출한다. 이 F0 컨투어는 임베딩되어 하모닉 어텐션 메커니즘을 통해 인코더-디코더 경로에 주입된다. 피치를 단순한 보조 특징으로 취급하는 모델들과 달리, 이 모듈은 인코딩된 스펙트럼 특징($H$)과 F0 임베딩($F$) 사이의 상호작용을 기반으로 어텐션 가중치를 계산한다. 이 메커니즘은 인코딩된 표현을 F0에 의해 지시되는 하모닉 구조와 명시적으로 정렬하여, 유성 구간과 하모닉 구조를 강조하는 동시에 무성 구간에는 영향을 주지 않도록 한다.

2. 직접 복소 스펙트럼 예측 (Direct Complex-Spectrum Prediction):
   디코더는 복소 단시간 푸리에 변환(STFT) 도메인에서 직접 작동한다. 모델은 크기(magnitude)만을 예측하고 위상을 휴리스틱하게 재구성하는 대신, 스펙트럼의 실수부와 허수부를 동시에 예측한다. 출력은 실수부($\hat{R}$)와 허수부($\hat{I}$)로 나뉘어 복소 스펙트럼 $\hat{S} = \hat{R} + j\hat{I}$를 형성한다. 이 스펙트럼은 역 STFT(ISTFT)를 통해 파형으로 변환되며, 이를 통해 위상 일관성을 구조적으로 보장하고 사후 위상 추정의 필요성을 제거한다.

3. 다중 목적 지각 최적화 (Multi-Objective Perceptual Optimization):
   학습에는 세 가지 항을 결합한 다중 목적 손실 함수가 사용된다:

• 다중 해상도 STFT (MR-STFT) 손실: 하모닉 구조와 스펙트럼 엔벨로프를 포착하기 위해 다양한 분석 윈도우에 걸쳐 안정적인 스펙트럼 감독을 제공한다.
• 적대적 손실 (Adversarial Loss): 예측된 복소 스펙트럼으로부터 재구성된 파형에 대해 다중 주기 및 다중 해상도 판별기를 사용하는 경량 설정을 사용하여 지각적 사실성을 높인다.
• 위상 인식 손실 (Phase-Aware Loss): 예측된 복소 스펙트럼과 참조 복소 스펙트럼 사이에서 계산되는 새로운 항이다. 이 손실은 단위 크기로 정규화함으로써 진폭 스케일링과 독립적으로 위상 정렬에만 집중하여 위상 일관성을 강제한다.

주요 기여
본 논문은 세 가지 혁신을 식별하였다:

1. 운율 가이드형 하모닉 어텐션: F0를 활용하여 스펙트럼 모델링을 조건화함으로써, 유성 구간을 강조하여 인코딩 단계에서의 운율 충실도를 개선하는 메커니즘이다.
2. 직접 복소 스펙트럼 예측: 크기와 위상(실수부 및 허수부 성분)을 모두 예측하는 통합 프레임워크로, 디커플링 없이 역 STFT를 통한 위상 일관적 파형 재구성을 가능하게 한다.
3. 다중 목적 지각 학습: 적대적, 스펙트럼 및 위상 인식 손실을 통합하여 모델이 지각적 품질 및 위상 일관성과 더 잘 일치하도록 하는 최적화 전략이다.

실험 결과
실험은 LJSpeech 및 VCTK 코퍼스를 대상으로 수행되었으며, 제안된 시스템을 HiFi-GAN, AutoVocoder, Vocos, 그리고 Griffin-Lim 앵커와 비교하였다. 결과는 객관적 및 주관적 지표 모두에서 일관된 향상을 보여준다:

• 피치 정확도: F0 RMSE는 HiFi-GAN 대비 22%, AutoVocoder 대비 18% 감소하였다.
• 운율 신뢰도: 유성/무성(V/UV) 오류율은 HiFi-GAN 대비 18% 낮아졌다.
• 지각적 품질: 평균 의견 점수(MOS)는 4.45로 향상되어 HiFi-GAN(4.2), AutoVocoder(4.3), Vocos(4.1)를 능가하였다. 선호도 테스트에서 청취자들은 88%의 경우에서 제안된 시스템을 선호하였다.
• 스펙트럼 충실도: 잔차 멜 에너지(residual mel energy) 분석 결과, 제안된 모델은 베이스라인보다 낮은 잔차를 유지하고 참조 하모닉을 더 밀접하게 추적하여 시간적 번짐(temporal smearing)이 감소했음을 나타냈다.

의의 및 주장
저자들은 본 연구가 운율과 위상 모델링의 오랜 간극을 해결하는 통합된 보코더 아키텍처를 구축한다고 주장한다. 운율 가이드형 어텐션과 직접 복소 스펙트럼 예측을 결합함으로써, 시스템은 더욱 자연스럽고 피치가 정확하며 견고한 음성을 생성한다. 본 논문은 충실한 운율 재현이 필수적인 음성 복제, 감정 음성 합성, 뇌-음성 디코딩과 같은 고급 응용 분야를 위해, 운율과 위상 일관성을 동시에 명시적으로 모델링하는 것이 중요하다는 점을 역설한다. 이 연구는 결합된 크기-위상 모델링이 운율 단서에 의해 가이드될 때 전통적인 멜-스펙트로그램 기반 접근 방식보다 우수함을 입증함으로써, 표현력 있는 신경 보코딩의 토대를 마련한다.