Music Restoration via Latent Operator Optimization and Diffusion Model Priors

기술 요약: 잠재 연산자 최적화 및 확산 모델 사전 확률을 통한 음악 복원

문제 정의
음악 복원은 알려지지 않은 효과, 왜곡 또는 손상(예: 잔향, 압축, 클리핑 또는 포화)에 의해 저하된 관측된 녹음으로부터 깨끗하고 처리되지 않은 신호를 복구하는 것을 목표로 한다. 기존의 지도 학습 방식은 쌍을 이루는 깨끗한 신호와 왜곡된 데이터, 그리고 정의된 왜곡 군(family)에 의존하므로, 순방향 저하 과정이 알려져 있지 않거나 복잡하거나 깨끗한 참조 신호가 없는 경우(예: 역사적 녹음) 적용에 한계가 있다. 비지도 블라인드 역문제 프레임워크가 존재하기는 하지만, 이들은 특정 순방향 모델 군에 국한되거나 최적화가 불안정할 수 있는 파형 영역에서 직접 작동하는 경우가 많다.

방법론: LOUDAR
저자들은 사전 학습된 오디오 오토인코더(AE)의 잠재 공간 내에서 작동하는 범용 비지도 프레임워크인 LOUDAR(Latent-space Optimization of Unknown Distortion for Audio Restoration)를 제안한다. 이 방법은 복원을 잠재 영역에서의 블라인드 역문제로 정식화하며, 깨끗한 잠재 표현을 추정하는 것과 왜곡 연산자를 학습하는 과정을 교대로 수행한다.

1. 잠재 공간 정식화:
   LOUDAR는 왜곡된 관측 파형 $y$와 깨끗한 타겟 $x$를 고정된 인코더 $E$를 사용하여 잠재 벡터 $z_y$와 $z_0$로 매핑함으로써, 파형 영역에서 $y = f(x) + n$ 문제를 푸는 대신 문제를 해결한다. 왜곡 과정은 파라미터가 있는 잠재 연산자 $g_\phi$와 잔차 항 $r$로 모델링된다:
   $$z_y \approx g_\phi(z_0) + r$$
   여기서 $g_\phi$는 미지의 파라미터 $\phi$를 가진 학습 가능한 연산자이며, $r$은 $g_\phi$로 표현할 수 없는 국소적 아티팩트나 노이즈를 포착한다.

2. 확산 사전 확률(Diffusion Prior):
   깨끗한 음악으로 학습된 무조건부 잠재 확산 모델(LDM)은 깨끗한 잠재 분포에 대한 사전 확률 $p(z)$ 역할을 한다. 이 사전 확률은 추론 과정을 조절하여 추정된 잠재 벡터를 깨끗한 녹음의 매니폴드로 유도한다. LDM은 Rectified Flow 목적 함수로 학습된 Diffusion Transformer (DiT) 백본을 활용한다.

3. 왜곡-블라인드 추론 (EM 스타일):
   추론 시, LOUDAR는 역방향 확산 궤적을 따라 EM(Expectation-Maximization) 스타일의 교대 절차를 채택한다:

   • E-step: 현재 상태가 주어졌을 때 확산 사전 확률(denoiser)을 사용하여 깨끗한 잠재 벡터 $\hat{z}_0$를 추정한다.
   • M-step: 관측된 잠재 $z_y$와 모델링된 왜곡 $g_\phi(\hat{z}_0) + r$ 사이의 재구성 오차를 최소화하도록 잠재 연산자 파라미터 $\phi$와 잔차 $r$을 업데이트한다.
   • 업데이트: 무조건부 스코어(사전 확률로부터 유도됨)와 라이클리후드 스코어(현재 왜곡 모델로부터 유도됨)의 합을 사용하여 가이드된 상미분 방정식(ODE) 단계를 수행한다.

4. 잠재 연산자 구조:
   연산자 $g_\phi$는 저차원 제약(low-rank constraints)이 있는 인과적 합성곱 네트워크(causal convolutional network)로 구현된다. 이는 바이어스가 활성화된 저차원 인과적 Conv1D 레이어와 잔차 연결로 구성된다. 이러한 설계는 모델이 다양한 왜곡을 표현할 수 있을 만큼 유연하면서도, 입력당 최적화 과정에서 과적합을 방지할 수 있도록 충분히 제약되도록 보장한다.

주요 기여
본 논문은 세 가지 주요 기여를 식별한다:

1. 정식화: 오토인코더의 잠재 공간 내에서 음악 복원을 블라인드 역문제로 다루는 새로운 정식화를 제시하였다.
2. 구조: 유연성과 용량 제어 사이의 균형을 맞춤으로써 블라인드 최적화를 안정화하도록 설계된 컴팩트하고 범용적인 잠재 연산자 구조를 제안하였다.
3. 평가: 가창 음성 및 기타 도메인에 걸친 종합적인 평가를 통해, 본 방법이 저하된 입력을 개선하며 지도 학습 및 비지도 학습 베이스라인과 경쟁함을 입증하였다.

실험 결과
저자들은 두 가지 작업에 대해 LOUDAR를 평가하였다: 가창 음성의 효과 제거/왜곡 복원 및 기타 왜곡 제거(앰프 녹음으로부터 DI 신호 복구).

• 가창 음성 (Singing Voice):

  • 객관적 지표: 특화된 임베딩(AFx-Rep, FxEncoder++, CLAP, Singer-ID)을 사용했을 때, LOUDAR는 경쟁력 있는 결과를 얻었다. 특히, Singer-ID 임베딩에서 가장 낮은 점수를 기록했는데, 이는 다른 방법들에 비해 화자 정체성 보존 능력이 우수함을 나타낸다.
  • 주관적 청취: MUSHRA 청취 테스트에서 LOUDAR는 객관적 지표에서 가장 좋은 성적을 냈으나 지각적 성능은 더 낮은 "Apollo" 모델 및 "LDM Conditional" 베이스라인보다 우수한 성능을 보였다. 논문은 LOUDAR와 LDM conditional 베이스라인 간의 비교에서 통계적으로 유의미한 차이($p < 0.001$)를 보고하였으며, Apollo가 LOUDAR에 의해 능가되었음을 언급했으나 해당 비교에 대한 통계적 유의성은 명시하지 않았다.
  • 일반화: 영어 샘플을 사용하여 공격적인 왜곡(클리핑, 비트크러싱, GSM 압축)을 테스트했을 때, LLDAR는 훈련 데이터에 포함되지 않은 왜곡에 어려움을 겪는 SRS 및 VoiceFixer보다 더 안정적인 성능을 보여주었다.

• 기타 복원 (Guitar Restoration):

  • LOUDAR는 FxEncoder++ 및 CLAP 임베딩에서 가장 강력한 결과를 달성했다.
  • LOUDAR는 UnAFx(파형 영역의 비지도 베이스라인)를 명확히 능가하였으며, 이는 잠재 공간에서의 복원이 복잡한 왜곡에 대해 더 다루기 쉽다는 가설을 뒷받침한다.
  • 대부분의 지표에서 지도 학습 베이스라인(LDM Conditional, Latent Regressor)과 대등한 성능을 보였으며, 이는 비지도 방식임에도 불구하고 달성한 결과이다.

의의 및 주장
본 논문은 LLDAR가 왜곡 체인이 알려지지 않은 상황에서 음악 복원을 위한 광범위하게 적용 가능한 솔루션을 제공한다고 주장한다. 최적화를 잠재 공간으로 전환함으로써, 이 방법은 표현과 왜곡 모델을 모두 압축하여 복잡하고 미지의 효과 체인을 블라인드 최적으로 만드는 것을 가능하게 한다.

저자들은 LLDAR가 훈련 데이터 불일치나 지나치게 복잡한 효과 체인으로 인해 지도 학습 모델이 일반화에 어려움을 겪는 시나리오에서 특히 효과적이라고 강조한다. 그러나 다음과 같은 한계점도 겸허히 인정한다:

• 잠재 충실도 (Latent Fidelity): 출력 품질은 기본 오토인코더의 재구성 충실도에 의해 제한된다.
• 사전 확률 불일치 (Prior Mismatch): 훈련 분포(예: 중국어 가창)가 테스트 입력(예: 영어 가창)과 크게 다를 경우, 확산 사전 확률이 음색이나 음성적 아티팩트를 유발할 수 있다.
• 노이즈 민감도: 이 방법은 입력을 깨끗한 매니폴드로 투영하도록 설계되었지, 큰 가산 노이즈 성분을 명시적으로 분리하도록 설계된 것이 아니므로, 강한 노이즈 조건에서는 성능이 저하될 수 있다.

이 연구는 LLDAR를 판별적 디노이징(discriminative denoising) 접근법과 결합하는 것이 강한 측정 노이즈에 대한 강건성을 향상시키기 위한 자연스러운 향후 연구 방향임을 시사한다.