Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms

기술 요약: Stylus – 재사용된 이미지 확산 모델을 통한 학습 없는 음악 스타일 전이

문제 제기
음악 스타일 전이는 소스 트랙의 구조적 요소 (멜로디, 리듬) 와 참조 트랙의 스타일적 속성 (음색, 질감) 을 혼합하는 것을 목표로 합니다. 최근 생성 모델이 음악 제작을 발전시켰지만, 기존 제로샷 (zero-shot) 접근법은 상당한 한계에 직면해 있습니다. 텍스트 기반 조건부 설정 (예: MusicLM, Riffusion) 은 종종 특정 오디오 예시들의 미세한 뉘앙스를 포착하지 못해 거칠거나 loosely 정렬된 스타일을 초래합니다. 반면, 오디오 신호에 직접 조건을 부여하는 오디오 대 오디오 확산 방법 (예: MusicTI) 은 일반적으로 작업별 학습, 스타일 인코더의 미세 조정, 또는 사전 정의된 스타일 범주에 대한 적응을 요구합니다. 이러한 추가 학습에 대한 의존성은 확장성을 저해하고, 새로운 또는 레이블이 없는 음색 특성에 대한 제로샷 배포를 방해합니다. 또한, 많은 기존 방법들은 파형 재구성을 위해 Griffin–Lim 과 같은 반복적 위상 추정 기술에 의존하는데, 이는 종종 시간적 흐림 (temporal smearing) 과 금속성 소리 같은 가청 아티팩트를 도입합니다.

방법론: Stylus 프레임워크
저자들은 Stylus를 제안합니다. 이는 사전 훈련된 이미지 확산 모델 (특히 Stable Diffusion v1.5) 을 재사용하여 멜 스펙트로그램 영역에서 직접 음악 스타일 전이를 수행하는 학습 없는 프레임워크입니다. 핵심 전제는 멜 스펙트로그램을 구조화된 시 - 주파수 이미지로 취급하여, 오디오 네이티브 모델의 도메인 특화 조화 규칙이 아닌 이미지 확산 모델이 학습한 일반적인 공간적 사전 지식 (generic spatial priors) 을 활용하는 것입니다.

방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 주의 기반 스타일 조작:
   Stylus 는 사전 훈련된 이미지 확산 모델의 자기 주의 (self-attention) 계층을 조작하여 작동합니다. 이는 자기 주의 쿼리 ($Q$) 가 구조적 기하학을 고정하고, 키 ($K$) 와 값 ($V$) 이 스타일적 질감을 인코딩한다는 귀납적 편향을 활용합니다.

   • 프로세스: 프레임워크는 콘텐츠와 스타일 멜 스펙트로그램 모두에 DDIM 역전파 (inversion) 를 수행하여 잠재 표현을 얻습니다. 역방향 생성 과정에서 스타일 스펙트로그램의 키 및 값 특징 ($K, V$) 이 콘텐츠 생성의 자기 주의 계층에 주입됩니다.
   • 쿼리 보존: 소스 음악 구조의 파괴를 방지하기 위해, 원래 콘텐츠 쿼리 ($Q_{mc}$) 는 보존되어 하이퍼파라미터 $\gamma$를 사용하여 생성된 쿼리 ($Q_{mo}$) 와 혼합됩니다: $\bar{Q} = \gamma Q_{mc} + (1-\gamma)Q_{mo}$. 이를 통해 질감이 수정되는 동안 구조적 레이아웃은 온전하게 유지됩니다.
   • 초기화: 스타일화된 잠재 노이즈는 AdaIN 을 통해 스타일과 콘텐츠 잠재 표현을 결합하여 초기화됩니다.

2. 위상 보존 재구성:
   스펙트로그램 역전파 (예: Griffin–Lim 로 인한 것) 에서 흔히 발생하는 아티팩트를 완화하기 위해, Stylus 는 위상을 보존하는 전략을 사용합니다. 수정된 크기 스펙트로그램에서 새로운 위상을 추정하는 대신, 프레임워크는 원래 콘텐츠 오디오의 위상을 재사용합니다. 이 접근법은 추가 학습 없이 음향적 안정성과 높은 지각적 충실도를 보장하며, 위상을 고정시킨 채 크기 영역을 통해 스타일적 속성을 효과적으로 전이합니다.

3. 제어 가능한 스타일 강도 (가이드 스케일링):
   콘텐츠와 스타일 사이의 이진 선택을 강요하는 단순한 키 - 값 스왑의 경직성을 해결하기 위해, Stylus 는 Classifier-Free Guidance (CFG) 에서 영감을 받은 보간 전략을 도입합니다. 콘텐츠 ($\phi_{content}$) 와 스타일 ($\phi_{style}$) 에 대한 주의 출력을 독립적으로 계산하여 가이드 스케일 $\alpha$를 사용하여 혼합합니다:
   $$\phi_{blended} = \phi_{content} + \alpha \cdot (\phi_{style} - \phi_{content})$$
   이는 스타일화 강도의 연속적인 조정을 가능하게 하여, 낮은 $\alpha$ 값은 구조적 충실도를 보존하고 높은 값은 스타일적 특징을 강조합니다.

주요 기여

• 학습 없는 프레임워크: 고정된 사전 훈련된 이미지 확산 모델을 사용하여 멜 스펙트로그램 이미지의 주의 기반 조작으로 음악 스타일 전이를 공식화하는 Stylus 제안. 이는 작업별 학습이나 미세 조정이 필요 없음을 의미합니다.
• 제어 가능한 조작 및 재구성: ($\alpha$ 및 $\gamma$를 통한) 제어 가능한 주의 조작 메커니즘과 위상 보존 재구성 전략의 도입으로 유연성과 지각적 충실도를 동시에 개선합니다.
• 광범위한 제로샷 평가: 일반적인 이미지 사전 지식이 구조화된 멜 스펙트로그램의 제로샷 변환에 효과적으로 재사용될 수 있음을 입증하는 포괄적인 평가.

실험 결과
저자들은 MusicTI 데이터셋 (253 개의 오디오 클립) 을 사용하여 MusicGen 및 MusicTI 를 포함한 최첨단 베이스라인에 대해 Stylus 를 평가했습니다.

• 정량적 성능: 13,246 개의 콘텐츠 - 스타일 조합에 대한 대규모 평가에서 Stylus 는 MusicTI 대비 콘텐츠 보존 점수가 34.1% 더 높게 나타났습니다. 또한 사운드 효과 스타일 적합성에서도 MusicTI 보다 11.9% 더 우수한 성능을 보였습니다.
• 인간 평가: 65 명의 유효 참가자와 2,925 개의 평가가 포함된 연구에서 Stylus 는 전체 지각적 품질 (3.38 대 ≤2.69) 과 콘텐츠 보존 (4.29 대 ≤2.95) 에서 베이스라인을 유의미하게 능가했습니다.
• 어블레이션 연구: 실험은 키 또는 값 주입을 제거할 경우 성능이 심각하게 저하됨을 확인했습니다. 가이드 스케일 ($\alpha$) 에 대한 어블레이션은 스타일 준수와 콘텐츠 보존 사이의 트레이드오프를 검증했습니다. 또한, 위상 보존 재구성은 미세한 위상 의존 단서의 잠재적 트레이드오프에도 불구하고 Griffin–Lim 재구성에 비해 더 높은 지각적 품질과 음악적 일관성을 산출하는 것으로 나타났습니다.

의의 및 주장
본 논문은 이미지 확산 모델이 학습한 일반적인 공간적 사전 지식이 구조화된 멜 스펙트로그램의 학습 없는 변환을 위해 견고하게 재사용될 수 있다는 가설을 Stylus 가 검증한다고 주장합니다. 오디오를 이미지로 취급함으로써, 이 프레임워크는 학습된 음악 규칙에 의해 제약받는 오디오 네이티브 모델의 한계를 우회하여 유연하고 예시 기반의 스타일 전이를 가능하게 합니다. 이 연구는 오디오 신호 처리와 생성형 컴퓨터 비전을 연결하여, 추가 학습의 계산 비용 없이 고품질 스타일 전이를 달성하면서도 구조적 무결성을 보존하는 개인화된 음악 제작을 위한 확장 가능한 솔루션을 제공합니다. 저자들은 이 접근법이 미세한 음향 단서 (예: 위상 의존성) 에 대한 민감성을 희생하여 견고성을 얻지만, 음향적 뉘앙스 복원을 강화하면서도 학습 없는 추론을 유지하는 향후 연구에 대한 강력한 기반을 제공한다고 언급합니다.