Time-Varying Audio Effect Modeling by End-to-End Adversarial Training

기술 요약: 엔드 투 엔드 적대적 학습을 통한 시변 오디오 이펙트 모델링

문제 정의
딥러닝은 오디오 이펙트 모델링의 표준이 되었으나, 엄격한 블랙박스 접근 방식은 시변 시스템(예: 코러스, 플랜저, 페이저)을 모델링하는 데 어려움을 겪습니다. 시불변 이펙트(예: 디스토션)와 달리, 시변 이펙트는 시간에 따라 변조되는 내부 파라미터(주로 저주파 발진기, LFO에 의해 제어됨)에 의존합니다. 표준 지도 학습은 입력과 출력 사이의 정밀한 시간 정렬을 요구하지만, 블랙박스 맥락에서는 녹음마다 LFO의 초기 위상이 다릅니다. 이러한 정렬되지 않은 데이터로 학습할 경우, 모델은 전체 LFO 주기 동안의 변조 동작을 평균화하게 되어 결과적으로 시변 역동성을 상실하게 됩니다. 기존 솔루션들은 변조 신호(LFO)를 추출하거나 고정된 변조 위상을 가진 데이터셋으로 제한해야 했으며, 이는 완전한 블랙박스 시나리오에서의 적용성을 제한합니다.

방법론
저자들은 SPTVMod(Series-Parallel Time-Varying Modulation) 아키텍처를 활용하여 2단계 전략으로 학습되는 생성적 적대 신경망(GAN) 프레임워크를 제안합니다.

1. 아키텍처 (SPTVMod):

   • 생성기 (Generator): 두 개의 병렬 경로를 가진 합성곱 순환 신경망(convolutional-recurrent network)입니다. 변조 경로(ModBlocks)는 변조 신호를 생성하기 위한 LSTM 레이어를 포함하며, 오디오 경로(FXBlocks)는 오디오를 처리하고 FiLM(Feature-wise Linear Modulation)을 통해 변조를 수행합니다.
   • 판별기 (Discriminator): (입력, 제어, 출력) 튜플을 평가하여 실제 데이터와 생성된 데이터를 구별하는 합성곱 분류기(FeatBlocks)입니다.
   • 상태 예측 네트워크 (SPN): 이전 연구에서 채택된 모듈로, LSTM 레이어의 초기 내부 상태($h_0$)를 예측합니다. 이 모듈은 타겟과 동기화하는 데 필요한 상태를 예측하기 위해 판별기의 특징 추출 레이어를 재사용하여 입력/출력 쌍을 처리합니다.

2. 학습 전략:

   • 1단계 (적대적 학습): 모델은 적대적 손실(hinge loss)과 낮은 가중치의 스펙트럼 손실을 사용하여 학습됩니다. 결정적으로, SPN은 비활성화되며 LSTM 상태는 확률적(정규 분포 또는 각도 초기화)으로 초기화됩니다. 이는 모델이 엄격한 위상 제약 없이 변조 동작의 일반적인 분포를 학습하도록 강제합니다. 모드 붕괴(generator가 확률적 입력을 무시하고 고정된 위상을 생성하는 현상)를 방지하기 위해, 서로 다른 초기 상태가 동일한 출력을 낼 경우 패널티를 주는 **모드 탐색 손실(mode-seeking loss)**이 적용됩니다.
   • 2단계 (지도 미세 조정): 적대적 목적 함수가 제거됩니다. SPN이 인스턴스화되어 타겟 데이터에 대한 올바른 초기 상태를 예측하도록 학습됩니다. 그 후, 생성된 출력을 타겟과 정렬하기 위해 다중 해상도 단시간 푸리에 변환(MR-STFT) 손실을 사용하여 미세 조정함으로써, 학습된 변조를 특정 녹음에 효과적으로 동기화합니다.

3. 변조 지표:

   • 표준 스펙트럼 손실은 적대적 단계에서 변조의 부재와 올바르게 학습되었으나 위상이 어긋난 변조를 구분할 수 없으로 인해 불충분합니다.
   • 저자들은 처프 트레인(chirp-train) 기반 지표를 도입했습니다. 반복적인 로그 주파수 스윕(logarithmic frequency sweeps)을 포함하는 처프 트레인 신호를 모델에 통과시킵니다. 출력은 분석되어 변조 스펙트럼(주파수-주파수 표현)을 생성합니다. 이 지표는 참조 모델의 변조 스펙트럼 내 피크의 총 에너지 및 분포를 비교함으로써 주기적 변조의 존재와 강도를 정량화합니다.

주요 기여

• 블랙박스 시변 모델링: 변조 신호를 추출하거나 알 필요 없이 오디오 입출력 녹음만을 사용하여 LFO 기반 이펙트를 모델링할 수 있는 프레임워크를 제공합니다.
• 2단계 학습: 변조 분포 학습(적대적)과 위상 동기화(지도)를 분리하여, 시변 GAN 학습의 불안정성을 해결하는 전략을 제시합니다.
• 상태 예측 적응: 동기화를 용이하게 하기 위해 상태 예측 네트워크(SPN) 개념을 시계열 의존적 모델에서 시변 효과 모델로 확장했습니다.
• 새로운 평가 지표: 블랙박스 모델에서 주기적 변조를 탐지하고 정량화하기 위해 설계된 처프 트레인 기반 지표를 도입하여, 적대적 단계의 중단 기준으로 활용합니다.

결과
실험은 빈티지 하드웨어 페이저(Ensoniq DP/4)를 대상으로 두 가지 서로 다른 LFO 속도(느림: 1.3초 주기; 빠름: 0.3초 주기)의 데이터셋을 사용하여 수행되었습니다.

• 적대적 단계: 모델은 시변 출력을 생성하는 법을 성공적으로 학습했습니다. 모드 탐색 손실은 느린 LFO 데이터셋에서 수렴을 도왔으나, 빠른 LFO 데이터셋에서는 혼합된 결과를 보였습니다. 처프 트레인 지표는 주기적 변조를 가진 모델을 효과적으로 식별했습니다.
• 미세 조정 단계: SPN의 포함은 스펙트럼 정확도(MR-STFT 손실)를 크게 향상시켰습니다.
• 관찰된 한계점:
  • 모드 탐색: 적대적 단계에서는 느린 LFO에 도움이 되었으나, 미세 조정 단계의 최종 스펙트럼 손실에는 해로운 것으로 나타났습니다.
  • 위상 민감도: MR-STFT 손실은 위상 불일치에 매우 민감합니다. 아주 작은 LFO 위상 변화도 높은 에러 값을 발생시켜 객관적 평가를 어렵게 만듭니다.
  • 스트리밍: 처리 윈도우가 LFO 주기보다 짧은 스트리밍 추론(Streamed Target) 시, 모델이 특정 훈련 윈도우 내에서만 동기화되도록 학습되기 때문에 "변조 붕괴" 현상이 발생하는 경향이 있습니다.
  • 아티팩트: 일부 모델은 정적인 감쇄나 아티팩트를 보였는데, 이는 변조는 포착되었으나 스펙트럼 정확도 측면에서 추가적인 정교화가 필요함을 나타냅니다.

의의 및 주장
본 논문은 변조 신호 추출 없이도 시변 오디오 이펙트를 완전한 블랙박스 맥락에서 모델링할 수 있음을 입증한다고 주장합니다. 제안된 2단계 학습 전략을 통해 모델이 먼저 변조 분포의 존재와 형태를 학습한 다음, 이를 동기화할 수 있게 합니다.

저자들은 현재 연구의 상태에 대해 다음과 같이 겸허한 입장을 유지합니다:

• 변조 지표는 경험적이며, 인간의 지각과의 관계는 아직 확립되지 않았습니다.
• 현재 방법론은 "스냅샷" 데이터셋(단일 제어 설정)에 의존하며, 아직 동적인 사용자 제어 컨디셔닝을 지원하지 않습니다.
• 이 접근 방식은 모든 시변 이펙트에 적용 가능하도록 설계되었으나, LFO 기반 페이저에 대해서만 검증되었습니다.
• 재생 시 SPN에 대한 의존성을 제거하기 위한 상태 일반화(state generalization) 및 스트리밍 처리의 안정성 개선을 위한 향ene 연구가 필요합니다.

이 연구는 전통적인 회로 모델링이나 지도 학습이 위상 불일치로 인해 실패하는 복잡한 시변 하드웨어 동작을 에뮬레이션하는 경로를 제공함으로써 가상 아날로그(Virtual Analog) 모델링의 진전을 나타냅니다.