WaveNet-Style Guitar Amplifier Model Pruning for Real-Time iOS Deployment

기술 요약: 실시간 iOS 배포를 위한 WaveNet 스타일 기타 앰프 모델 프루닝(Pruning)

문제 정의
WaveNet 스타일의 합성곱 신경망은 진공관 앰프와 디스토션 페달을 모사하는 데 있어 높은 충실도를 입증했으나, 계산 집약적인 특성으로 인해 역사적으로 데스크톱 컴퓨터나 전용 DSP 하드웨어에 국한되어 왔다. LSTM 기반의 뉴럴 앰프 모델에는 반복적 크기 프루닝(Iterative magnitude pruning)이 성공적으로 적용되어 효율성을 개선해 왔으나, WaveNet 아키텍처에 대한 체계적인 프루닝 연구는 여전히 미개척 분야로 남아 있다. 또한, 특히 밀집형(Dense) 모델이 계산적으로 불가능한 수준인 아이폰과 같은 휴대용 소비자 기기, 특히 CPU 전용 구현 환경에서 실행 가능한 희소성 인식 추론 엔진(Sparsity-aware inference engine)의 부재 문제도 존재한다.

방법론
저자들은 모델 학습, 공격적인 반복적 프루닝, 그리고 iOS를 위한 커스텀 희소 추론 엔진으로 구성된 파이프라인을 제안한다.

• 아키텍처 및 학습: 시스템은 적층된 확장 합성곱 잔차 블록(Stacked dilated convolutional residual blocks)을 갖춘 인과적 피드포워드(Causal, feedforward) WaveNet 변형 모델을 활용한다. 이 네트워크는 가공되지 않은 기타 입력 파형을 왜곡된 출력으로 매핑한다. 원래의 아키텍처와 달리, 저자들은 계산 오버헤드를 줄이기 위해 게이트형 tanh 활성화 함수를 표준 tanh 비선형 함수로 교체하였다. 모델은 전처리된 신호(1차 IIR 하이패스 필터를 통한)에 대해 평균 제곱 오차(MSE)를 사용하여 1,500 에포크(Epoch) 동안 학습되었으나, 평가는 신호 대비 오차비(ESR)를 통해 이루어졌다.
• 프루닝 전략: 희소성을 달age하기 위해 저자들은 **반복적 로컬 크기 프루닝(Iterative local magnitude pruning)**을 채택하였다. 학습 후 가중치를 제거하는 "원샷(One-shot)" 프루닝과 달리, 이 방식은 프루닝 마스크를 희소성 스케줄에 따라 매 미니 배치(Mini-batch)마다 업데이트한다. 스케줄은 특정 에포크 사이에서 0%에서 목표치인 90%까지 희소성을 높여가며, 지수 스케줄(Exponential schedule)을 사용한다. 이러한 접근 방식은 네트워크가 학습 과정 중에 희소성에 적응할 수 있게 하여, 원샷 프루닝이 발생하는 모델 붕괴 현상을 방지한다.
• 희소 추론 엔진: 희소성을 활용하기 위해 iOS 전용으로 설계된 커스텀 C++ 엔진이 개발되었다. 밀집형 커널을 사용하는 일반적인 라이브러리(예: RTNeural)와 달리, 이 엔진은 압축되고 캐시 친화적인 레이아웃을 통해 비제로(Non-zero) 가중치만을 저장하고 반복 수행한다. 이러한 설계는 비정형 희소성(Unstructured sparsity)이 직접적인 연산 절감으로 이어지도록 보장한다. 엔진은 고정된 크기의 블록(기본 256 샘플, 48 kHz 기준) 단위로 오디오를 처리하며, 이는 GPU나 뉴럴 엔진 인터페이스와 관련된 디스patch 지연 시간을 피하기 위해 전적으로 CPU에서 수행된다.

주요 기여

1. WaveNet의 고희소성 프루닝: 본 논문은 WaveNet 스타일의 뉴럴 앰프가 단순한 원샷 프루닝 시 모델 붕괴를 일으키는 영역에서도, 인지 가능한 오디오 품질 저하 없이 90%의 희소성까지 프루닝될 수 있음을 입증하였다.
2. CPU 전용 실시간 iOS 배포: 저자들은 고도로 프루닝된 모델을 CPU 전용 구현을 통해 아이폰에서 성공적으로 배포하였다. 밀집형 모델은 이 하드웨어에서 실행이 불가능하지만, 90% 프루닝된 모델은 실시간 운용이 가능하다.
3. 커스텀 희소 엔진: 희소성의 계산적 이득을 실현하기 위해 밀집형 커널 라이브러리를 우회하는 특화된 C++ 추론 엔진을 개발하였다.

결과

• 오디오 품질: 90% 희소성 상태에서 모델은 네 가지의 뚜렷한 기타 디스토션 소스(Vox AC15, Fender Deluxe Reverb, Fender Tweed-style, Dunlop Fuzz Face)를 $3.4 \times 10^{-4}$ 미만의 ESR 값으로 재현하였다. 비공식 청취 테스트 결과 오디오 저하는 감지되지 않았다. 출력값은 int16 양자화 오차 범위 내에서 학습된 파이썬 참조 모델과 일치하였다.
• 성능: 256-샘플 블록 크기 기준, iPhone 16 Pro에서 90% 프루닝된 모델은 약 0.6의 실시간 계수(RTF)를 달성하였으며, 이는 실시간 임계값인 1.0보다 훨씬 낮다. 반면, 밀집형 모델은 실행이 불가능했다. 90% 희소성 지점은 실시간 작동을 위한 안전 마진을 제공하는 보수적인 운영 지점으로 식별되었다.
• 한계점: 결정론적(Deterministic) 모델로서, 시스템은 입력과 상관관계가 없는 노이즈와 험(Hum)을 재현할 수 없으며, 이는 Fuzz Face 에뮬레이션과 같은 고이득(High-gain) 시나리오에서 가장 두드러진다.

의의
본 논문은 헤비한 반복적 크기 프루닝이 희소성 인식 추론 엔진과 결합될 때, 계산 비용이 많이 드는 WaveNet 스타일의 뉴럴 기타 앰프를 CPU 전용 모바일 기기에서 실시간으로 실행할 수 있음을 확립한다. 이 연구는 고충실도 블랙박스 모델링과 휴대용 소비자 하드웨어 사이의 간극을 메우며, 추론 엔진이 결과적인 희소성을 활용하도록 최적화된다면 이러한 모델이 인지 가능한 품질 저하 없이 아이폰에서 구동될 수 있음을 보여준다.