VioPTT: Violin Technique-Aware Transcription from Synthetic Data Augmentation

기술 요약: VIOPTT – 합성 데이터 증강을 통한 바이올린 연주 기법 인식 전사

문제 정의
자동 음악 전사(AMT)는 피아노나 기타와 같은 악기에 대해서는 크게 발전했으나, 대부분의 기존 모델은 음고(pitch)와 타이밍(timing)을 전사하는 데에 국한되어 있습니다. 이 모델들은 표현적이고 악기 특유의 뉘앙스, 특히 연주 기법을 간과하는 경향이 있습니다. 바이올린의 경우, 피치카토(pizzicato), 스피카토(spiccato), *플라졸레(flageolet)*와 같은 기법들은 그 음색적 팔레트와 감정적 표현력에 있어 필수적인 요소입니다. 그러나 이러한 속성들을 주석 처리(annotation)하는 작업은 비용이 많이 들고 전문가의 지식을 필요로 하며, 이는 레이블이 지정된 단일 음표를 넘어 대규모 데이터셋 구축을 저해해 왔습니다. 결과적으로 현재의 바이올린 전사 시스템은 음고 정확도에 집중할 뿐, 아티큘레이션(articulation)과 연주 기법은 거의 탐구되지 않은 상태로 남아 있습니다.

방법론
저자들은 음고, 온셋(onset), 오프셋(offset), 그리고 연주 기법을 공동으로 예측하도록 설계된 경량 캐스케이드 모델인 VioPTT(Violin Playing Technique-aware Transcription)를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어집니다:

1. 전사 모듈(Transcription Module): Kong 등의 고해 resolution 피아노 모델을 변형한 이 모듈은 프레임 단위로 작동합니다. 이 모듈은 4개의 컨볼루션 블록과 2개의 양방향 GRU 레이어로 구성된 합성 순환 신경망(CRNN)을 활용합니다. 이는 회귀 타겟으로서 온셋, 오프셋, 벨로시티(velocity)를 예측하며, 노트 활성화(note activation)는 이진 타겟으로 예측합니다.
2. 아티큘레이션 모듈(Articulation Module): 이 모듈은 음향 특징과 전사 특징을 통합하여 노트 단위의 기법 분류를 수행합니다. 이 모듈은 입력 로그 멜-스펙트로그램(log mel-spectrogram)을 컨볼루션 블록을 통해 처리하여 128차원의 음향 임베딩을 생성합니다. 이와 병렬로, 전사 모듈의 특징들(온셋, 오프셋, 프레임, 벨로시티)을 두 번째 128차원 임베딩으로 투영합니다. 이들은 결합(concatenation)되어 융합 레이어를 통과하며, 5개 클래스(4가지 특정 기법 및 '기법 없음' 클래스)에 대한 로짓(logits)을 생성합니다.

데이터 전략 및 증강
수동으로 레이블링된 기법 데이터의 부족을 해결하기 위해, 저자들은 독창적이고 고품질인 합성 데이터셋인 MOSA-VPT를 도입합니다.

• 합성 파이프라인: DAWDreamer 프레임워크와 Synchron Solo Violin I VST 악기를 사용하여, 저자들은 76시간의 오디오-MIDI 쌍을 합성합니다. 이 파이프라인은 키 스위치(key switches)와 연속 컨트롤러(CC)를 자동으로 제어하여 데타셰(détaché), 플라졸레(flageolet), 스피카토(spiccato), *피치카토(pizzicato)*의 연주를 렌더링합니다.
• 증강: 강건성을 높이기 위해, 훈련 데이터는 피치 시프팅(±0.1 세미톤), 게인 부스팅(gain boosting), 무작위 밴드 패스 필터링, 그리고 리버브(reverberation) 과정을 거칩니다.
• 훈련 데이터: 모델은 음고/타이밍을 위해서는 MOSA 데이터셋(실제 솔로 연주)을 사용하고, 기법 분류를 위해서는 MOSA-VPT(합성 데이터)를 사용하여 훈련됩니다.

핵심 기여

1. 통합 프레임워크: VioPTT는 바이올린 전사와 연주 기법 예측을 단일 프레임워크 내에서 결합한 최초의 모델입니다.
2. 합성 데이터셋 (MOSA-VPT): 전문가의 수동 레이블링 없이도 기법에 정렬된 데이터로 학습할 수 있게 해주는, 대규모의 주석이 없는(annotation-free) 합성 데이터셋을 공개했습니다.
3. 일반화: 주로 합성 데이터로 훈련된 모델이 실제 바이올린 녹음의 기법 분류에 성공적으로 일반화될 수 있음을 입증했습니다.

실험 결과
모델은 음고/타이밍 전사(URMP 및 Bach10 데이터셋)와 기법 분류(RWC 데이터셋)에 대해 평가되었습니다.

• 음고 및 타이밍: URMP 데이터셋에서 VioPTT는 SOTA 수준의 Recall(83.6)과 F1-no-offset(93.1)을 달ien했으며, 이는 기존 SOTA 바이올린 모델인 MUSC의 Precision 및 노트 레벨 F1 성능과 일치합니다. Bach10 데이터셋에서는 피아노 사전 훈련과 미세 조정을 거친 모델이 모든 지표에서 최상의 성능을 보였습니다. 저자들은 충분한 도메인 특화 데이터가 있는 경우, 피아노로부터의 전이 학습(transfer learning)이 제한적인 이득만을 제공했다고 언급했는데, 이는 음색 차이 때문인 것으로 보입니다.
• 기법 분류: RWC 데이터셋에서 전체 모델은 **77.22%**의 매크로 정확도(macro accuracy)를 달성했습니다.
  • 절제 연구(Ablation Studies): 특정 특징을 제거했을 때 성능이 저하되었습니다. 오프셋 정보를 제외했을 때 가장 큰 하락(59.71%로 감소)이 발생했습니다. 벨로시티는 피치카토의 결정적인 특징임이 밝혀졌으며(벨로시티가 없을 시 정확도가 거의 0에 가깝게 하락), 타이밍 큐(cue)는 스피카토에 매우 중요했습니다.
  • 비교: VioPTT는 매크로 정확도 측면에서 MERTech(SOTA 멀티 레이블 기법 모델)를 능가했으나, 플라졸레에 대해서는 MERTech가 더 높은 정확도를 기록했습니다.
  • 특징 의존성: 연구 결과, 기법들은 전사 특징에 대해 서로 다른 의존성을 가짐이 드러났습니다. 데타셰와 스피카토는 프레임 및 온셋 큐에 크게 의존하는 반면, 플라졸레 분류는 배음(harmonic) 특징에 의해 주도되었습니다.

의의 및 주장
본 논문은 VioPTT가 단순한 노트 전사를 넘어 음악적 표현의 깊이를 포착함으로써, 바이올린 연주의 더 풍부하고 표현력 있는 표현을 제공한다고 주장합니다. 핵심적인 발견은 합성 데이터를 실제 오디오의 기법 주석을 위한 대리물(proxy)로 사용하여 모델을 훈련하는 것이 가능하다는 점입니다. 저자들은 이 접근 방식이 비용이 많이 드는 전문가 주석의 병목 현상을 제거하여, 악기별 뉘앙스를 위한 대규모 데이터셋 개발을 가능하게 한다고 단언합니다. 향후 연구로는 이 합성 프레임을 더 넓은 범위의 기법과 다른 현악기로 확장하는 것이 제안되었습니다.