Velocity Prediction in Automatic Guitar Transcription

기술 요약: 자동 기타 전사를 위한 벨로시티 예측

문제 정의
자동 음악 전사(Automatic Music Transcription, AMT)는 다양한 악기, 특히 기타를 포함한 다성적 피치 전사 분야에서 상당한 성공을 거두었습니다. 그러나 벨로시티(강도/역동성) 예측은 자동 기타 전사(Automatic Guitar Transcription, AGT)에서 여전히 미개척 영역으로 남아 있습니다. 피아노의 경우, 물리적으로 정밀하게 측정되는 값(예: Disklavier를 통한 측정)이 존재하는 것과 달리, 기타의 벨로시티는 음량 및 음색과 관련된 추상적인 개념이며, 기존 데이터셋에는 표준화된 정의나 정답(ground-truth) 레이블이 존재하지 않습니다. 결과적으로 대부분의 AGT 모델은 벨로시티를 무시하고 피치, 온셋(onset), 오프셋(offset)에만 집중합니다. 주요 과제는 정확한 벨로시티 주석이 포함된 실제 기타 데이터셋의 부재이며, 이는 이 작업을 위한 딥러닝 모델의 학습과 평가를 저해합니다.

방법론
저자들은 실제 벨로시티 레이블의 부족을 극복하기 위해 합성 데이터를 활용하는 2단계 학습 방법론을 제안합니다.

1. 합성 데이터 생성:

   • 저자들은 정렬된 실제 기타 오디오와 MIDI 주석을 포함하는 FrançoisLeduc 데이터셋을 활용했습니다.
   • 각 노트의 벨로시티 값을 추정하기 위해 오디오 세그먼트를 분리하고, 기본 주파수 및 배음에 중심을 둔 밴드패스 필터를 적용한 뒤, 지수적으로 감소하는 가중치를 적용하여 총 에너지를 계산했습니다.
   • 이러한 추정값들을 MIDI 범위(0–127)로 정규화하여 MIDI 주석에 적용했습니다.
   • 합성 오디오는 세 가지 기타 가상 악기(Native Instruments Session Guitarist 및 Straight Ahead Samples)의 다섯 가지 서로 다른 음색을 사용하여 렌더링되었으며, 이를 통해 "진정한" 벨로시티가 가상 악기의 내부 벨로시티-음색 매핑에 의해 정의되는 약 20시간의 학습 데이터를 생성했습니다.

2. 모델 아키텍처 및 학습 전략:

   • 베이스 모델은 고해상도 피아노 전사 모델(Kong et al.)에서 변형된 합성 신경망(CRNN)으로, 10초 길이의 로그 멜-스펙트로그램 입력을 통해 온셋, 오프셋, 프레임 활성화 및 벨로시티를 예측하도록 설계되었습니다.
   • 1단계 (사전 학습): 모델은 온셋, 오프셋, 프레임, 벨로시티 항을 포함하는 손실 함수($L_A$)를 사용하여 합성 데이터셋에서 학습됩니다. 목표는 가상 악기에 의해 정의된 특정 벨로시티 곡선을 학습하는 것입니다.
   • 2단계 (미세 조정): 1단계 모델의 벨로시티 서브모듈에서 가중치를 전이, 로드 및 **동결(frozen)**합니다. 그 후, 벨로시티 항을 제외한 수정된 손실 함수($L_B$)를 사용하여 실제 기타 데이터셋(GAPS 및 GOAT)에서 미세 조정을 수행합니다. 이는 모델이 (일반적으로 일정한 벨로시티 레이블을 갖는) 실제 데이터로부터 잘못된 벨로시티 패턴을 학습하는 것을 방지하면서도, 학습된 벨로시티 예측 능력을 유지하도록 합니다.
   • 데이터 증강(피크 필터링, 리버브, 임펄스 응답)이 학습 과정에 적용되었습니다.

주요 기여

• 최초의 AGT 벨로시티 모델: 저자들이 아는 바로는, 기타 전사에 벨로시티 예측을 포함시킨 최초의 연구입니다.
• 합성-실제 전이(Synthetic-to-Real Transfer): 정의된 벨로시티 곡선을 가진 합성 데이터로 사전 학습을 수행한 후, 실제 오디오로 학습된 모델로 해당 가중치를 전이하는 새로운 방법론을 제시했습니다.
• 평가 프레임워크: 실제 데이터의 정답 레이블이 없는 상황을 고려하여, 일반화 성능을 평가하기 위해 합성 테스트 분할(곡 기반 및 음색 기반)을 사용하는 기타 벨로시티 평가 프로토콜을 구축했습니다.

결과

• 벨로시티 예측: 합성 FrançoisLeduc 데이터셋에서 제안된 모델은 베이스라인(사전 학습된 벨로시티 가중치가 없는 모델)보다 유의미하게 높은 성능을 보였습니다.
  • 곡 분할(Song Split): 평균 절대 오차(MAE)가 32.39(베이스라인)에서 7.04로 감소했습니다.
  • 음색 분할(Timbre Split): MAE가 33.59에서 11.53으로 감소했습니다.
  • 모델은 보지 못한 곡(unseen songs)에 대해 일반화하는 능력을 보여주었으며, 학습 시와 테스트 시의 가상 악기 간 벨로시티 정의가 다를 경우 성능이 다소 저하되기는 했으나 보지 못한 음색(unseen timbres)에 대해서도 어느 정도 일반화 능력을 입증했습니다.
• 노트 전사 (온셋/오프셋): 사전 학습된 벨로시티 가중치의 통합은 실제 데이터셋(GuitarSet 및 EGDB)에서 노트 전사 지표(정밀도, 재현율, F1)의 미미한 향상을 가져왔습니다.
  • 개선 폭은 모든 지표에서 약 0.1%였습니다.
  • 통계적 유의성(쌍체 t-검정)은 GuitarSet 지표에서는 발견되었으나, EGDB에서는 일관되지 않았습니다(정밀도는 유의미했으나 재현율이나 F1은 그렇지 않음).
  • 저자들은 이러한 개선의 크기가 작으며 항상 유의미한 것은 아니라는 점을 언급했습니다.

의의 및 주장
본 논문은 제안된 모델이 기타 전사의 최첨단 기술(SOTA)과 대등한 결과를 달una면서도 벨로시티 예측 기능을 성공적으로 추가했다고 주장합니다. 저자들은 본 연구의 주요 가치가 정답 레이블이 없는 상황에서 벨로시티를 예측하는 방법론을 성공적으로 입증했다는 점에 있다고 강조합니다.

저자들은 노트 전사에 미치는 영향에 대해 겸허한 태도를 유지하며, 벨로시티 예측만으로 성능 향상을 이루기 위해서는 아키텍처 변경이나 데이터 증강이 더 나은 방법일 수 있음을 인정했습니다. 결론적으로, 현재의 접근 방식은 합성된 벨로시티 정의에 의존하고 있지만, 향ate 연구가 실제 기타 연주에서의 벨로시티 정의 및 측정이라는 근본적인 한계를 해결한다면, 음악 정보 검색(MIR) 분야에서 표현력 있는 분석 및 교육 도구를 위한 새로운 가능성을 열어줄 것이라고 밝혔습니다.