기술 요약: (거의) 지도 학습 없이 수행되는 음악 전사

문제 정의

자동 음악 전사 (AMT) 는 지도 학습을 통한 심층 학습으로 피아노에 대해 인간 수준의 성능을 달성해 왔으나, 이러한 모델들은 완벽하게 정렬된 오디오-악보 쌍의 대규모 데이터셋에 의존합니다. 이러한 데이터는 높은 수집 비용, 프레임 단위 정밀도가 요구되는 수동 정렬의 노동 집약적 특성, 그리고 저작권 제한으로 인해 대부분의 악기와 합주단에 있어 귀합니다. 반면, 지난 세기 동안 축적된 방대한 양의 비쌍화 오디오 녹음과 기호 악보가 존재하지만, 훈련에는 사용되지 않고 있습니다. 이 연구가 다루는 핵심 과제는 짝을 이룬 지도 학습이 제한적이거나 존재하지 않을 때, 이러한 무료로 이용 가능하지만 비쌍화된 데이터 저장소를 활용하여 고품질 전사 모델을 훈련시킬 수 있는지 여부입니다.

방법론

저자들은 사용 가능한 소량의 짝을 이룬 데이터를 "최소 앵커 (minimal anchor)"로 간주하여 대량의 비쌍화 데이터의 잠재력을Unlock 하는 사이클 일관성 변환 프레임워크를 제안합니다.

아키텍처 및 잠재 공간

• 모달리티 전환: 모델은 CQT(상수-Q 변환) 스펙트로그램 ($X_C$) 과 기호 악보 ($x_S$) 간에 매핑합니다. 연속적인 스펙트로그램에서 이산적인 이벤트 시퀀스로의 전환을 처리하기 위해, 저자들은 연속적인 잠재 공간 ($Z_S$) 을 도입합니다.
• 사전 훈련된 VAE: 기호 악보는 사전 훈련된 변분 오토인코더 (VAE) 를 사용하여 매끄럽고 미분 가능한 잠재 공간으로 인코딩됩니다. 인코더는 전사 훈련 동안 고정됩니다.
• 생성기: 두 개의 생성기가 훈련됩니다:
  1. $G$: CQT 스펙트로그램을 잠재 악보 공간으로 전사합니다 ($X_C \to Z_S$).
  2. $F$: 잠재 악보 공간에서 CQT 스펙트로그램을 합성합니다 ($Z_S \to X_C$).

손실 함수

훈련 목표는 안정성과 정확성을 보장하기 위해 여러 구성 요소를 결합합니다:

1. 사이클 일관성: 순방향 및 역방향 매핑을 조합하여 항등 함수를 근사하도록 강제합니다 ($F(G(x_C)) \approx x_C$ 및 $G(F(z_S)) \approx z_S$). 이는 모델의 붕괴를 방지하지만, 그 자체로는 충분하지 않습니다. 왜냐하면 전역적인 피치 이동이 적용된 전사와 같은 퇴화된 해를 허용하기 때문입니다.
2. 적대적 손실: 두 도메인에서 실제 샘플과 생성된 샘플을 구분하기 위해 판별자와 함께 최소 제곱 GAN(LSGAN) 손실을 사용합니다.
3. 사이클 인식 특징 매칭: 실제와 생성된 샘플을 비교하는 표준 특징 매칭과 달리 (교차 모달 변환에서는 이 둘이 달라야 하므로 문제가 될 수 있음), 이 손실은 동일한 도메인 내에서 실제 샘플과 사이클로 재구성된 대응물을 비교합니다.
4. 짝을 이룬 지도 학습 (앵커): 소량의 짝을 이룬 오디오-악보 데이터 하위 집합을 사용하여 직접적인 지도 손실 ($L_{sup}$) 을 계산합니다. 이는 사이클 일관성에 내재된 정렬 모호성을 해결하여 피치 이동 실패를 방지하고 매핑을 고정합니다.

훈련 전략

총 데이터 예산은 고정된 반면, 짝을 이룬 데이터와 비쌍화 데이터의 비율은 변합니다. 각 단계에서 모델은 비쌍화 풀 (사이클/적대적 손실용) 과 고정된 짝을 이룬 하위 집합 (지도 손실용) 에서 배치들을 샘플링합니다.

주요 기여 및 발견 사항

1. 고부가가치 자원으로서의 비쌍화 데이터

이 연구는 짝을 이룬 지도 학습이 부족한 저자원 환경에서 특히 비쌍화 데이터가 상당한 성능 향상을 가져온다는 것을 보여줍니다.

• 성능 확장: MAESTRO 데이터셋에서 1.6 시간의 짝을 이룬 데이터만 (1:100 비율) 으로 훈련했을 때 프레임 F1 점수는 66.93 입니다. 비쌍화 데이터를 추가하면 이 수치는 75.45 로 상승하여, 161 시간의 데이터로 훈련된 완전 지도 모델 (87.43 F1) 의 성능을 86.3% 회복합니다.
• 극단적 저자원: 1:1000 의 짝을 이룬 대 비쌍화 비율 환경에서 비쌍화 데이터를 추가하면 F1 점수가 47.24 에서 71.37 로 24.13 포인트 향상됩니다.

2. 순수 비지도 학습의 불안정성

비쌍화 데이터만으로는 훈련이 매우 불안정합니다. 일부 실행은 합리적인 해에 수렴하지만, 다른 실행들은 사이클 일관성 손실을 여전히 만족시키면서도 잘못된 피치로 음을 예측하는 피치 이동 상태로 붕괴합니다. 저자들은 1.6 시간의 짝을 이룬 지도 학습만으로도 이러한 실패 모드를 제거하고 일관된 수렴을 보장할 수 있음을 보여줍니다.

3. 모달리티 비대칭성

이 논문은 어떤 유형의 비쌍화 데이터 (오디오 대 악보) 가 더 가치 있는지 조사합니다.

• 오디오 우세: 일치하는 예산에서 비쌍화 오디오는 비쌍화 악보보다 학습에 더 강력하게 기여합니다. 이는 음향적 다양성이 사이클 일관성 신호의 주요 동인이며, 기호적 커버리지만으로는 덜 효과적임을 시사합니다.
• 안정성: "소수" 모달리티 (예: 오디오 중심 설정에서의 악보) 의 비율은 중요합니다. 소수 모달리티를 늘리면 훈련 붕괴와 과적합을 방지합니다.

4. 제로샷 도메인 적응

이 프레임워크는 짝을 이룬 타겟 도메인 레이블 없이 효과적인 도메인 적응을 가능하게 합니다.

• GuitarSet 결과: 최소한의 피아노 지도 학습과 함께 레이블이 없는 기타 오디오를 훈련 풀에 통합함으로써, 모델은 제로샷 기타 전사를 54.81 에서 64.81 프레임 F1 으로 향상시킵니다. 이는 도메인 밖 피아노 데이터만으로 훈련된 완전 지도 모델보다 우수한 성능입니다.
• 도메인 내 성능 저하 없음: 새로운 악기에서 레이블이 없는 데이터를 추가하면 새로운 악기의 전사가 향상되지만, 원래 악기 (피아노) 의 성능은 저하되지 않습니다.

5. 다중 악기 일반화

11 개 악기에 걸쳐 0.47 시간의 짝을 이룬 데이터만 있는 다중 악기 환경 (MusicNet-EM) 에서, 불일치하는 소스 (MusicNet-EM 의 악보, Gardner Museum 의 오디오) 의 비쌍화 데이터를 통합하면 단일 악기 및 다중 악기 전사 지표가 모두 크게 향상되어 분포 불일치에 대한 방법의 견고성을 입증합니다.

중요성 및 주장

이 논문은 오랫동안 존재해 온 비쌍화 오디오와 기호 악보의 풍부함이, 레이블이 지정된 데이터가 부족한 악기들을 위한 고품질 전사를 위한 실용적이고 대부분 미활용된 경로를 제공한다고 주장합니다.

• 최소 앵커: 저자들은 짝을 이룬 데이터의 "최소 앵커" (1.6 시간만으로도 충분함) 가 정렬 모호성을 해결하기에 충분하며, 훈련 예산의 대부분을 비쌍화 데이터에 할당할 수 있다고 주장합니다.
• 패러다임의 전환: 합성 레이블, 의사 레이블링, 또는 명시적인 악보 정렬에 의존하는 이전 방법들과 달리, 이 접근법은 주로 비쌍화 데이터에서 직접 교차 모달 변환을 학습합니다.
• 확장성: 결과는 비쌍화 데이터를 확장하는 것이 고품질 전사를 달성하기 위한 실현 가능한 전략이며, 값비싸고 수동으로 정렬된 데이터셋에 대한 의존성을 줄일 수 있음을 시사합니다.

이 연구는 대규모 짝을 이룬 데이터셋이 존재할 때 완전 지도 학습을 대체한다고 주장하는 것이 아니라, 그러한 데이터가 존재하지 않는 악기와 합주단의 "롱 테일"을 위한 해결책을 제공합니다.