🤖 machine learning

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor는 합성 데이터 사전 학습, 실제 데이터 미세 조정, 강화 학습, 그리고 악기 조건화를 결념하여 기존 방식의 일반화 한계를 극복함으로써 실제 녹음물에 대한 효과적인 다중 악기 음악 전사를 달성하는 오픈 웨이트 모델입니다.

원저자: Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

게시일 2026-07-10✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 혼란스러운 록 콘서트의 소리를 듣고, 어떤 음악가가 어떤 악기로 어떤 음을 얼마나 길게 연주했는지 정확하게 기록하도록 가르치는 것을 상상해 보십시오. 이것이 바로 **자동 음악 채보(Automatic Music Transcription, AMT)**가 하는 일입니다. 수년 동안 과학자들은 솔로 피아노나 단일 드럼 키트를 채보하는 데는 뛰어난 로봇들을 만들어 왔지만, 일렉트릭 기타, 디스토션이 걸린 베이스, 그리고 비명을 지르는 가수가 포함된 풀 밴드가 등장하면 로봇들은 대개 무너지고 맙니다. 로봇들은 소음, 중첩되는 소리, 그리고 현실 세계의 음악이 가진 무질서함에 혼란을 느낍니다.

여기, 클래식 오케스트라부터 헤비메탈에 이르기까지 거의 모든 장르에 걸쳐 이 "풀 밴드"의 혼돈을 성공적으로 다룰 수 있다고 주장하는 새로운 오픈 소스 모델, MuScriptor가 등장했습니다.

비결: 가짜 연습 vs 실제 공연

이 논문의 주요 발견은 이러한 음악 읽는 로봇을 훈련시키기 위한 구체적인 레시피입니다. 저자들은 로봇에게 실제 음악만을 입력한다고 해서 빠르게 학습할 수 있는 것이 아니며, 그렇다고 컴퓨터로 생성된 완벽한 음악만을 입력해서는 현실 세계에서 작동하게 할 수 없다는 것을 발견했습니다.

이것은 요리사를 훈련시키는 것과 같습니다.

합성 데이터 (시뮬레이션): 팀은 모델에게 145만 개의 컴퓨터 생성 MIDI 파일을 먼저 입력했습니다. 이것은 마치 요리사가 모든 재료가 정확히 측정되고 아무것도 타지 않는, 완벽하고 깨끗한 주방에서 연습하는 것과 같습니다. 논문은 이것이 "사전 훈련(pre-training)"—즉, 로봇에게 음악 이론의 기초를 가르쳐 큰 출발점을 제공하는 데—매우 훌륭하다고 제안합니다.
실제 데이터 (레스토랑): 하지만 논문은 시뮬레이션 단계에서 멈추는 것은 실패라고 명시적으로 주장합니다. 만약 시뮬레이션 데이터로만 훈련한다면, 로봇은 디스토션이 걸린 실제 기타 소리나 리버브가 걸린 가수의 목소리를 들었을 때 처참하게 실패할 것입니다. 이를 해결하기 위해 팀은 17만 개의 실제 음악 녹음(총 11,000시간 이상)을 혼합했습니다. 이것은 요리사가 예측 불가능하고 무질서한 재료를 다루는 법을 배우는 "실제 레스토랑"입니다.
결과: 두 가지를 결합하는 것이 마법의 열쇠라는 것을 논문은 보여줍니다. 가짜 데이터로만 훈련된 모델은 음을 인식하는 데는 괜찮았지만 세부 사항에서는 형편없었습니다. 그러나 실제 녹음본으로 미세 조정(fine-tuning)을 거치자, 성능이 전반적으로 약 20 퍼센트 포인트 상승했습니다.

"강화 학습"의 광택

가짜 데이터와 실제 데이터를 통해 로봇이 학습한 후, 저자들은 마지막으로 매우 엄격한 광택 작업을 거쳤습니다. 그들은 인간에 의해 완벽하게 주석이 달린 아주 작고 고품질인 300곡의 노래 세트를 가져왔습니다. 그들은 강화 학습(구체적으로 GRPO라고 불리는 방법) 기술을 사용하여 모델이 이 300곡의 트랙에서 연습하며, 자신의 출력을 완벽한 인간 버전과 비교함으로써 "실수를 통해 배우도록" 했습니다.

이것은 요리사가 자신의 요리를 맛보고 "아, 소금을 너무 많이 넣었구나"라고 깨달으며 조절하는 것과 같습니다. 논문은 이 단계가 단순히 숫자를 미세하게 조정한 것이 아니라, 모델이 놓치는 음(거짓 음성, false negatives)의 수를 줄이고 음의 타이밍을 더 날카롭게 만들었다고 제안합니다.

로봇이 할 수 있는 것과 할 수 없는 것

논문은 MuScriptor가 무엇을 할 수 있는지 매우 명확하게 밝히고 있습니다. 이 모델은 5초 길이의 오디오 클립을 듣고 음 목록을 내뱉을 수 있습니다. 심지어 "이 노래에 기타와 드럼이 있다는 건 알지만, 나머지는 무시해"라고 명령할 수도 있습니다. 이 "악기 조건화(instrument conditioning)" 기능은 로봇이 어떤 악기가 어떤 음을 연주하는지 혼동하지 않고 집중할 수 있도록 도와줍니다.

하지만 논문은 몇 가지 불가능한 점도 명시했습니다.

중첩된 음에는 마법이 통하지 않습니다: 만약 두 사람이 동일한 악기로 동일한 음을 동시에 연주한다면(예: 두 대의 바이올린이 유니즌으로 연주하는 경우), 현재 시스템은 정확하게 계산하기 위해 더 짧은 음을 버려야 합니다. 논문은 이를 완벽하게 처리하려면 다른 "토큰화(tokenization)"(음표를 기록하는 다른 방식)가 필요할 것이라고 인정합니다.
모든 데이터셋에 적용되는 "원 사이즈 핏 올"은 아닙니다: 기존의 최고 모델들(YourMT3+ 등)을 많은 테스트에서 능가하긴 했지만, 논문은 특정 데이터셋(예: 합창 음악)의 경우 음의 시작과 끝 타이밍을 잡는 것이 여전히 까다롭다고 언급했습니다. 저자들은 특정 스타일의 음악에 대해 정밀한 시작 및 종료 시간을 주석으로 다는 것 자체가 본질적으로 어렵다고 제안합니다.

숫자의 게임

논문은 단순히 "더 좋다"라고 말하는 대신 수치로 증명합니다.

다양한 곡들로 구성된 테스트 세트에서, 최종 모델(합성 데이터, 실제 데이터, 그리고 300곡의 광택 과정을 거친 모델)은 Multi F1 점수 47.8(αCFG = 2 설정 기준)을 달성했습니다.
이를 기존의 최고 모델인 YourMT3+와 비교하면, YourMT3+는 동일한 지표에서 21.9를 기록했습니다. 이는 엄청난 도약입니다.
심지어 가장 작은 규모의 모델(6,000만 개의 파라미터)조차 65의 프레임 F1 점수를 기록했는데, 이는 준수한 결과를 얻기 위해 반드시 슈퍼컴퓨터가 필요한 것은 아님을 시사합니다.

핵심 요약

논문은 MuScriptor가 실제의 무질서한 다중 악기 음악에서도 실제로 작동하는 오픈 웨이트 모델(누구나 다운로드하여 사용할 수 있음을 의미)이기 때문에 중요한 진전이라고 결론짓습니다. 이는 합성 데이터가 학습의 초기 단계에서는 강력한 도구가 될 수 있지만, 그것만으로는 충분하지 않다는 것을 시사합니다. 로봇에게 실제 콘서트의 혼돈을 다루는 법을 가르치려면 무질서하고 실제적인 데이터가 필요합니다.

저자들은 다양한 장르의 데이터셋을 통해 실험하고 이를 최신 베이스라인 모델들과 직접 비교함으로써 자신들의 결과에 확신을 가지고 있습니다. 그들은 음악 채보의 모든 문제(예: 동일 악기에서의 중첩된 음을 완벽하게 처리하는 것)를 해결했다고 주장하지는 않지만, 이전의 그 어떤 도구보다 음악가와 연구자들에게 훨씬 더 유용한 도구를 구축했습니다.

기술 요약: MuScriptor – 다중 악기 음악 전사를 위한 오픈 모델

1. 문제 정의

자동 음악 전사(Automatic Music Transcription, AMT)는 오디오 녹음물을 기호적 표현(일반적으로 MIDI)으로 변환하는 것을 목표로 한다. 피아노, 기타, 드럼과 같은 단일 악기 시나리오에서는 상당한 진전이 이루어졌으나, 다중 악기, 실제 환경의 음악 믹스를 위한 범용 전사는 여전히 중요한 병목 구간으로 남아 있다. MT3 및 그 파생 모델들과 같은 기존의 최첨단 모델들은 합성 학습 데이터에 크게 의존하는 경고가 있다. 이러한 모델들은 합성 테스트 세트에서는 우수한 성능을 보이지만, 다양한 음색, 중첩된 주파수, 오디오 효과(예: 디스토션)가 포함된 복잡한 실제 제작 환경에 적용될 때 심각한 도메인 시프트(domain shift) 문제를 겪는다. 결과적으로, 현재의 다중 악기 AMT 시스템은 음악학, 생성 모델링 또는 음악 정보 검색(MIR)과 같은 다운스트림 애플리케이션에 적용하기에는 오류가 너무 많다.

2. 방법론

2.1 모델 아키텍처

MuScriptor는 복잡한 인코더-디코더 또는 계층적 어텐션 구조를 피하고 단순하면서도 효과적인 설계를 채택한 디코더 전용 트랜스포머(decoder-only Transformer) 아키텍처를 사용한다.

입력: 모델은 5초 길이의 멜-스펙트로그램(2048 nFFT, 160 hop size, 512 mel bin을 사용한 STFT를 통해 16kHz 모노 오디오로부터 유도됨)과 선택적인 타겟 악기 목록을 수용한다.
컨디셔닝(Conditioning): 악기 존재 여부는 로컬 세그먼트 데이터가 아닌 글로벌 컨디셔닝 신호(전체 트랙의 악기 목록)로 제공된다. 이 악기 임베딩은 스펙트로그램 프로젝션과 결격되어 트랜스포머의 프리픽스 컨디셔닝(prefix conditioning) 역할을 수행한다.
토큰화: 노트 어노테이션은 MT3_FULL_PLUS 분류 체계에 따라 128개의 MIDI 악기를 36개의 서브그룹으로 매핑하는 방식으로 MT3와 유사하게 토큰화된다.
추론: 전사는 자기회귀적 디코딩(autoregressive decoding)을 통해 생성된다. 시스템은 생성 품질을 높이기 위해 $\alpha_{CFG} = 2$ 의 강도를 가진 **클래시파이어 프리 가이던스(Classifier-Free Guidance, CFG)**를 지원한다.

2.2 데이터 전략

학습 파이프라인은 합성 데이터와 실제 데이터를 결래한 3단계 접근 방식을 활용한다.

합성 사전 학습 ( $D_{Synth}$ ): 145만 개의 MIDI 파일 데이터셋을 온더플라이(on-the-fly) 방식으로 오디오로 변환한다. 파이프라인은 무작위 증강(피치 시프팅, 템포 변경, 벨로시티 조절, 악기 무작위화)을 적용하고, 250개 이상의 사운드폰트 풀을 사용하여 무작위 디튜닝(detuning)과 함께 오디오를 합성한다. 이를 통해 기호적 데이터로부터 무한한 종류의 오디오 실현을 만들어낸다.
실제 데이터 미세 조정 ( $D_{Real}$ ): 클래식부터 헤비메탈까지 다양한 장르를 아우르는 17만 개의 실제 음악 녹음(약 11,000시간)으로 구성된 큐레이션된 데이터셋에서 모델을 미세 조정한다. 이 트랙들은 오디오-기호 동기화(선형 보간 및 동적 시간 워핑 사용)를 통해 정렬된 노트 어노테이션을 포함한다.
강화 학습 사후 학습 ( $D_{RL}$ ): 300개의 고품질 수동 검증 트랙으로 구성된 작은 하위 집합이 사후 학습에 사용된다. 모델은 그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO) 알고리즘을 채택한다.
- 각 배치마다 모델은 $G=8$ 개의 독립적인 전사본을 생성한다.
- 보상은 정답(ground truth)에 대한 Onset, Frame, Offset F1 점수의 합으로 계산된다.
- 이점(advantages)은 그룹 내에서 보상을 정규화하여 계산되며, 모델은 이러한 이점에 의해 가중치가 부여된 REINFORCE 목적 함수를 통해 업데이트된다.

2.3 평가 지표

성능은 mir_eval 라이브러리의 표준 MIR 지표를 사용하여 측정된다:

Onset F1: $\pm 50$ ms의 온셋 허용 오차를 가진 피치 일치.
Offset F1: 온셋 기준에 $\max(50\text{ms}, 0.2 \times d_{ref})$ 의 오프셋 허용 오차를 포함함.
Frame F1: 62.5 ms 해상도의 프레임별 중첩.
Multi F1: 가장 엄격한 지표로, 정확한 피치, 타이밍, 및 악기 분류를 모두 요구한다.
참고: 토큰화 제한으로 인해 동일한 악기와 피치를 가진 중첩된 노트는 평가 전 테스트 세트에서 제거된다.

3. 주요 기여

MuScriptor 모델: 다양한 음악 장르를 처리할 수 있는 오픈 웨이트(open-weight) 범용 다중 악기 전사 모델(60M에서 1.3B 파라미터 크기까지 제공)의 출시.
대규모 데이터셋: 정렬된 어노테이션이 포함된 17만 개의 실제 녹음과 145만 개의 합성 MIDI 파일로 구성된 포괄적인 데이터셋 큐레이션. 이는 다중 악기 주석 데이터의 부족 문제를 해결한다.
합성 사전 학습 분석: 합성 데이터가 단독 범용 전사에는 불충분하지만, 특히 실제 데이터가 부족할 때 사전 학습에는 매우 효과적이라는 비교 연구를 제시함.
강화 학습 정렬: AMT 문헌에서 이전에 탐구되지 않았던 기술인 GRPO 유사 알고리즘을 적용하여 모델을 고품질 전사에 정렬함.
악기 조건부 전사: 선택적인 악기 컨디셔닝을 도입하여 사용자가 출력(예: 특정 악기 전사)을 커스터마이징할 수 있게 하고, 세그먼트 경계에서의 예측을 안정화함.

4. 실험 결과

4.1 학습 단계 및 성능

홀드아웃 테스트 세트( $D_{Test}$ )에서 1.3B 파라미터 모델을 실험한 결과, 성능의 명확한 진행 과정을 보여준다:

합성 데이터 전용: 경쟁력 있는 Frame F1(51.3)을 달성하지만, Multi F1(15.2)과 Onset F1(26.1)은 낮아 도메인 격차를 확인시켜 준다.
합성 + 실제 데이터 ( $D_{Synth} + D_{Real}$ ): 실제 데이터로 미세 조정을 하면 Multi F1이 41.7, Onset F1이 54.4로 크게 향상된다.
전체 파이프라인 ( $D_{Synth} + D_{Real} + D_{RL}$ ): RL 사후 학습의 추가로 성능이 더욱 향상되어, Multi F1 47.8 및 Onset F1 60.4 ( $\alpha_{CFG}=2$ 시)를 달성한다.

4.2 비교 분석

SOTA 대비: MuScriptor는 여러 외부 벤치마크 데이터셋(예: Bach10, Dagstuhl ChoirSet, RWC)에서 강력한 SOTA 모델인 YourMT3+를 능가한다. 예를 들어, Dagstuhl ChoirSet에서 Frame F1은 YourMT3+의 51.0에서 MuScriptor의 80.7로 향상되었다.
합성 사전 학습의 영향: 사전 학습은 실제 데이터가 제한적일 때 가장 유익하다는 것을 분석을 통해 보여준다(예: $D_{Real}$ 의 1%만 사용할 때, 사전 학습은 Offset F1을 9.9에서 33.4로 개선함). 그러나 실제 데이터의 양이 증가함에 따라 사전 학습의 상대적 이득은 감소하지만, 100% 데이터 사용 시에도 여전히 약간의 우위를 제공한다.
모델 스케일링: 성능은 모델 크기에 따라 확장된다. 60M 파라미터 모델은 Frame F1 65.7을 달성하는 반면, 1.3B 모델은 68.7에 도달하여 다양한 자원 제약 상황에서의 적용 가능성을 시사한다.
입력 표현: 멜-스펙트로그램이 Magnitude CQT, Encodec 코덱, MERT 임베딩과 같은 대안적 입력보다 우수한 성능을 보였으며, 이는 원신호 특성에 더 가까운 표현이 이 작업에 최적임을 시사한다.

5. 의의 및 주장

본 논문은 MuScriptor가 광범위한 장르에 걸쳐 효과적인 최초의 오픈 웨이트 다중 악기 음악 전사 모델이라고 주장한다.

저자들은 이전의 접근 방식들이 아키텍처적 개선(예: 계층적 어텐션, MoE)에 의존했던 반면, 본 모델의 성공은 주로 데이터 규모와 유형, 즉 대규모 합성 사전 학습, 광범-한 실제 데이터 미세 조정, 그리고 RL 기반 정렬의 전략적 조합에서 비롯되었다고 강조한다. 이 모델은 복잡한 믹스의 정확한 전사 도구 부재로 인해 어려움을 겪었던 과업들을 가능하게 함으로써, 음악가, 음악학자, 그리고 MIR 및 생성 모델링 분야의 연구자들을 위한 기초적인 도구로 제시된다. 저자들은 중첩된 동일 악기 노트의 토큰화와 관련된 한계가 여전히 존재함을 겸허히 언급하며, 향후 연구를 통해 악기 어휘와 세그먼트 크기를 확장할 수 있을 것이라고 제언한다.