🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

이 논문은 멀티트랙 MIDI 녹음과 정렬된 572개의 다양한 팝 음악 세그먼트로 구성된 데이터셋인 MulTTiPop을 소개하며, 이는 최신 자동 음악 채보 모델들의 상당한 성능 격차를 평가하고 입증하는 데 사용됩니다.

원저자: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 귀로 음악을 읽는 법을 가르치고 있다고 상상해 보세요. 당신은 드럼, 베이스, 기타, 보컬이 모두 섞인 풀 팝송을 듣고, 모든 악기가 연주하는 것을 정확하게 받아 적게 하고 싶습니다. 멋진 일이죠? 하지만 문제는 여기 있습니다. 지금까지는 로봇이 제대로 하고 있는지 확인할 수 있는 좋은 "정답지"가 없었다는 점입니다. 기존의 대부분의 정답지는 (너무 쉬운) 솔로 피아노 곡이거나, 컴퓨터가 만들어낸 (너무 완벽한) 것이거나, 혹은 (너무 단순한) 주요 멜로디와 코드만을 나열한 것이었습니다.

여기에 이 문제를 해결하기 위해 카네기 멜런 대학교 연구진이 만든 새로운 데이터셋인 MulTTiPop이 등장했습니다. MulTTiPop을 1930년대부터 2000년대까지의 실제 팝 히트곡들로 구성된 거대한 3.5시간짜리 플레이리스트라고 생각하세요. 이 플레이리스트에는 각 악기가 밀리초 단위로 무엇을 연주하고 있는지 알려주는 "마법의 악보"가 짝지어져 있습니다.

위대한 매칭 게임

그들은 이것을 어떻게 만들었을까요? 그것은 마치 고도의 집중력을 요하는 "짝 찾기" 게임과 같았습니다.

단서: 그들은 먼저 유튜브 팝송 영상들의 거대한 리스트(TheoryTab이라는 데이터베이스)와 디지털 악보의 거대한 라이브러리(Lakh MIDI 데이터셋)에서 시작했습니다.
첫 번째 필터: 그들은 노래 제목과 아티스트 이름을 매칭하기 위해 컴퓨터 마법을 사용했습니다. 이름이 거의 동일하다면 그 쌍을 유지했습니다. 이를 통해 약 1,164개의 잠재적 매치 후보를 추려냈습니다.
템포의 반전: 여기서 까다로운 문제가 발생합니다. 설령 같은 곡이라 할지라도, 디지털 악보의 "비트"는 실제 유튜브 영상보다 약간 빠르거나 느릴 수 있습니다. 이는 마치 두 사람이 같은 노래에 맞춰 춤을 추고 있지만, 한 사람이 약간 발을 끌며 걷는 것과 같습니다.
인간의 손길: 타이밍을 맞추기 위해 연구진은 영리한 기술을 사용했습니다. 그들은 특정 "앵커 비트"(음악이 확실히 일치하는 지점)를 찾아낸 다음, 디지털 악보를 늘리거나 줄여서 실제 영상의 리듬과 완벽하게 일치하도록 만들었습니다. 하지만 컴퓨터는 이 앵커 비트를 잡는 데 완벽하지 않습니다. 그래서 연구진은 인간 주석가(음악과 기술을 사랑하는 학생들)에게 영상을 듣고 디지털 악보를 나란히 보면서 올바른 정렬을 선택하도록 요청했습니다.

결과적으로, 그들은 572개의 음악 세그먼트를 성공적으로 정렬했습니다. 이는 374곡의 고유한 곡과 263명의 서로 다른 아티스트를 아우르는 약 3.5시간의 오디오 분량입니다.

현실 점검: 로봇은 아직 갈 길이 멉니다

연구진은 단순히 데이터셋을 구축하는 데 그치지 않고, 즉시 최고의 로봇 음악가들을 테스트에 투입했습니다. 그들은 두 개의 최상급 AI 모델(MT3 및 YourMT3+라 불리는)에게 이 MulTTiPop 클립을 듣고 음표를 적어보라고 요청했습니다.

결과는 어땠을까요? 로봇들은 고전했습니다.

가장 뛰어난 모델조차 음의 시작(Onset F1이라는 지표)을 약 38% 정도만 정확하게 맞혔습니다.
로봇들은 음악이 조밀해질 때 자주 혼란을 겪었습니다. 멜로디는 들을지 몰라도 베이스를 놓치거나, 한 악기에 집착하느라 나머지 악기를 무시하기도 했습니다.
한 모델은 보컬을 추측하려다 이를 색소폰으로 라벨링하기도 했습니다(웃기긴 하지만 틀린 결과입니다).

논문은 이 로봇들이 실패하는 이유가 주로 컴퓨터로 생성된 가짜 음악(Slakh2100 데이터셋 같은)으로 학습되었기 때문이라고 시사합니다. 이는 마치 요리사에게 완벽한 플라스틱 음식 모델만 보여주며 요리를 가르친 뒤, 진짜 지글거리는 스테이크를 건네주며 무엇을 해야 할지 알 거라고 기대하는 것과 같습니다.

이 데이터셋이 무엇인지 (그리고 무엇이 아닌지)

저자들은 게임의 규칙을 매우 명확히 하고 있습니다:

이것은 테스트용입니다: MulTTiPop은 음악 전사(transcription) AI를 위한 "기말고사"입니다. 이는 로봇이 어디에서 실패하고 있는지 우리에게 보여주어 우리가 수정할 수 있도록 설계되었습니다.
이것은 학습용이 아닙: 연구진은 이 데이터셋을 로봇을 가르치는 데 사용하는 것을 명시적으로 제외했습니다. 곡들이 저작권이 있는 상업적 히트곡이고 데이터셋이 상대적으로 작기 때문에, 이를 모델 학습에 사용하는 것은 불공정하고 법적으로도 모호할 수 있기 때문입니다.
편향성이 존재합니다: 논문은 선택된 곡들이 대부분 서구 팝 음악(미국 아티스트, 서구적 화성)이라는 점을 인정합니다. 이는 로봇이 MulTTiPop에서 잘 수행한다면 서구 팝에는 능숙하다는 것을 의미하지만, 다른 세계의 음악이나 다른 전통의 음악에서도 잘할 것이라고 확신할 수는 없음을 시사합니다.

결론

MulTTiPop은 복잡한 팝 음악에 대한 현실적인 "정답지"를 마침내 제공하는 필수적인 새로운 도구입니다. 이는 우리의 AI 음악 전사 기술이 단순한 작업에서는 나아지고 있지만, 실제 팝 밴드의 무질서하고 경이로운 혼돈을 진정으로 이해하기 전까지는 상당한 개선의 여지가 있음을 증명합니다. 현재 로봇들은 이 시험에서 "C-"를 받고 있으며, 연구진은 이 새로운 데이터셋을 통해 그들이 더 열심히 공부하여 다음번에는 "A"를 받을 수 있도록 돕기를 희망하고 있습니다.

기술 요약: MulTTiPop

문제 정의

자동 음악 전사(Automatic Music Transcription, AMT)는 솔로 피아노 전사를 넘어 더 넓은 악기와 스타일을 다루는 방향으로 발전해 왔습니다. 그러나 실제 상업용 팝 음악에 대한 멀티트랙 전사 측면에서는 여전히 상당한 격차가 존재합니다. 기존 모델들은 합성 데이터(예: Slakh2100)나 제한된 도메인(예: MAESTRO의 솔로 피아노)으로 학습되었기 때문에, 실제 상업적으로 제작된 곡들에 대해서는 제대로 작동하지 못하는 경우가 많습니다. 또한, 상업용 팝 오디오와 그라운드 트루스(Ground Truth)인 시간 정렬된 멀티트랙 MIDI를 쌍으로 제공하는 데이터셋이 부족하여 체계적인 평가가 저해되고 있습니다. TheoryTab과 같은 데이터셋은 상업용 오디오를 제공하지만, 멜로디와 코드에 대한 약한 정렬(weakly aligned)된 주석만을 제공할 뿐 전체 멀티트랙 MIDI는 제공하지 않습니다. 반대로, RWC-Pop과 같은 데이터셋은 멀티트랙 MIDI를 제공하지만 장르의 다양성이 부족하며, 실제 팝 음악이 아닌 연구용으로 특별히 작곡된 곡들을 사용합니다.

방법론

저자들은 상업용 팝 오디오의 세그먼트를 멀티트랙 MIDI 파일과 정렬하여 생성한 MulTTiPop 데이터셋을 소개합니다. 구축 과정은 네 가지 핵심 단계로 구성됩니다:

메타데이터 기반 매칭:
- 오디오 소스: 세그먼트는 사용자 생성 멜로디/코드 주석과 YouTube 비디오 타임스탬프를 포함하는 TheoryTab 데이터셋(초기 대상 25,947개)에서 가져옵니다.
- MIDI 소스: 멀티트랙 MIDI 파일은 Lakh MIDI Dataset (LMD), 그중에서도 Million Song Dataset과 매칭된 서브셋(31,305곡)에서 가져옵니다.
- 매칭: 저자들은 RapidFuzz를 사용하여 TheoryTab과 LMD의 아티스트 및 곡 제목 메타데이터 사이의 레벤슈타인 거리(Levenshtein distance)를 계산합니다. 이 필터링 과정을 통해 1,164개의 잠재적 매칭 결과가 도출되었습니다.
비트 기반 시간 정렬:
- MIDI 템포가 상업용 오디오와 약간 다를 수 있으므로 미세한 정렬이 필요합니다.
- 비트 트래킹: 저자들은 오디오 세그먼트(0.5초 패딩 포함)에 대해 RNN 기반 비트 트래킹(madmom 사용)을 수행하여 오디오 비트 그리드( $b_a$ )를 추출합니다. MIDI 비트 그리드( $b_m$ )는 파일의 내부 구조로부터 도출됩니다.
- 워핑(Warping): 템포 차이를 처리하기 위해 시스템은 MIDI 노트 타이밍에 선형 보간을 수행합니다. 시스템은 첫 번째 오디오 비트를 $k$ 번째 MIDI 비트에 연결하는 앵커 비트(anchor beat) $k$ 를 정의하여, 오디오의 타이밍에 맞게 MIDI를 워핑합니다.
후보 앵커 비트 선택:
- 자동 앵커 비트 선택은 신뢰할 수 없는 것으로 나타났습니다. 저자들은 다음 네 가지 지표를 사용하여 최대 4개의 후보 정렬을 생성합니다:
  - Base: 워핑된 MIDI와 오디오 사이의 크로마 코사인 유사도(Chroma cosine similarity) 및 온셋 상관관계(Pearson).
  - Melody: TheoryTab 멜로디 주석과 개별 MIDI 악기 파트 간의 크로마 코사인 유사도(가중치 75%).
  - YouTube Timing (yt): YouTube 비디오의 전체 MIDI 지속 시간 대비 절대 시작 시간을 기준으로 비트를 필터링.
  - Combined (yt_melody): YouTube 타이밍에 의해 필터링된 비트에 멜로디 지표를 적용.
인간 주석 작업:
- 컴퓨터 과학 및 음악 기술 전공 학생들로 구성된 인간 주석가들이 후보군을 검토합니다. 이들에게는 원본 오디오, 피아노 롤 시각화, 합성된 MIDI 버전, 그리고 오디오/MIDI 오버레이가 제공됩니다.
- 주석가는 오디오와 가장 잘 일치하는 정렬을 선택합니다. 만약 완벽한 후보가 없다면 해당 샘플은 탈락됩니다. 주석가들은 또한 잘못된 메타데이터 매칭(잘못된 곡)으로 인한 실패인지, 아니면 정렬 문제(잘못된 비트/템포)로 인한 실패인지를 구분합니다.

주요 기여

MulTTiPop 데이터셋: 시간 정렬된 멀티트랙 MIDI 전사와 쌍을 이루는 상업용 팝 음악 세그먼트 572개(3.5시간)의 컬렉션입니다.
다양성: 이 데이터셋은 1930년대부터 2000년대까지 101개 장르(예: Rock, New Wave, Motown)에 걸친 374개의 고유한 곡과 263개의 아티스트를 다룹니다. 이는 RWC-Pop의 장르 다양성을 크게 상회합니다.
상업용 오디오 그라운드 트루스: 합성 데이터셋과 달리, MulTTiPop은 완전히 제작된 상업적 녹음물에 대한 그라운드 트루스를 제공하여 AMT의 "합성-실제 간 격차(synthetic-to-real gap)" 문제를 해결합니다.

결과

저자들은 MulTTiPop 테스트 세트에서 두 가지 최첨단 AMT 모델인 MT3와 **YourMT3+**를 평가했습니다:

성능: 두 모델 모두 다른 벤치마크(예: MusicNet, GuitarSet)에서의 결과에 비해 저조한 성능을 보였습니다.
- **YourMT3+**는 가장 높은 Onset F1인 37.87%(Harmonic-Percussive) 및 25.29%(Exact)를 달성했습니다.
- MT3는 Onset F1 36.83%(Harmonic-Percussive) 및 28.42%(Exact)를 달성했습니다.
질적 분석:
- 모델들은 질감이 조밀한 음악에서 어려움을 겪었으며, 종종 일관된 멀티트랙 전사를 생성하는 데 실패했습니다.
- MT3는 노래의 한두 부분에만 집착하는 경향이 있어, 단절된 전사와 일관되지 않은 악기 레이블링 결과를 초래했습니다.
- **YourMT3+**는 더 나은 일관성을 보였으나, 악기 파트를 놓치거나 리듬적 뉘 Nuance가 부족했습니다. 또한 보컬 라인을 (종종 색소폰으로) 오인하는 모습을 보였는데, 이는 "Exact" 지표에 부정적인 영향을 미쳤습니다.
결론: 낮은 점수는 실제 멀리트랙 팝 음악에 적용될 때 현재의 AMT 시스템에 "상당한 개선의 여지"가 있음을 나타냅니다.

의의 및 주장

이 논문은 MulTTiPop을 상업용 팝 음악에 대한 AMT의 정체를 해결하기 위한 필수적인 벤치마크로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

격차 해소: 상업용 오디오와 전체 멀티트랙 MIDI를 쌍으로 제공하는 최초의 유사 데이터셋을 제공함으로써, 실제 사용을 목적으로 하는 모델들에 대한 엄격한 평가를 가능하게 합니다.
한계 노출: 합성 멀티트랙 데이터(Slakh2100)로 학습된 모델조차 실제 녹음물에는 일반화되지 못한다는 점을 입증하여, 더 나은 학습 데이터나 아키텍처의 필요성을 강조합니다.
대표성 있는 샘플링: 멀티트랙 AMT를 위한 다양한 서구 대중음악 사례를 제공합니다.

한계 및 주의사항:
저자들은 소스 자료(TheoryTab/HookTheory)가 주로 미국 및 서구 중심적이라는 점에서 데이터셋의 **서구 편향(Western bias)**을 명시적으로 언급했습니다. 따라서 MulTTiPop이 글로벌 음악보다는 "서구 대중음악의 정전(Western popular music canon)"에 대한 성능을 반영한다고 주장합니다. 또한, 데이터셋의 작은 규모와 레이블의 성격(저작권이 있는 상업용 오디오)으로 인해, 저자들은 생성 모델 학습에 MulTTiPop을 사용하는 것을 엄격히 금지합니다.