BMdataset: A Musicologically Curated LilyPond Dataset

1. 연구 배경 및 문제 제기 (Problem)

• 기존 데이터의 한계: 심볼릭 음악 (Symbolic Music) 연구는 주로 MIDI 기반 데이터셋 (Lakh MIDI, PDMX 등) 에 의존해 왔습니다. 그러나 MIDI 는 악보의 표기적 정보 (악기 지시, 악절 구분, 다중 악장 구조 등) 를 대부분 손실합니다.
• LilyPond 의 미활용: LilyPond 는 가독성이 좋고 버전 관리가 가능한 텍스트 기반 악보 engraving 시스템이지만, 음악 이해 (Music Understanding) 를 위한 연구 자료로는 거의 사용되지 않았습니다.
• 기존 텍스트 데이터의 부재: MusicXML 은 일부 정보를 보존하지만, LilyPond 와 같은 구조화된 텍스트 형식에 대한 체계적인 메타데이터가 포함된 대규모 데이터셋은 존재하지 않았습니다. 또한, 기존에 존재하는 Mutopia 프로젝트는 커뮤니티 기반이라 메타데이터가 부족하고 노이즈가 많았습니다.
• 모델 적합성: LilyPond 는 프로그래밍 언어와 유사한 문법 (중첩 블록, 명령어, 매크로 등) 을 가지므로, 일반 텍스트 모델보다는 코드 기반 사전 학습 모델 (CodeBERT 등) 이 더 효과적일 것으로 예상되나 이를 검증한 연구는 부족했습니다.

2. 방법론 (Methodology)

가. BMdataset 구축 (데이터)

• 출처: BaroqueMusic.it 에서 제공된 383 개의 LilyPond 프로젝트 중, 음악학자들이 원본 악보 (Manuscripts) 를 직접 전사한 347 개의 컴파일 가능한 악보 (2,646 개 악장) 를 선정했습니다.
• 메타데이터: 작곡가, 음악 형식 (협주곡, 소나타 등), 악기 편성, 조성, 속도, 시대적 구분 (초기/중기/후기 바로크) 등 체계적인 메타데이터를 JSON 으로 구성했습니다.
• 검증: 파싱된 내용과 컴파일된 PostScript 출력물의 음표 수를 비교하여 95.7% 의 정확도를 확인했습니다.
• 규모: 약 90M 토큰 (확장된 토키나이저 기준) 으로, 작곡가 71 명, 16 가지 음악 형식, 25 가지 악기를 포함합니다.

나. LilyBERT 모델 및 토큰라이저

• 아키텍처: CodeBERT (RoBERTa 기반) 를 베이스로 사용했습니다.
• 토큰라이저 확장: 표준 BPE 토큰라이저는 LilyPond 의 의미 있는 명령어 (예: \relative, \clef) 를 잘게 쪼개는 문제가 있었습니다. 이를 해결하기 위해 CodeBERT 어휘 (50,265 개) 에 115 개의 LilyPond 특화 토큰을 추가하여 총 50,380 개의 어휘를 구성했습니다.
  • 추가된 토큰: 음악 명령어, 다이나믹, 구조 블록, 장식음, 조성 모드, 속성 오버라이드 등.
• 사전 학습 (Pre-training) 전략:
  1. 1 단계 (광범위 학습): MusicXML 을 LilyPond 로 변환한 대규모 PDMX 코퍼스 (약 150 억 토큰) 에서 1 에포크 연속 사전 학습 (Continuous Pre-training).
  2. 2 단계 (도메인 특화 미세 조정): BMdataset (약 90M 토큰) 에서 10 에포크 미세 조정 (Fine-tuning).
  • 학습 목적: Masked Language Modeling (MLM) 만 사용 (RTD 는 생략).

3. 주요 기여 (Key Contributions)

1. BMdataset: 원본 악보에서 전사된 최초의 음악학적으로 큐레이션된 LilyPond 데이터셋 (347 개 악보, 2,646 개 악장) 과 체계적인 메타데이터를 공개했습니다.
2. LilyPond 토큰라이저: 음악적 의미를 보존하기 위해 115 개의 도메인 특화 토큰을 추가한 확장된 토큰라이저를 개발했습니다.
3. LilyBERT: 코드 기반 모델을 심볼릭 음악에 적응시킨 CodeBERT 기반 인코더를 제안했습니다.
4. 체계적 평가: Mutopia 코퍼스 (도메인 외 데이터) 를 사용하여 사전 학습 데이터 소스, 코퍼스 크기, 도메인 특화 미세 조정의 영향을 비교 분석했습니다.

4. 실험 결과 (Results)

Mutopia 코퍼스 (작곡가 분류 30 클래스, 스타일 분류 10 클래스) 에서 선형 프로빙 (Linear Probing) 실험을 수행했습니다.

• 데이터의 질 vs 양:
  • **BMdataset 만으로 미세 조정 (약 90M 토큰)**한 모델이, 전체 PDMX 코퍼스 (약 150 억 토큰) 로만 사전 학습한 모델보다 작곡가 분류 (82.9% vs 80.8%) 와 스타일 분류 (83.7% vs 82.6%) 모두에서 더 높은 성능을 보였습니다.
  • 이는 작은 규모의 전문가 큐레이션 데이터가 대규모의 노이즈가 많은 자동 변환 데이터보다 음악 이해에 더 효과적임을 시사합니다.
• 하이브리드 접근법의 우위:
  • **PDMX(광범위) → BMdataset(도메인 특화)**의 2 단계 학습 전략이 가장 좋은 결과를 기록했습니다.
  • 작곡가 분류 정확도: 84.3% (가장 우수).
  • 이는 광범위한 사전 학습이 일반적인 LilyPond 문법 이해를 돕고, 도메인 특화 미세 조정이 세부적인 스타일적 특징을 포착하는 데 상호 보완적임을 입증했습니다.
• 임베딩 구조:
  • t-SNE 시각화 결과, 스타일 (바로크, 고전, 낭만) 과 작곡가별로 명확한 클러스터가 형성되었습니다.
  • 오분류는 주로 스타일적으로 유사한 작곡가들 (예: 하이든 vs 모차르트) 사이에서 발생하여 모델이 실제 음악적 유사성을 학습했음을 보여줍니다.
  • 레이어 분석: 작곡가 식별은 중간 레이어 (69 층) 에서, 스타일 식별은 초기중간 레이어 (3~6 층) 에서 가장 잘 수행되었습니다.

5. 의의 및 결론 (Significance)

• 데이터 패러다임 전환: 심볼릭 음악 연구에서 MIDI 중심의 접근을 넘어, 텍스트 기반 악보 (LilyPond) 와 전문가 큐레이션 데이터의 중요성을 입증했습니다.
• 효율성 증명: 대규모 데이터가 항상 최선은 아니며, 도메인 특화되고 정제된 소규모 데이터가 특정 음악적 태스크에서 더 효과적일 수 있음을 보여줍니다.
• 코드 모델의 확장: 프로그래밍 언어로 학습된 모델 (CodeBERT) 이 음악 악보라는 구조화된 텍스트에도 효과적으로 적용될 수 있음을 입증했습니다.
• 향후 활용: 공개된 데이터셋, 토큰라이저, 모델 (LilyBERT) 은 LilyPond 기반의 표현 학습 (Representation Learning) 을 위한 기준선 (Baseline) 으로 활용될 수 있으며, 악보 자동 완성, 스타일 인식, 생성 모델 등 다양한 응용 분야에 기여할 것으로 기대됩니다.

한 줄 요약:
음악학자들이 원본 악보에서 전사한 고품질 LilyPond 데이터셋 (BMdataset) 과 이를 기반으로 한 코드 기반 모델 (LilyBERT) 을 통해, 작은 규모의 전문가 큐레이션 데이터가 대규모 자동 변환 데이터보다 심볼릭 음악 이해에 더 효과적임을 입증하고, 광범위 학습과 도메인 특화 미세 조정의 결합이 최적의 성능을 낸다는 것을 규명했습니다.