기술 요약: PianoCoRe: 통합 및 정제된 피아노 MIDI 데이터셋

1. 문제 제기

매칭된 악보와 연주가 포함된 기호 음악 데이터셋은 음악 정보 검색 (MIR) 작업, 특히 표현력 있는 연주 렌더링 모델링에 필수적입니다. 그러나 기존 자원들은 다음과 같은 중대한 한계를 겪고 있습니다:

• 분산화: 고정밀 녹음 데이터셋 (예: MAESTRO, ASAP) 은 정밀도를 제공하지만 규모와 스타일적 다양성이 부족합니다. 반면, 대규모 전사 데이터셋 (예: GiantMIDI-Piano, Aria-MIDI) 은 규모를 제공하지만 종종 전사 오류를 포함하고, 정확한 음표 수준의 정렬이 부족하며, 일관성 없는 메타데이터로 고통받습니다.
• 비호환성: 호환되지 않는 명명 체계와 메타데이터 표준은 정보 유출의 위험 없이 데이터셋을 통합하는 것을 어렵게 만듭니다.
• 품질 문제: 전사된 MIDI 파일에는 손상된 데이터, 표현력이 없는 악보형 전사, 중복 파일, 그리고 시간적 노이즈 (예: 온셋 지터, 무한 피치 아티팩트) 가 종종 포함되어 있습니다.
• 법적 제약: 많은 기존 데이터셋은 저작권이 있는 자료를 포함하고 있어 장기적인 학술적 활용을 제한합니다.

전사 데이터의 규모와 녹음된 연주의 정밀도를 결합하고, 법적으로 지속 가능하며 악보와 정렬된 통합된 대규모 자원에 대한 중요한 격차가 존재합니다.

2. 방법론

본 논문은 다단계 큐레이션 및 정제 파이프라인을 통해 구축된 PianoCoRe 데이터셋을 제시합니다.

2.1 데이터 수집 및 매칭

이 데이터셋은 ASAP, ATEPP, GiantMIDI-Piano, PERiScoPe, Aria-MIDI라는 다섯 가지 주요 오픈 소스 소스를 통합합니다.

• 법적 필터링: 법적 지속 가능성을 보장하기 위해 유럽 연합 내 퍼블릭 도메인에 속한 작품으로 콘텐츠를 제한합니다.
• 악보 처리: partitura 라이브러리를 사용하여 MusicXML 파일을 MIDI 로 변환합니다. 여기에는 장식음 (트릴, mordents) 을 풀고, 장식음을 확장하며, 반복부를 처리 (최대 및 최소 버전 생성) 하는 작업이 포함됩니다.
• 매칭 전략: 3 단계 파이프라인을 통해 연주를 악보에 매칭합니다:
  1. 후보 선정: 작곡가 이름, 음표 수 비율 ($0.75 \le R_n \le 1.33$), 그리고 카탈로그 키워드를 기반으로 필터링합니다.
  2. 음표 정렬: Numba 최적화 동적 시간 왜곡 (DTW) 을 사용하는 DualDTWNoteMatcher(Parangonar 에서 제공) 를 통해 음표 수준의 정렬을 계산합니다.
  3. 검증: 정렬 재현율 ($R_a$) 이 0.7 을 초과하는 경우 쌍을 수용합니다.

2.2 품질 평가 및 중복 제거

PianoCoRe-B 하위 집합을 생성하기 위해 저자들은 중복 및 품질 문제를 해결합니다:

• 중복 제거: 콘텐츠 기반 휴리스틱을 사용하여 50ms 이내에서 $\ge 50\%$ 유사한 음표 온셋을 가진 연주를 클러스터링합니다. 소스 우선순위에 따라 하나의 "리드" 파일을 유지합니다.
• MIDI 품질 분류기: Aria-MIDI 에서 사전 훈련된 12 레이어 트랜스포머 인코더를 훈련시켜 MIDI 파일을 네 가지 범주로 분류합니다: 악보(무표정), 고품질 (HQ), 저품질 (LQ), 손상됨.
  • 훈련 데이터: 라벨은 정렬 비율 ($R'_a$) 에 기반한 소프트 휴리스틱을 통해 생성됩니다. 합성 손상 (음표 제거, 지터) 을 사용하여 데이터셋의 균형을 맞춥니다.
  • 성능: 분류기는 매크로 F1 점수 89.1% 를 달성하여 악보형 전사와 표현력 있는 연주를 효과적으로 구분합니다.

2.3 정렬 정제 (RAScoP)

PianoCoRe-A/A* 하위 집합을 생성하기 위해 저자들은 원시 정렬을 정제하는 파이프라인인 RAScoP(악보 및 연주를 위한 정제된 정렬) 를 도입합니다:

1. 정렬 구멍 처리: 슬라이딩 윈도우 방식을 사용하여 수행되지 않은 반복부 등 희소하거나 비합리적인 정렬의 큰 영역을 제거합니다.
2. 온셋 정제: 온셋 내부 편차 (화음 타이밍) 를 필터링하고 비현실적인 템포 (15–480 BPM) 를 암시하는 온셋 간격을 수정합니다. 로컬 템포 추정치에 맞춰 전역 타이밍을 조정합니다.
3. 음표 보간: 인접한 수행된 음표를 기반으로 삭제된 누락 음표를 선형 보간하며, 지속 시간과 벨로시티를 평균화합니다. 보간된 음표는 MIDI 텍스트 마커로 표시됩니다.
4. 동기화: 연주의 박자 구조를 악보에 정렬합니다 (원래 타이밍을 보존하기 위해 최종 릴리스에서 선택 사항입니다).

3. 주요 기여

1. PianoCoRe 데이터셋: 483 명의 작곡가가 작곡한 5,625 개의 작품에 대한 250,046 개의 연주를 통합한 컬렉션으로, 총 21,763 시간에 달합니다. 계층적 하위 집합으로 릴리스됩니다:
   • PianoCoRe-C: 완전한 혼합 소스 컬렉션.
   • PianoCoRe-B: 대규모 사전 훈련을 위한 중복 제거 및 품질 평가가 완료된 하위 집합 (214,092 개 연주).
   • PianoCoRe-A: 정제된 정렬을 가진 음표 정렬 하위 집합 (157,207 개 연주).
   • PianoCoRe-A:* $\ge 85\%$ 정렬 재현율을 가진 고신뢰 하위 집합 (130,275 개 연주).
2. MIDI 품질 분류기: ground-truth 오디오나 악보 없이 손상된 및 악보형 전사를 감지하는 훈련된 모델.
3. RAScoP 파이프라인: 음표 정렬 정제, 시간적 이상치 정제, 누락된 음표 보간을 위한 오픈 소스 알고리즘.
4. 법적 지속 가능성: EU 퍼블릭 도메인 규정을 준수하도록 큐레이션되어 장기적인 접근성을 보장합니다.

4. 결과 및 평가

본 논문은 PianoFlow 모델 (조건부 흐름 매칭) 을 사용한 표현력 있는 연주 렌더링 작업을 통해 데이터셋을 검증합니다.

• 훈련 수렴: 더 크고 정제된 데이터셋 (PianoCoRe-A) 으로 훈련된 모델은 더 작은 하위 집합 (예: ASAP 만 사용) 이나 정제되지 않은 데이터로 훈련된 모델에 비해 과적합이 지연되고 검증 손실이 낮았습니다.
• 무조건부 생성: PianoCoRe-A 로 훈련된 모델은 보지 못한 테스트 세트에서 ground-truth 특성 (벨로시티, 온셋 간격, 아티큘레이션) 과의 피어슨 상관관계가 향상되었으며, 베이스라인에 비해 향상된 견고성을 보여주었습니다.
• 연주 이어가기: 네 가지 서로 다른 소스 도메인 (ASAP, ATEPP, PERiScoPe, Aria-MIDI) 에 대한 이어가기 작업에서 전체 PianoCoRe-A 데이터셋으로 훈련된 모델은 모든 도메인에서 최상이거나 차기 최상의 성능을 달성하여 다양한 데이터 분포에 대한 견고성을 입증했습니다.
• 정제 영향: RAScoP 사용 (시간적 노이즈 제거) 이 중요함이 입증되었습니다; 정제 없이 원시 정렬로 훈련된 모델은 타이밍 특성 (IOI 및 OD) 에서 더 낮은 성능을 보였습니다.

5. 의의 및 주장

본 논문은 PianoCoRe 가 "차세대 표현력 있는 피아노 연주 연구의 즉시 사용 가능한 기반"을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 규모와 다양성: 현재까지 가장 큰 오픈 소스 음표 정렬 악보 - 연주 쌍 컬렉션 (PianoCoRe-A 의 157,207 개 연주) 을 제공합니다.
• 품질 관리: 품질 분류기와 RAScoP 파이프라인을 통합함으로써 대규모 전사 데이터셋에 내재된 "노이즈" 문제를 해결하여 더 정확하고 견고한 모델 훈련을 가능하게 합니다.
• 재현성: 계층적 구조와 통합된 메타데이터를 통해 이전에 고립되었던 데이터셋 간에 겹치지 않는 데이터 분할을 생성할 수 있어 재현 가능한 연구를 촉진합니다.
• 접근성: 이 데이터셋은 CC-BY-NC-SA 4.0 라이선스 하에 Zenodo 와 Hugging Face 에서 공개적으로 제공되며, 파이프라인 및 분류기 코드가 함께 제공됩니다.

저자들은 서양 고전 레퍼토리에 치우친 편향, 소스 MusicXML 악보의 잠재적 잔류 오류, 그리고 현재 보간이 서스테인 페달 효과를 모델링하지 않는다는 점 등 한계를 지적합니다. 향후 연구는 이러한 방법론을 다중 악기 레퍼토리와 더 세분화된 주석으로 확장할 것을 제안합니다.