기술 요약: 악보 벤치마크(SMB) 및 OMR-NED

1. 문제 정의

광학 악보 인식(OMR)은 음악 정보 검색(MIR) 분야 내에서 여전히 중요한 과제로 남아 있다. 딥러닝(DL)이 규칙 기반 방식에서 엔드 투 엔드(end-to-end) 전사 파이프라인으로 분야의 흐름을 바꾸어 놓았음에도 불구하고, 이 분야에는 포괄적이고 고품질인 벤치마크 코퍼스가 부족하다. 기존 데이터셋들은 다음과 같은 결정적인 한계점을 지닌다:

• 규모 및 다양성 부족: OMRTestCorpus와 같은 초기 코퍼스는 현대적인 딥러닝 학습을 수행하기에 너무 작다.
• 제한된 범위: CVC-MUSCIMA와 같은 데이터셋은 오선 제거(staff-line removal)에만 집중하며, PrIMuS는 단선율(monophonic) 및 오선 영역 수준으로 제한된다.
• 합성 데이터 편향: GrandStaff와 같은 데이터셋은 작곡가의 다양성이 제한된 합성 생성 데이터이다.
• 포맷 제약: OLiMPiC와 같은 최근 데이터셋은 선형화된 XML(Linearized XML)에 의존하여, 전체 악보를 렌더링하기 위해 추가적인 처리가 필요하다.
• 평가 결함: 표준 지표인 기호 오류율(Symbol Error Rate, SER)은 전역적인 오류 개수를 제공하지만, 특정 표기 오류(예: 피치 오류, 임시표 오분류, 또는 빔 감지 실패의 구분)에 대한 세밀한 진단 통찰을 제공하지 못한다.

결과적으로, 표준화된 전체 페이지 엔드 투 엔드 데이터셋과 더 정보력이 높은 평가 지표의 부재로 인해 OMR 시스템 간의 엄격한 성능 평가와 질적 비교가 저해되고 있다.

2. 방법론 및 기여

2.1 악보 벤치마크(SMB) 데이터셋

저자들은 kern 포맷으로 인코딩된 685페이지(4,039개 영역)의 악보로 구성된 SMB 데이터셋을 소개한다. 이 데이터셋은 KernScores 라이브러리를 사용하여 구축되었으며, 고품질의 정답(ground truth)을 보장하기 위해 모든 주석 단계는 음악 전문가에 의해 수행되었다.

• 주석 과정: 스캔된 악보가 HumanSignal에 업로드되었다. 전문가들은 텍스트 태그(Monophony, Pianoform, Quartet, 그리고 Other)를 할당하고 바운딩 박스로 영역을 구분하였다. 주석은 오선(staff) 수준과 레이아웃 분석 및 전체 페이지 전사에 적합한 "외교적(diplomatic)" 전체 페이지 주석 형태로 제공되었다.
• 인코딩 전략: 데이터셋은 효율성과 Humdrum 생태계와의 호환성을 위해 kern을 활용한다. 원본 kern의 모호성(기호가 여러 방식으로 표현될 수 있음)을 해결하기 위해, 저자들은 kernpy 패키지를 사용하는 후처리 파이프라인을 구현하였다. 이를 통해 세 가지 포맷이 생성되었다:
  1. raw: 레이블링 과정에서의 파편화된 원본 인코딩.
  2. kern: 적절한 헤더와 스파인 경로(spine paths)를 갖춘 표준화된 kern.
  3. ekern (Extended kern): 의미론적 범주(길이, 피치, 임시표)가 구분자("@" 및 "·")에 의해 분리된 토큰화 버전으로, 시퀀스 길이는 증가하지만 어휘 사전(vocabulary) 크기를 크게 줄인다.
• 데이터 구성: 데이터셋은 다양한 시대(바로크부터 래그타임까지)와 작곡가(예: Bach, Chopin, Mozart, Joplin)를 아우른다. 분포는 Pianoform(469페이지)이 가장 많으며, 그 뒤를 Monophony(115), Quartet(79), Other(22)가 잇는다.

2.2 OMR 정규화 편집 거리(OMR-NED)

SER의 한계를 해결하기 위해, 저자들은 단일 수치 성능 점수와 상세한 오류 프로필을 모두 제공하도록 설계된 지표인 OMR-NED를 제안한다.

• 메커니즘: OMR-NED는 개선된 버전의 MusicDiff(원래 Music-Score-Diff)를 기반으로 구축되었다. 전통적인 편집 거리가 문자열을 대상으로 작동하는 것과 달리, OMR-NED는 시각적 음악 기호를 비교한다.
• 세분화: 오류를 다음과 같은 특정 표기 요소로 분류한다:
  • 음표/쉼표: 피치, 임시표, 붙임줄(tie), 음표 머리, 깃/빔, 점, 아티큘레이션, 장식음, 그리고 그레이스 노트.
  • 비음표 요소: 다이내믹스, 음자리표, 조표, 박자표, 슬러, 옥타브 표시(ottavas), 방향, 아르페지오, 코드 기호, 가사, 그리고 종지(endings).
• 계산: 이 지표는 예측된 악보를 참조 악보로 변환하는 데 필요한 평균 삽입 및 삭제 횟수를 계산하며, 이는 두 악보의 총 기호 수로 정규화된다. 결정적으로, 치환(substitution)은 단일 편집 작업이 아니라 기존 기호의 삭제와 새로운 기호의 삽입으로 처리된다.
• 출력: 이 도구는 각 카테로리에 대한 편집 거리를 상세히 기록한 CSV 보고서를 생성하여, 연구자들이 특정 시스템의 약점(예: 빈약한 빔 감지 vs 피치 오류)을 식별할 수 있게 한다.

3. 실험 결과

저자들은 SMB 데이터셋을 사용하여 5-겹 교차 검증(5-fold cross-validation)으로 학습된 Sheet Music Transformer(인코더-디코더 구조)를 사용하여 베이스라인을 설정하였다. 모델은 NVIDIA RTX 4080에서 400 에포크 동안 처음부터(사전 학습된 가중치 없이) 학습되었다.

• 성능: 결과는 OMR이 여전히 도전적인 과제임을 나타내며, 최첨단 모델에서도 높은 오류율을 보인다.
  • Monophony: 가장 낮은 OMR-NED(kern 94.1%, ekern 98.8%)와 SER(57.1%)을 달성하였다.
  • Pianoform: 다성부 텍스처보다 현저히 나은 성능을 보였으며, OMR-NED는 57.4%(kern)였다.
  • Quartet & Other: 더 높은 오류율을 보였으며, Quartet의 OMR-NED는 92.3%(kern)에 달했다.
• 인코딩의 영향: 베이스라인 실험에서 ekern 포맷은 kern에 비해 일반적으로 더 높은 오류율을 기록했는데, 이는 시퀀스 길이의 증가와 토큰화된 어휘의 복잡성 때문인 것으로 보인다.

4. 사례 연구: OMR-NED vs. SER

논문은 OMR-NED의 유용성을 입증하기 위해 두 가지 전사 예시를 비교 분석한다:

1. 가사가 포함된 단선율(Monophonic with Lyrics): SER은 전역적인 오류율을 제공했지만, OMR-NED는 오류의 65%가 **음표(Notes)**에서, 35%가 **가사(Lyrics)**에서 발생했음을 밝혀내어 타겟팅된 디버깅을 가능하게 했다.
2. Pianoform: OMR-NED는 오류의 88.2%가 음표에 있음을 보여주었을 뿐만 아니라, Extra 카테고리(다이내믹스, 음자리표, 조표 등)에서의 11.8% 오류율도 강조하였다. 이러한 수준의 상세 정보는 단일 집계 백분율만을 보고하는 표준 SER에서는 확인할 수 없는 부분이다.

저자들은 OMR-NED가 개별 기호를 세밀하게 계산하기 때문에(예: 박자 변화를 하나의 치환이 아닌 두 개의 편집으로 처리) SER보다 오류에 대해 더 엄격하게 처벌하는 경향이 있다고 언급한다.

5. 의의 및 주장

본 논문은 SMB와 OMR-NED를 OMR 분야를 발전시키기 위한 기초적인 도구로 자리매김한다:

• 표준화: SMB는 현대 딥러닝 기반 OMR 시스템의 벤치마킹을 위해 특별히 설계된 최초의 공개 가능한 전체 페이지 엔드 투 엔드 데이터셋을 제공함으로써, "오랫동안 지속된 공백"을 해결한다.
• 진단 능력: OMR-NED는 단순한 정확도 지표를 넘어 "세밀하고 상세한 오류 분석"을 가능하게 한다. 이를 통해 연구자들은 모델이 어려움을 겪는 특정 표기 특징(예: 빔, 임시표)을 식별할 수 있으며, 더욱 견고한 아키텍처 개발을 촉진할 수 있다.
• 커뮤니티 프레임워크: 표준화된 데이터셋 분할과 새로운 지표를 제공함으로써, 저자들은 MAPS나 GTZAN과 같은 벤치마크가 다른 MIR 하위 분야의 발전을 이끌어낸 것처럼, OMR 시스템 간의 명확하고 비교 가능한 성능 평가를 용이하게 하는 것을 목표로 한다.

저자들은 베이스라인 결과가 개선의 여지가 많음을 보여주지만, SMB와 OMR-NED의 결합이 광학 악보 인식의 체계적인 평가와 미래 발전에 필요한 엄격한 프레임워크를 구축한다고 결론짓는다.