Towards a foundational model for recognising diastematic Gregorian notation

기술 요약: 디아스테마틱 그레고리오 성가 표기 인식을 위한 파운데이션 모델을 향하여

문제 정의
그레고리오 성가에 대한 광학 악보 인식(OMR)은 엔드 투 엔드(end-to-end) 방식을 통해 최근 진전을 이루었으나, 데이터 파편화 문제로 인해 난항을 겪고 있다. 디아스테마틱(staff-based, 오선 기반) 표기를 위해 네 개의 별도 데이터셋(GregoSynth, Salzinnes, Einsiedeln, Solesmes)이 존재하지만, 이들은 서로 호환되지 않는 인코딩(GABC, Pseudo-GABC, S-GABC)을 사용한다. 이러한 이질성은 더 크고 견고한 모델을 훈련하기 위한 자원 통합을 방해한다. 또한, 기존 데이터셋에는 정답 문자열은 동일하거나 매우 유사하지만 이미지는 약간 다르거나, 혹은 그 반대인 "유사 중복(near-duplicate)" 샘플이 포함되어 있어, 훈련/검증 분할을 복잡하게 만들고 성능 지표를 과장할 가능성이 있다.

방법론
저자들은 이 이질적인 자원들을 단일 훈련 생태계로 통합하기 위한 파이프라인을 제안한다:

1. 데이터 조화 및 정제 (Data Harmonization and Cleaning):

   • 중복 제거: 저자들은 유사 중복 샘플을 식별하고 제거하는 정제 파이프라인을 구현했다. 정답 문자열 간의 레벤슈타인 거리(Levenshtein distance)가 3 이하이고 이미지 간의 구조적 유사도 지수(SSIM)가 0.97 이상인 경우 해당 샘플을 중복으로 간주한다. 이 과정은 전체 데이터셋의 크기를 약간 줄였으나, 구별되는 훈련 예시들을 확보하게 해주었다.
   • 통합 인코딩: 핵심적인 기술적 기여는 Systematic GABC(S-GABC) 제안을 기반으로 한 공통 인코딩의 정의이다. 저자들은 Salzinnes와 Einsiedeln 데이터셋에서 사용된 문서화되지 않은 "Pseudo-GABC"를 역공학으로 분석하였으며, 세 가지 입력 형식(GABC, S-GABC, Pseudo-GABC)을 모두 이 공유 형식으로 매핑하였다.
   • 변환: Lark 문법을 사용하여 원래의 전사(transcription)를 파스 트리(parse tree)로 파싱하고 이를 공통 인코딩으로 변환하였다. 이 과정은 선율, 텍스트, 정렬 및 네우마(neume) 그룹화에 관한 필수 정보를 유지하면서, 불필요한 서식 기호를 제거하고 모호성(예: 수평 에피세마 위치를 0과 1로 표준화)을 해결하였다.

2. 모델 아키텍처 및 훈련:

   • 기본 모델: 저자들은 훈련 속도 측면에서 Sheet Music Transformer보다 더 강력한 성능을 보여준 DAN(Deep Attention Network) 아키텍처를 선택하였다.
   • 훈련 전략:
     • 공유 사전 훈련 (Shared Pretraining): 결합된 조화 데이터셋을 사용하여 공유 모델을 훈련하였다. 방대한 양의 합성 데이터인 GregoSynth가 학습 과정을 지배하는 것을 방지하기 위해, 각 에포크(epoch)마다 이를 두 번째로 큰 데이터셋인 Salzinnes의 크기에 맞춰 무작위로 다운샘플링하였다.
     • 그래디언트 누적 (Gradient Accumulation): 불균일한 이미지 스케일로 인해 배치 크기가 1로 제한되었던 기존 연구의 한계를 해결하기 위해, 8-fold 그래디언트 누적 방식을 채택하였다.
     • 미세 조정 (Fine-tuning): 공유 모델의 가중치를 사용하여 개별 실제 데이터셋(Salzinnes, Einsiedeln, Solesmes)에 대해 낮은 학습률($10^{-5}$)로 미세 조정된 모델들을 초기화하였다.

핵심 기여

• 통합 데이터셋: 네 개의 이전에는 호환되지 않았던 소스들을 단일 인코딩 체계로 병합하여 공동 훈련을 가능하게 하는 조화된 데이터셋을 구축하였다.
• 파운데이션 모델: 모든 네 가지 데이터셋에서 새로운 SOTA(State-of-the-Art)를 확립하는 공유 엔드 투 엔드 모델을 훈련함으로써, 데이터 결합이 일반화 성능을 향상시킨다는 점을 입증하였다.
• 개선된 훈련 프로토콜: 8-fold 그래디언트 누적이 이 도메인에서 표준 배치 크기 1 훈련보다 유의미하게 우수함을 입증하였다.
• 재현성: 변환 도구(Lark 문법)와 정제된 데이터셋을 공개하였다.

결과
저자들은 다섯 가지 지표를 사용하여 성능을 평가하였다: 선율 오류율(MER), 문자 오류율(CER), 음절 오류율(SylER), 정렬 오류율(ALER), 그리고 결합된 전체 지표 오류율(AMLER).

• 공유 모델 성능: "DAN-shared" 모델(미세 조정 없이 결합된 데이터로 훈련된 모델)은 GregoSynth와 Salzinnes에서 베이스라인 DAN 모델보다 일반적으로 우수한 성능을 보였으나, 규모가 작고 다양성이 높은 Solesmes 데이터셋에서는 특정 베이스라인에 비해 고전하였다.
• 미세 조정 효과: 공유 모델을 개별 데이터셋에 미세 조정한 결과(DAN-FT), Salzinnes와 Einsiedeln에서 이전의 최고 결과(SOTA)와 일치하거나 이를 능가하는 결과를 얻었다.
• 그래디언트 누적: 8-fold 그래디언트 누적을 활용한 모델(DAN(8)-shared)은 대부분의 지표와 데이터셋에서 이전의 SOTA를 포함한 다른 모든 구성을 압도하였다.
• 최종 SOTA: 그래디언트 누적을 적용한 미세 조정 모델(DAN(8)-FT)이 모든 데이터셋에서 가장 낮은 오류율을 달음 достигла. 예를 들어, 까다로운 Solesmes 데이터셋에서 AMLER을 23.17%(베이스라인)에서 10.81%로 낮추었으며, Einsiedeln에서는 AMLER을 5.14%에서 2.73%로 감소시켰다.

의의 및 주장
본 논문은 이 연구의 주요 가치가 공유 사전 훈련 및 미세 조정 파이프라인을 가능하게 한 것에 있다고 주장한다. 인코딩을 조화시킴으로써, 저자들은 상호 호환 가능한 표기 원칙을 가진 데이터셋을 병합하는 것이 그레고리오 성가의 다양한 시각적 영역을 처리할 수 있는 "파운데이션 모델"을 생성한다는 것을 입증하였다.

저자들은 자신들의 공통 인코딩이 S-GABC를 기반으로 하지만, OMR 작업을 위해 특정 수정 사항(예: 빈 음표 재도입, 불확실한 읽기 표시 제거)을 포함하고 있음을 겸허히 언급하였다. 그들은 이 인코딩에 별도의 이름을 붙이지 않았으며, 이는 이것이 S-GABC의 완전한 구현을 대체하기보다는 S-GABC를 향한 단계로 간주되어야 함을 시사한다. 본 연구는 데이터의 이질성이 체계적인 인코딩 조화를 통해 해결될 수 있다면, 그레고리오 성가 사본에 대한 대규모 자동 이해가 OMR을 통해 가능하다는 것을 확인시켜 준다.