기술 요약: Transcoda

문제 정의

악보 인식 (OMR) 은 실제 악보 스캔의 대규모 주석 데이터셋 부재라는 치명적인 병목 현상에 직면해 있습니다. 이러한 부족으로 인해 모델들은 종종 실제 악보의 시각적 및 구조적 복잡성 (예: 밀집된 레이아웃, 긴 시퀀스, 상호 의존적인 성부) 을 포착하지 못하는 합성 훈련 데이터에 의존하게 됩니다. 또한, OMR 에서 중요한 과제는 비유일성입니다. 단일 시각적 악보가 문법적으로 다르지만 의미적으로 동등한 여러 텍스트 인코딩 (특히 Humdrum **kern 형식) 에 매핑될 수 있기 때문입니다. 이러한 1 대 다 매핑은 디코딩 중 높은 불확실성을 초래하여 자기회귀 모델이 실패하거나 유효하지 않은 연속을 생성하게 만듭니다. 기존 최첨단 시스템들은 이러한 문제들에 종종 직면하여, 여전히 문법적으로 유효하지 않은 출력을 생성하면서도 막대한 파라미터 수나 복잡한 훈련 프로토콜을 필요로 합니다.

방법론

Transcoda 는 합성 데이터만으로 훈련된 경량 엔드 - 투 - 엔드 비전 - 인코더 - 디코더 모델 (59M 파라미터) 입니다. 이 모델의 아키텍처와 파이프라인은 모델 규모보다 타겟 정규화와 시각적 충실도를 우선시하는 데이터 중심 철학을 중심으로 설계되었습니다.

1. 아키텍처

• 비전 인코더: 2D 정현파 위치 인코딩을 갖춘 사전 훈련된 ConvNeXt-V2 백본 (27.9M 파라미터) 을 활용합니다. 레이블이 없는 역사적 악보를 사용하여 완전 합성 마스크 오토인코더 (FCMAE) 로 도메인 내 사전 훈련 단계를 선택적으로 수행하여 시각적 도메인 간극을 해소할 수 있습니다.
• 프로젝션 브리지: 2 층 MLP 가 시각적 특징을 디코더 차원으로 매핑합니다.
• 자기회귀 디코더: 512 개의 은닉 차원, 8 개의 어텐션 헤드, 회전 위치 임베딩 (RoPE) 을 갖춘 8 층 Pre-LN 트랜스포머 (28.3M 파라미터) 입니다.
• 출력: 최대 2048 개의 토큰까지 **kern 토큰 시퀀스 (어휘 크기 약 3000) 를 생성합니다.

2. 데이터 중심 파이프라인

핵심 혁신은 오픈 심볼릭 코퍼스 (MusicXML) 를 고충실도 합성 훈련 데이터로 변환하는 데이터 생성 및 정규화 파이프라인에 있습니다:

• 타겟 정규화: **kern 인코딩의 비유일성을 제거하기 위해, 결정론적 21 단계 파이프라인이 모든 텍스트 타겟을 정규화합니다. 여기에는 다음이 포함됩니다:
  • 불필요한 척추 제거: 기하학에 집중하기 위해 악보 요소 (가사, 역동성) 를 제거합니다.
  • 시각 - 의미 정렬: 재생 전용 요소 (예: 장식음 휴지) 를 제거하여 시퀀스 길이가 시각적 표기법과 상관관계를 갖도록 합니다.
  • 구문 토큰 정렬: 토큰 구성 요소에 대해 고정된 문자 수준 계층 구조를 강제하고 화음 음표를 음높이 오름차순으로 정렬합니다.
  • 구조적 수리: 상충되는 주석 (예: 상충되는 임시표) 을 해결합니다.
  • 결과: 각 시각적 악보는 단일 고유한 **kern 시퀀스에 매핑되어 학습 작업을 안정화합니다.
• 합성 렌더링 및 증강:
  • Verovio 엔진을 사용하여 정규화된 **kern 을 이미지로 렌더링합니다.
  • 비타겟 표기법 주입(역동성, 템포 텍스트) 을 적용하여 모델이 작업과 무관한 기호를 무시하도록 훈련합니다.
  • 정답을 변경하지 않고 시 - 실 간극을 해소하기 위해 래스터 단계 열화(기하학적 왜곡, 종이 질감, 잉크 번짐, 스캐너 노이즈) 를 시뮬레이션합니다.
• 구성적 토큰화: 엄격한 스페이스 분할 제약을 강제하는 커스텀 BPE 토크나이저 (3000 개 토큰) 는 모델이 고정된 화음 표현을 암기하는 것을 방지하고 새로운 화음의 구성적 조립을 학습하도록 강제합니다.

3. 디코딩 전략

• 표준 디코딩: 최적화를 위해 빔 서치를 사용합니다.
• 제약 디코딩: xgrammar 로 컴파일된 GBNF 문법과 Python 측 로짓 프로세서를 사용하여 공식적인 **kern 유효성을 강제하는 선택적 레이어입니다. 이는 시각적 정렬이 완벽하지 않더라도 원시 편집 거리가 약간 영향을 받을 수 있지만, 하류 렌더링을 위해 출력이 문법적으로 정확하도록 보장합니다.

주요 기여

1. 합성 데이터 파이프라인: 저자들은 제어된 시각적 열화를 가진 밀집되고 구조적으로 복잡한 합성 악보를 생성하는 정교한 파이프라인을 특징으로 하는 OMR 훈련을 위한 가장 큰 공개 데이터셋을 제안합니다.
2. 안정화제로서의 정규화: 이 논문은 제로샷 OMR 의 주요 병목 현상으로 비유일성을 지목합니다. 결정론적 타겟 정규화가 모델 규모 증가의 이점을 능가하여 자기회귀 생성을 안정화하는 결정적 요소임을 입증합니다.
3. 표준화된 평가: Verovio 렌더링 엔진을 기반으로 한 새로운 평가 프로토콜이 도입되었으며, 시퀀스 모델링 안정성, 시각적 도메인 이동, 공식적 유효성을 분리하는 제거 실험이 수행되었습니다.
4. 성능 효율성: 단일 GPU 에서 6 시간 동안 훈련된 59M 파라미터의 경량 모델이 수십억 파라미터 베이스라인을 능가합니다.

결과

Transcoda 는 깨끗한 합성 벤치마크와 실제 역사적 스캔 (폴란드 악보) 에서 제로샷 설정으로 평가되었습니다.

• 합성 벤치마크 (Verovio): Transcoda 는 **OMR-NED 18.46%**를 달성하여 Legato(43.91%) 와 SMT++(92.23%) 를 크게 능가했습니다.
• 실제 스캔 (제로샷): 역사적 폴란드 스캔에서 Transcoda 는 오류율을 63.97% OMR-NED로 낮추어 SMT++(80.16%) 와 Legato(86.73%) 보다 상당한 개선을 보였습니다.
• 제거 실험 결과:
  • 타겟 정규화를 제거하면 치명적인 실패가 발생하여 합성 데이터에서 OMR-NED 가 18.71% 에서 82.51% 로 급증했습니다.
  • 실제 스캔에서 시각적 열화나 타겟 밀도에 맞춘 악보 연결을 제거하면 성능이 크게 저하되어, 훈련 데이터에 시각적 및 구조적 충실도가 모두 필요함을 강조합니다.
  • 도메인 내 시각적 사전 훈련 (FCMAE) 은 시 - 실 간극을 더 줄이는 데 유망한 결과를 보였습니다.

중요성과 주장

이 논문은 모델 규모나 복잡한 훈련 프로토콜이 아닌 데이터 품질과 정규화가 OMR 성능 향상을 위한 지배적인 레버라고 주장합니다. 타겟 텍스트에 고유한 정규형을 강제하고 현실적인 시각적 노이즈를 시뮬레이션함으로써 Transcoda 는 경쟁 시스템의 파라미터 수와 훈련 시간의 일부로 최첨단 결과를 달성합니다.

저자들은 Transcoda 를 음악학의 한 걸음 앞으로 나아가는 도구로 위치시키며, 합성 데이터에서의 제로샷 전이라는 고유한 어려움에도 불구하고 기존 방법보다 높은 정확도로 역사적 사본을 전사할 수 있는 강력하고 오픈 소스 도구를 제공합니다. 그들은 극단적인 사본 밀도와 구조적 행렬 정렬 불일치 처리와 같은 한계를 인정하며, 향후 작업은 더 많은 라스터 열화나 심하게 열화된 실제 스캔에 대한 사전 훈련이 필요할 수 있음을 시사합니다.