Towards a foundational model for recognising diastematic Gregorian notation

技術要約：有譜記譜法グレゴリオ聖歌認識のための基盤モデルに向けて

問題提起
グレゴリオ聖歌の光学楽譜認識（OMR）は、エンドツーエンドの手法を通じて近年進展を見せているが、データの断片化がこの分野の妨げとなっている。有譜（五線譜を用いた）記譜法に関する4つの異なるデータセット（GregoSynth、Salzinnes、Einsiedeln、Solesmes）が存在するものの、それらは互換性のないエンコーディング（GABC、Pseudo-GABC、およびS-GABC）を使用している。この不均一性により、より大規模で堅牢なモデルを訓練するためのリソースの集約が困難となっている。さらに、既存のデータセットには、グラウンドトゥルース（正解）の文字列は同一または極めて類似しているが、画像がわずかに異なる、あるいはその逆であるような「ニア・デュプリケート（準重複）」のサンプルが含まれており、これが訓練／検証分割を複雑にし、パフォーマンス指標を不当に押し上げる可能性がある。

手法
著者らは、これら異質なリソースを単一の訓練エコシステムへと統合するためのパイプラインを提案している。

1. データの調和とクリーニング:

   • 重複の除去: 著者らは、ニア・デュプリケート・サンプルを特定して除去するためのクリーニング・パイプラインを実装した。グラウンドトゥルースの文字列間のレーベンシュタイン距離が3以下であり、かつ画像の構造的類似性指数（SSIM）が0.97以上である場合、そのサンプルを重複とみなす。このプロセスにより、総データセットのサイズはわずかに減少したが、明確に区別された訓練例が確保された。
   • 統一エンコーディング: 技術的な核心となる貢献は、Systematic GABC（S-GABC）の提案に基づく共通エンコーディングの定義である。著者らは、SalzinnesおよびEinsiedelnのデータセットで使用されている未文書化の「Pseudo-GABC」をリバースエンジニアリングし、これら3つの入力形式（GABC、S-GABC、Pseudo-GABC）をすべてこの共有フォーマットへとマッピングした。
   • 変換: Lark文法を用いて、元の転写を解析木へとパースし、共通エンコーディングへと変換した。このプロセスにより、旋律、テキスト、アライメント、およびネウムのグルーピングに関する不可欠な情報を保持しつつ、無関係なフォーマット記号の削除や曖昧さの解消（例：水平エピセマの位置を0および1に標準化すること）を行った。

2. モデルアーキテクチャと訓練:

   • ベースモデル: 著者らは、学習速度の観点からSheet Music Transformerよりも、先行研究で強力な性能を示していたDAN（Deep Attention Network）アーキテクチャを選択した。
   • 訓練戦略:
     • 共有事前学習: 調和された統合データセット上で共有モデルを訓練した。膨大な合成データであるGregoSynthが学習プロセスを支配してしまうのを防ぐため、各エポックにおいてGregoSynthを、2番目に大きいデータセット（Salzinnes）のサイズに合わせてランダムにダウンサンプリングした。
     • 勾配累積: 画像スケールの不均一性により先行研究で使用されていたバッチサイズ1の制限に対処するため、著者らは8倍の勾配累積を採用した。
     • ファインチューニング: 共有モデルの重みを使用して、個別の実世界のデータセット（Salzinnes、Einsiedeln、Solesmes）に対して、学習率（$10^{-5}$）を下げてファインチューニングを行うモデルを初期化した。

主な貢献

• 統一データセット: 4つの以前は互換性がなかったソースを単一のエンコーディングスキームに統合した、調和されたデータセットの作成。これにより、共同訓練が可能となった。
• 基盤モデル: 4つのデータセットすべてにおいて新たな最先端（SOTA）を確立する共有エンドツーエンドモデルの訓練。これは、データの集約が汎化性能を向上させることを示している。
• 改善された訓練プロトコル: 8倍の勾配累積が、この領域における標準的なバッチサイズ1の訓練よりも大幅に優れていることを実証した。
• 再現性: 変換ツール（Lark文法）およびクリーニング済みデータセットの公開。

結果
著者らは、5つの指標（Melody Error Rate [MER]、Character Error Rate [CER]、Syllable Error Rate [SylER]、Alignment Error Rate [ALER]、および統合されたAll-Metric Error Rate [AMLER]）を用いて性能を評価した。

• 共有モデルの性能: 「DAN-shared」モデル（結合データで訓練され、ファインチューニングは行わない）は、GregoSynthおよびSalzinnesにおいてベースラインのDANモデルを概して上回ったが、より小規模で多様なSolesmesデータセットにおいては、その固有のベースラインと比較して苦戦した。
• ファインチューニングの影響: 共有モデルを個別のデータセットでファインチューニングする（DAN-FT）ことで、モデルはSalzinnesおよびEinsiedelnにおける従来の最高結果（SOTA）に匹敵するか、それを上回ることができた。
• 勾配累積: 8倍の勾配累積を利用したモデル（DAN(8)-shared）は、ほとんどの指標およびデータセットにおいて、従来のSOTAを含む他のすべての構成を上回った。
• 最終的なSOTA: 勾配累積を用いたファインチューニング済みモデル（DAN(8)-FT）が、すべてのデータセットで最も低いエラー率を達成した。例えば、困難なSolesmesデータセットにおいて、AMLERを23.17%（ベースライン）から10.81%に、Einsiedelnにおいては5.14%から2.73%に減少させた。

意義と主張
本論文の主要な価値は、共有事前学習およびファインチューニングのパイプラインを可能にしたことにあると著者らは主張している。エンコーディングを調和させることで、互いに互換性のある記譜原理を持つデータセットを統合することが、グレゴリオ聖歌の多様な視覚ドメインを扱うことができる「基盤モデル」を生み出すことを実証した。

著者らは、彼らの共通エンコーディングはS-GABCに基づいているものの、OMRタスクに適応するために特定の修正（例：中抜きの音符の再導入、不確かな読み取りマーカーの削除）を含んでいることを控えめに述べている。彼らはこのエンコーディングに名前を付けておらず、それがS-GABCの完全な実装に代わるものではなく、S-GABCへのステップとして捉えられるべきであることを示唆している。本研究は、データ・ヘテロジェニティ（異質性）が体系的なエンコーディングの調和を通じて解決されるならば、大規模かつ自動化されたグレゴリオ聖歌写本の理解が可能であることを裏付けている。