技術的サマリー：PianoCoRe：統合および洗練されたピアノ MIDI データセット

1. 問題定義

スコアと演奏が一致した記号音楽データセットは、特に表現豊かな演奏レンダリングのモデル化において、音楽情報検索（MIR）タスクにとって不可欠です。しかし、既存のリソースは重大な制限に直面しています。

• 断片化: 高忠実度の録音データセット（例：MAESTRO、ASAP）は精度を提供しますが、規模と様式的多様性に欠けます。逆に、大規模な転記データセット（例：GiantMIDI-Piano、Aria-MIDI）は規模を提供しますが、転記エラーを含み、正確なノートレベルのアライメントが欠如し、メタデータの一貫性に欠けることがよくあります。
• 非互換性: 互換性のない命名規則とメタデータ標準は、情報の漏洩を招くことなくデータセットを統合することを困難にしています。
• 品質の問題: 転記された MIDI ファイルには、破損したデータ、表現力のない「スコアのような」転記、重複、および時間的ノイズ（例：オンセットのジッター、無限のピッチアーティファクト）が含まれることがよくあります。
• 法的制約: 多くの既存のデータセットには著作権保護された素材が含まれており、長期的な学術的有用性を制限しています。

転記データの規模と録音演奏の精度を組み合わせ、法的に持続可能かつスコアに整合した統合された大規模リソースには、決定的なギャップが存在します。

2. 手法

本論文は、多段階のキュレーションおよび洗練パイプラインを通じて構築されたデータセットPianoCoReを提示します。

2.1 データ収集とマッチング

このデータセットは、5 つの主要なオープンソースソースを統合しています：ASAP、ATEPP、GiantMIDI-Piano、PERiScoPe、およびAria-MIDI。

• 法的フィルタリング: 法的な持続可能性を確保するため、EU 内のパブリックドメインにある作品にコンテンツを制限しています。
• スコア処理: MusicXML ファイルを partitura ライブラリを使用して MIDI に変換します。これには、装飾音（トリル、モルデント）の展開、グレースノートの展開、およびリピートの処理（最大版と最小版の両方を作成）が含まれます。
• マッチング戦略: 演奏をスコアにマッチングさせる 3 段階のパイプラインを使用します。
  1. 候補選択: 作曲家名、ノート数の比率（$0.75 \le R_n \le 1.33$）、およびカタログキーワードに基づいてフィルタリングします。
  2. ノートアライメント: Numba 最適化されたダイナミックタイムワーピング（DTW）を用いた DualDTWNoteMatcher（Parangonar 製）を使用して、ノートレベルのアライメントを計算します。
  3. 検証: アライメントの再現率（$R_a$）が 0.7 を超える場合、ペアを受理します。

2.2 品質評価と重複排除

PianoCoRe-Bサブセットを生成するために、著者は重複と品質の問題に対処します。

• 重複排除: コンテンツベースのヒューリスティックにより、50ms 以内で $\ge 50\%$ 類似したノートオンセットを持つ演奏をクラスタリングします。ソースの優先度に基づいて 1 つの「リード」ファイルを保持します。
• MIDI 品質分類器: Aria-MIDI で事前学習された 12 層のトランスフォーマーエンコーダを訓練し、MIDI ファイルを 4 つのカテゴリに分類します。スコア（無表情）、高品質（HQ）、低品質（LQ）、および破損。
  • 訓練データ: ラベルはアライメント比率（$R'_a$）に基づくソフトヒューリスティックによって生成されます。合成された破損（ノートの削除、ジッター）を使用してデータセットのバランスを取ります。
  • 性能: 分類器はマクロ F1 スコア 89.1% を達成し、スコアのような転記と表現豊かな演奏を効果的に区別します。

2.3 アライメントの洗練（RAScoP）

PianoCoRe-A/A* サブセットを作成するために、著者は生アライメントを整理するパイプラインであるRAScoP（Refined Alignment for Scores and Performances）を導入します。

1. アライメントの穴の処理: スライドウィンドウアプローチを使用して、未実行のリピートなど、疎または無意味なアライメントの大きな領域を除去します。
2. オンセットの整理: 和音のタイミングなどのオンセット内偏差をフィルタリングし、非現実的なテンポ（15–480 BPM）を示唆するオンセット間隔を修正します。グローバルタイミングをローカルテンポ推定値に一致するように調整します。
3. ノート補間: 削除された欠落ノートを、隣接する演奏されたノートに基づいて線形補間し、持続時間とベロシティを平均化します。補間されたノートは MIDI テキストマーカでマークされます。
4. 同期: 演奏のビート構造をスコアに整合させます（元のタイミングを保持するため、最終リリースではオプションです）。

3. 主要な貢献

1. PianoCoRe データセット: 483 人の作曲家による5,625 曲の250,046 件の演奏の統合コレクションで、合計21,763 時間です。階層化されたサブセットとしてリリースされます。
   • PianoCoRe-C: 完全な、混合ソースのコレクション。
   • PianoCoRe-B: 大規模な事前学習用の、重複排除され品質評価されたサブセット（214,092 件の演奏）。
   • PianoCoRe-A: 整理されたアライメントを持つ、ノート整合サブセット（157,207 件の演奏）。
   • PianoCoRe-A:* $\ge 85\%$ のアライメント再現率を持つ、高信頼度サブセット（130,275 件の演奏）。
2. MIDI 品質分類器: 真の音声やスコアを必要とせずに、破損およびスコアのような転記を検出する訓練済みモデル。
3. RAScoP パイプライン: ノートアライメントの洗練、時間的外れ値の整理、および欠落ノートの補間を行うオープンソースアルゴリズム。
4. 法的持続可能性: データセットは EU のパブリックドメイン規制に準拠するようにキュレーションされており、長期的なアクセシビリティを確保しています。

4. 結果と評価

本論文は、PianoFlowモデル（条件付きフローマッチング）を使用した表現豊かな演奏レンダリングタスクを通じて、データセットを検証します。

• 訓練収束: 大規模で洗練されたデータセット（PianoCoRe-A）で訓練されたモデルは、小規模なサブセット（例：ASAP のみ）または未整理のデータで訓練されたモデルと比較して、過学習が遅れ、検証損失が低くなりました。
• 無条件生成: PianoCoRe-A で訓練されたモデルは、未見のテストセットにおいて、真の機能（ベロシティ、オンセット間隔、アーティキュレーション）とのピアソン相関が高く、頑健性が向上していることを示しました。
• 演奏の継続: 4 つの異なるソースドメイン（ASAP、ATEPP、PERiScoPe、Aria-MIDI）にわたる継続タスクにおいて、完全な PianoCoRe-A データセットで訓練されたモデルは、すべてのドメインで最良または第 2 位の性能を達成し、変化するデータ分布に対する頑健性を示しました。
• 洗練の影響: RAScoP（時間的ノイズの除去）の使用が決定的であることが示されました。整理されていない生アライメントで訓練されたモデルは、タイミング機能（IOI および OD）において性能が劣りました。

5. 意義と主張

本論文は、PianoCoRe が「次世代の表現豊かなピアノ演奏研究のための、すぐに使用できる基盤」を提供すると主張しています。その意義は以下の点にあります。

• 規模と多様性: 現在までに最も大規模なオープンソースのノート整合スコア - 演奏ペアのコレクションを提供します（PianoCoRe-A には 157,207 件の演奏が含まれます）。
• 品質管理: 品質分類器と RAScoP パイプラインを統合することで、大規模な転記データセットに固有の「ノイズ」問題に対処し、より正確で頑健なモデルの訓練を可能にします。
• 再現性: 階層化された構造と統合されたメタデータにより、研究者は以前に孤立していたデータセット間で重複しないデータ分割を作成でき、再現可能な研究を促進します。
• アクセシビリティ: データセットは CC-BY-NC-SA 4.0 ライセンスの下で Zenodo および Hugging Face で公開されており、パイプラインと分類器のコードも提供されています。

著者は、西洋クラシックレパートリーへの偏り、ソース MusicXML スコアの潜在的な残留エラー、および補間が現在サステインペダル効果をモデル化していないという制限を指摘しています。今後の研究として、これらの手法を多楽器レパートリーやより詳細な注釈に拡張することが提案されています。