MusicSynth: An Automated Pipeline for Generating Violin Fingerboard Animations from Sheet Music Using Optical Music Recognition

MusicSynth は、光学式楽譜認識、MusicXML パース、および独自ノート位置参照テーブルを統合することで、楽譜画像またはデジタルファイルから自動的にヴァイオリンの指板アニメーションチュートリアルを生成するオープンソースのブラウザベースのパイプラインです。

要約

バイオリンの演奏を学ぼうとしているところを想像してみてください。ピアノのように特定の鍵盤を押すだけ、あるいはギターのように金属製のフレットに弦を押さえるのとは異なり、バイオリンのネックは完全に滑らかで何の目印もありません。指を置く場所を示す目印は一切ありません。たとえわずか数ミリの誤差でも、音が間違ったものになってしまいます。初心者にとって、これは街路標も家番号もない街で特定の家にたどり着こうとするようなものです。

MusicSynth は、その欠けた街路標の役割を果たすように設計された、新しい無料のウェブツールです。

以下に、その仕組みを簡単なステップに分解して説明します。

1. 問題点：「空白の地図」

学生が楽譜を見ると、音符は見えるものの、バイオリンのどこに指を置けばよいのかがわかりません。従来の書籍は音符を示すものの、手の位置までは示していません。演奏を聞いてくれるアプリは存在しますが、曲の画像を見て演奏方法を教えてくれるものは存在しません。

2. 解決策：「魔法の翻訳機」

MusicSynth は、楽譜と指の配置という 2 つの言語を話す翻訳者のようなものです。

• あなたがアップロードするもの： スマホで撮影したバイオリン曲の楽譜の写真、または音楽のデジタルファイル。
• システムが処理するもの： システムが楽譜を読み取り、すべての音符を特定し、瞬時にどの弦のどの指を使うべきかを正確に計算します。
• あなたが得るもの： ウェブブラウザ上で再生される動画です。これはバイオリンのネックの図を示し、音楽が流れるにつれて各音符の正しい位置を点灯させます。この動画をダウンロードすれば、いつでもどこでも練習できます。

3. 構築方法：「組み立てライン」

著者はゼロから新しい技術を開発したわけではありません。代わりに、3 つの既存ツールを接続するパイプラインを構築しました。まるで 3 両の異なる電車をつなげて 1 本の長い列車を作るようなものです。

1. スキャナー（OMR）： これが「目」です。楽譜の写真を見て、画像を音符のリストに変換します。
2. 脳（ルックアップテーブル）： これが著者が開発した「秘密の調味料」です。「音符が'A'なら、D 弦に人差し指を置く」といった、膨大な規則集です。これは長年バイオリンの先生方が使ってきた標準的な指導規則に従っています。
3. アニメーター： これが「芸術家」です。音符のリストを受け取り、現在の音符を赤い点、次の音符を青い点として示す動画をフレームごとに描画します。

4. 性能はどの程度か？

著者はこのツールを、初心者向けの簡単な曲から上級者向けの難しい曲まで、110 曲の異なるバイオリン曲でテストしました。

• デジタルファイルをアップロードする場合： ほぼ完璧です。指の配置を**99.1%**の確率で正しく特定します。
• 写真をアップロードする場合： 清潔に印刷された楽譜の読み取りは非常に優れており、音符を約**91%**の確率で正しく認識します。
• 「先読み」機能： 動画は現在の音符だけでなく、次の数音符を小さな青い円で表示し、音楽が到達する前に手を準備できるよう「事前警告」を与えます。

5. 現時点でできないこと（限界）

どのような新しいツールにも境界線があります。

• 初心者から中級者向け： 学習の最初の数年間（「第一ポジション」）をカバーしています。非常に高い音を出すためにネックのかなり上まで手を移動させる必要がある曲の場合、ツールは推測するのではなく、その音符をスキップする可能性があります。
• 明確な写真が必要： 楽譜が手書きの場合、非常にぼやけている場合、または一度に多くの音符が鳴っている場合（複雑なオーケストラのスコアなど）、「スキャナー」が混乱する可能性があります。
• ライブではない： コンピュータが演奏を見守っている間にバイオリンを演奏することはできません。動画を見て一緒に練習する必要があります。

結論

このツールが登場する以前、楽譜の画像を指の配置ガイドに変換したい場合、手作業で行うか、異なる高価なプログラムを組み合わせて使用する必要がありました。MusicSynth は、すべての作業をワンクリックで完了させる、初の無料のブラウザベースのツールです。それは、混乱する音楽の画像を明確なアニメーション付きの動画チュートリアルに変換し、初心者たちが楽譜を読むことと、実際に楽器を演奏することの間の溝を埋めるのを助けます。

技術概要

技術概要：MusicSynth

問題定義
バイオリンの学習は、フレット付き楽器や鍵盤楽器と比較して、独自の教育的課題を呈します。バイオリンのネックには物理的な目印が存在しないため、初心者は楽譜を読むスキルと同時に、指の配置に関する正確な空間的直感を育成する必要があります。既存の教育ツールはこのギャップを効果的に埋めることができていません。従来の教則本は視覚的な指のガイドなしに楽譜を提供するのみであり、Yousician などのフィードバックアプリは任意の楽譜を処理するのではなく、ライブ音声入力を必要とします。さらに、ソフトウェアのインストールや手動での音符入力なしに、楽譜画像を自動的にアニメーション化された指板チュートリアルに変換する、無料でブラウザベースのツールは現在存在しません。

手法
MusicSynth は、3 つの既存のオープンソースライブラリを統合パイプラインに組み込むオープンソースの Web アプリケーションであり、バイオリンの指板アニメーションの作成を自動化します。システムは、楽譜の写真（PNG/JPG）またはデジタルの MusicXML ファイルという 2 種類の入力を受け付けます。

1. 光学楽譜認識（OMR）: 画像入力の場合、システムはオープンソースの OMR ライブラリであるOemerを利用します。Oemer は画像を処理して五線、音符頭、リズム記号を検出し、データを MusicXML 形式で出力します。画像の品質が不十分な場合、システムはユーザーに対して、よりきれいなスキャンまたはデジタルファイルのアップロードを促します。
2. 解析とデータ抽出: 入力が生 MusicXML ファイルか Oemer によって生成されたファイルかにかかわらず、Python ベースのパーサーが音高、音価、開始時刻を抽出します。休符は視覚的な出力を生成することなく、正確なタイミングを維持するために処理されます。
3. 指板検索（中核的貢献）: システムは、音楽的な音符（MIDI 範囲 G3–G6）を特定のバイオリンの弦（G、D、A、E）および指の位置（開放弦は 0、第一ポジションは 1–3）にマッピングする、独自に構築されたルックアップテーブルを採用します。このテーブルは、弦の移動や手の移動を最小化する指使いを優先し、標準的なバイオリン教育（例えば鈴木メソッド）に準拠しています。フラット記号の音符は、ルックアップロジックを簡素化するためにシャープ記号の同等音符に正規化されます。
4. ビデオレンダリング: PIL（Python Imaging Library）とMoviePyを使用して、システムはフレームごとのビデオを生成します。各フレームには以下の要素を含む指板図が表示されます。
   • 4 本の弦を表す線。
   • ポジションマーカー。
   • 現在の音符を示す大きな赤い円（音符名とポジションラベル付き）。
   • 今後の音符を示す小さなシアン色の円（先読みの手がかり）。
   • タイムスタンプとタイトル。
     最終出力は 30 fps でエンコードされた MP4 ビデオです。
5. デプロイメント: アプリケーションはStreamlitで構築され、ユーザー認証にはSupabaseを使用します。競合を防ぐために、一時ファイルは一意のセッション ID 経由で管理されます。読み取り専用ファイルシステムを備えたクラウド環境では、OMR ステップが無効化され、MusicXML 入力のみを受け付けます。

主な貢献

• 類例のないパイプライン: MusicSynth は、手動介入なしに楽譜画像から自動的にアニメーション化されたバイオリン指板チュートリアルを生成する、最初の公開済みブラウザベースのツールです。
• 教育的ルックアップテーブル: このプロジェクトは、確立されたバイオリン教育に基づき、標準的な初心者範囲（G3–G6）を網羅する、文書化され拡張可能な音符から指へのルックアップテーブルを導入します。
• エンドツーエンドの統合: OMR、MusicXML パース、ビデオレンダリングを、ユーザーフレンドリーな単一のワークフローに成功裏に統合しました。
• ベンチマーク: システムは 110 件のパブリックドメインの楽譜における定量的評価を提供し、画像から指板への変換における基準となる精度指標を確立しました。

結果と評価
システムは、5 つのカテゴリ（初心者、中級者、上級者の印刷楽譜、スキャンされた鈴木メソッドのページ、直接の MusicXML アップロード）にわたる 110 件のパブリックドメインのバイオリン楽譜で評価されました。

• 指板精度: OMR をバイパスするクリーンなデジタル MusicXML ファイルが提供された場合、システムは正しい弦と指の位置を割り当てる精度で**99.1%**を達成しました。0.9% の誤差率は、複雑な調号に関連する稀なエッジケースに起因しました。
• 音符認識（OMR）: 画像入力の場合、音符の音高精度は複雑さによって変動しました。
  • 初心者向け印刷楽譜：91.2%
  • 中級者向け印刷楽譜：84.1%
  • 上級者向け印刷楽譜：76.8%
  • スキャンされた鈴木メソッドのページ：79.3%
• 誤差源: OMR 誤差の主な源は、小節線（高いバイオリン音域で一般的）、シャープ記号の多い調における臨時記号の処理、および速く密度の高い連符におけるリズムの誤解釈でした。
• 処理速度: Apple M2 マシンにおいて、画像入力の総処理時間は平均17.1 秒でした（約 14.8 秒の OMR ステップが支配的）。直接の MusicXML 処理は平均2.3 秒でした。
• カバレッジ: ルックアップテーブルは、鈴木メソッド第 1 巻から第 3 巻に見られる固有の音符の 91.0% を網羅しており、第 1 巻については 100% のカバレッジを達成しています。不足している音符は、初心者が通常遭遇しない 7 番ポジションを超える高次ポジションに存在します。

意義と主張
本論文は、MusicSynth が手動の書き起こしとソフトウェアのインストールという障壁を取り除くことで、音楽教育における特定の満たされていないニーズに対応していると主張しています。その意義は、新しい基盤技術（OMR、パーサー、レンダラーは既に存在する）の発明ではなく、これらのコンポーネントを専門的でバイオリン中心のツールに統合した点にあります。

著者は、このツールが非同期の練習向けに設計されていることを強調しています。ユーザーはリアルタイムのフィードバックにシステムを使用するのではなく、事前にビデオを準備します。システムには、高次ポジション、複雑な多声部、手書き楽譜に関する制限がありますが、広範な標準レパートリーにおける指の配置を視覚化するための、機能的で無料の代替手段を初心者に対して提供します。本プロジェクトはオープンソースであり、コードとライブデモは MIT ライセンスの下で利用可能です。