🤖 machine learning

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptorは、合成データによる事前学習、実データによるファインチューニング、強化学習、および楽器条件付けを組み合わせることで、既存の手法の汎用性の限界を克服し、実世界の録音における効果的なマルチインストゥルメント・ミュージック・トランスクリプションを実現するオープンウェイトのモデルである。

原著者： Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

公開日 2026-07-10✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、混沌としたロックコンサートを聴き取り、どのミュージシャンが、どの楽器で、どの音を、どれくらいの長さで演奏したのかを正確に書き留めるように教える場面を想像してみてください。それが**自動音楽採譜（Automatic Music Transcription: AMT）**の仕事です。長年、科学者たちはソロピアノや単一のドラムキットを採譜することには長けているロボットを構築してきましたが、エレキギター、歪んだベース、そして叫ぶシンガーが入ったフルバンドを投入した途端、ロボットは通常、クラッシュしてしまいます。ノイズや、重なり合う音、そして現実世界の音楽が持つ無秩序な現実に混乱してしまうのです。

そこで登場したのが、クラシックのオーケストラからヘヴィメタルに至るまで、ほぼあらゆるジャンルの「フルバンド」の混沌とした状況に成功的に対処できる唯一のモデルであると主張する、新しいオープンソースモデルのMuScriptorです。

秘訣：偽物の練習 vs 本物の現場

この論文の主な発見は、これらの音楽を読み取るロボットを訓練するための特定のレシピです。著者らは、ロボットに本物の音楽をただ与えるだけでは学習が速まらない一方で、完璧にコンピュータ生成された音楽だけを与えても現実世界で機能させることはできないことを見出しました。

これは、シェフの訓練に似ています。

合成データ（シミュレーション）： チームはまず、145万個のコンピュータ生成MIDIファイルをモデルに投入することから始めました。これは、すべての材料が正確に計量され、決して焦げることがない、完璧で無菌状態のキッチンで練習するシェフのようなものです。論文は、これが「事前学習」——つまり、音楽理論の基礎を学ぶための大きな滑り出しを与えること——において極めて優れていることを示唆しています。
実データ（レストラン）： しかし、論文は明確に、シミュレーションだけで止まることは失敗であると論じています。もし合成データのみで訓練した場合、ロボットは歪んだギターやリバーブのかかったシンガーを聞くと、惨めな結果に終わります。これを修正するために、チームは17万曲の実録音（合計11,000時間以上）をミックスに加えました。これが、シェフが予測不能で乱雑な食材を扱う方法を学ぶ「実際のレストラン」となります。
結果： この両方を組み合わせることが魔法であることを論文は示しています。合成データのみで訓練されたモデルは、音の認識にはそれなりにできていましたが、細部についてはひどい状態でした。しかし、実録音でファインチューニングを行った後、パフォーマンスは全般的に約20パーセントポイント跳ね上がりました。

「強化学習」による磨き上げ

ロボットが合成データと実データから学んだ後、著者らは最後に非常に厳格な磨き上げを行いました。彼らは、人間によって完璧に注釈（アノテーション）された、極めて高品質な300曲の非常に小さなデータセットを取り上げました。彼らは強化学習（具体的にはGRPOと呼ばれる手法）を用いて、モデルがこれらの300曲で練習し、自身の出力を完璧な人間のバージョンと比較することで「間違いから学ぶ」ことができるようにしました。

これは、シェフが自分の作った料理を味わい、「ああ、塩を入れすぎた」と気づいて調整するようなものです。論文は、このステップが単に数値を微調整しただけでなく、モデルが「見逃す」音（偽陰性）を具体的に減らし、音のタイミングをより鋭くしたことを示唆しています。

ロボットができること（とできないこと）

論文は、MuScriptorができることを非常に明確に述べています。それは、5秒間のオーディオクリップを聴いて、音のリストを吐き出すことです。さらに、「ヘイ、この曲にはギターとドラムがいることは分かっているけれど、それ以外は無視して」と指示することもできます。この「楽器の条件付け（instrument conditioning）」により、ロボットはどの楽器がどの音を奏でているのかについて混乱することなく、集中力を維持できます。

しかし、論文では以下の事項についても否定しています。

重なり合う音に対する魔法ではない： もし二人の人間が同じ楽器で全く同じ音を同時に演奏した場合（例えば、二つのバイオリンがユニゾンで演奏する場合）、現在のシステムは正しくカウントするために、短い方の音を切り捨てなければなりません。論文は、これを完璧に扱うには異なる「トークナイゼーション（音の書き出し方）」が必要であると認めています。
まだすべてのデータセットに対する「万能薬」ではない： 多くのテストにおいて、以前の最高モデル（YourMT3+など）を打ち負かしているものの、論文では、特定のデータセット（合唱曲など）においては、音の開始と終了のタイミングがいまだに難しいと指摘しています。論文は、特定のスタイルの音楽に対して正確な開始・終了時間を注釈することは、人間にとっても本質的に困難であると示唆しています。

数字のゲーム

論文は単に「より優れている」と言っているのではなく、それを測定しています。

多様な楽曲を用いたテストセットにおいて、最終的なモデル（合成データ、実データ、および300曲の磨き上げで訓練されたもの）は、47.8のMulti F1スコア（αCFG = 2という特定のセッティングにおいて）を達成しました。
これを、同じ指標における以前の最高モデルであるYourMT3+と比較すると、21.9でした。これは極めて大きな飛躍です。
さらに、6,000万のパラメータを持つ最小バージョンのモデルであっても、フレームF1スコアで65を記録しており、まともな結果を得るためにスーパーコンピュータは必要ないことを示唆しています。

結論

論文は、MuScriptorが、実際に動作する、乱雑でマルチインストゥルメンタルな音楽に対応したオープンウェイトモデル（誰でもダウンロードして使用できることを意味する）であるため、重要な前進であると結論づけています。これは、合成データが学習の初期段階においては強力なツールである一方で、それ自体では不十分であることを示唆しています。現実のコンサートの混沌に対処する方法をロボットに教えるには、乱雑で現実世界のデータが必要なのです。

著者らは、多様なジャンルのセットでテストを行い、最先端のベースラインモデルと直接比較したことで、その結果に自信を持っています。彼らは、音楽採譜のあらゆる問題（例えば、同じ楽器での重なり合う音を完璧に扱うことなど）を解決したと主張しているわけではありませんが、これまでのどのツールよりも、ミュージシャンや研究者にとって遥かに有用なツールを構築しました。

技術要約: MuScriptor – マルチインストゥルメント音楽転写のためのオープンモデル

1. 問題提起

自動音楽転写（AMT）は、オーディオ録音を記譜表現（通常はMIDI）に変換することを目的としている。ピアノ、ギター、ドラムなどの単一楽器のシナリオでは大きな進展が見られるが、マルチインストゥルメントかつ現実世界の音楽ミックスに対する汎用的な転写は、依然として重要なボトルネックとなっている。MT3とその派生形などの既存の最先端モデルは、合成データに大きく依存していることが多い。これらのモデルは合成テストセットでは優れた性能を示すが、多様な音色、重なり合う周波数、オーディオエフェクト（歪みなど）を特徴とする複雑な実世界のプロダクションに適用されると、顕著なドメインシフトに直面する。その結果、現在のマルチインストゥルメントAMTシステムは、音楽学、生成モデリング、または音楽情報検索（MIR）におけるダウンストリームアプリケーションにおいて、エラーが発生しやすすぎる場合が多い。

2. 手法

2.1 モデルアーキテクチャ

MuScriptorは、複雑なエンコーダー・デコーダーや階層的アテンション構造を避け、シンプルながら効果的な設計を採用したデコーダーのみのTransformerアーキテクチャを採用している。

入力: モデルは、5秒間のメルスペクトログラム（16kHzモノラルオーディオから、2048 nFFT、160ホップサイズ、512メルのビンを用いたSTFTにより算出）と、オプションのターゲット楽器リストを受け取る。
コンディショニング: 楽器の存在は、ローカルなセグメントデータではなく、グローバルなコンディショニング信号（トラック全体の楽器リスト）として提供される。これらの楽器埋め込みは、Transformerのプレフィックス・コンディショニングとして機能するように、スペクトログラムの投影と結合される。
トークン化: 音符のアノテーションは、MT3_FULL_PLUSのタクソノミーに基づき、128のMIDI楽器を36のサブグループにマッピングするMT3と同様の方法でトークン化される。
推論: 転写は自己回帰的なデコーディングを介して生成される。システムは、生成品質を向上させるために、強さ $\alpha_{CFG} = 2$ の**Classifier-Free Guidance (CFG)**をサポートしている。

2.2 データ戦略

トレーニングパイプラインは、合成データと実データを組み合わせた3段階のアプローチを利用する：

合成事前学習 ( $D_{Synth}$ ): 145万個のMIDIファイルのデータセットを、オンザフライでオーディオに変換する。パイプラインは、ランダムな拡張（ピッチシフト、テンポ変更、ベロシティ調整、楽器のランダム化）を適用し、250種類以上のサウンドフォントのプールを用いてランダムなデチューニングを行いながらオーディオを合成する。これにより、記譜データから無限の種類のオーディオ実現が可能となる。
実データによるファインチューニング ( $D_{Real}$ ): クラシックからヘヴィメタルまで多様なジャンルをカバーする、精選された17万個の実世界の音楽録音（約11,000時間）を用いてモデルをファインチューニングする。これらのトラックには、オーディオ・シンボリック同期（線形補間および動的時間伸縮法を使用）によって得られた整列済み音符アノテーションが含まれている。
強化学習によるポストトレーニング ( $D_{RL}$ ): 300個の高品質で手動検証されたトラックのサブセットを使用して、ポストトレーニングを行う。モデルは**Group Relative Policy Optimization (GRPO)**アルゴリズムを採用している。
- 各バッチに対して、モデルは $G=8$ 個の独立した転写を生成する。
- 報酬は、グラウンドトゥルースに対するOnset、Frame、およびOffset F1スコアの合計として計算される。
- アドバンテージは、グループ内での報酬の正規化によって計算され、モデルはこれらのアドバンテージによって重み付けされたREINFORCE目的関数を通じて更新される。

2.3 評価指標

性能は、mir_evalライブラリからの標準的なMIR指標を用いて測定される：

Onset F1: $\pm 50$ msのオンセット許容誤差を伴うピッチ一致。
Offset F1: オンセット基準に加え、 $\max(50\text{ms}, 0.2 \times d_{ref})$ のオフセット許容誤差を含む。
Frame F1: 62.5 msの解像度におけるフレーム単位のオーバーラップ。
Multi F1: 最も厳格な指標であり、正しいピッチ、タイミング、および楽器の分類を要求する。
注記: トークン化の制限により、テストセットの評価前に、同一楽器かつ同一ピッチの重複する音符は削除される。

3. 主要な貢献

MuScriptorモデル: 多様な音楽ジャンルを扱うことが可能な、オープンウェイトの汎用マルチインストゥルメント転写モデル（60Mから1.3Bパラメータのサイズ展開）のリリース。
大規模データセット: 17万個の実世界の録音と145万個の合成MIDIファイルを組み合わせた包括的なデータセットのキュレーション。これは、マルチインストゥルメントのアノテーションデータの不足に対処するものである。
合成事前学習の分析: 合成データは単独の汎用転写には不十分であるが、特に実データが乏しい場合には事前学習において非常に効果的であることを示す比較研究。
強化学習によるアライメント: 高品質な転写にモデルを適合させるためのGRPO風アルゴリズムの適用。これはAMTの文献ではこれまで探索されていなかった手法である。
楽器条件付き転写: オプションの楽器コンディショニングの導入。これにより、ユーザーは出力のカスタマイズ（例：特定の楽器の転写）が可能になり、セグメント境界を越えた予測が安定する。

4. 実験結果

4.1 トレーニング段階とパフォーマンス

1.3Bパラメータモデルを用いた実験（保持されたテストセット $D_{Test}$ での評価）では、明確な性能の進展が見られる：

合成のみ: 競争力のあるFrame F1 (51.3) を達成するが、Multi F1 (15.2) および Onset F1 (26.1) は低い。これはドメインギャップを裏付けている。
合成 + 実データ ( $D_{Synth} + D_{Real}$ ): 実データによるファインチューニングにより大幅な改善が見られ、Multi F1は41.7、Onset F1は54.4に上昇する。
フルパイプライン ( $D_{Synth} + D_{Real} + D_{RL}$ ): RLポストトレーニングの追加により性能がさらに向上し、Multi F1 47.8、Onset F1 60.4 ( $\alpha_{CFG}=2$ ) を達成する。

4.2 比較分析

SOTAとの比較: MuScriptorは、外部ベンチマークデータセット（Bach10, Dagstuhl ChoirSet, RWCなど）において、強力なSOTAモデルであるYourMT3+を大幅に上回る性能を示す。例えば、Dagstuhl ChoirSetにおいて、Frame F1はYourMT3+の51.0からMuScriptorの80.7へと向上する。
合成事前学習の影響: 分析によれば、事前学習は実データが限られている場合に最も有益である（例： $D_{Real}$ を1%のみ使用した場合、事前学習によりOffset F1が9.9から33.4に向上する）。しかし、実データの量が増えるにつれて、事前学習による相対的な利得は減少するが、100%のデータ使用時でもわずかな優位性は維持される。
モデルのスケーリング: パフォーマンスはモデルサイズとともにスケールする。60MパラメータモデルはFrame F1 65.7を達成し、1.3Bモデルは68.7に達しており、異なるリソース制約下での適用可能性を示唆している。
入力表現: メルスペクトログラムは、Magnitude CQT、Encodecコーデック、MERT埋め込みなどの代替入力よりも優れた性能を示した。これは、生の信号特性に近い表現がこのタスクに最適であることを示唆している。

5. 意義と主張

論文は、MuScriptorが、幅広いジャンルにわたるマルチインストゥルメント音楽転写のための最初の効果的なオープンウェイトモデルであると主張している。

著者らは、従来のアプローチがアーキテクチャの洗練（階層的アテンション、MoEなど）に依存していたのに対し、彼らの成功は主にデータの規模と種類、具体的には、大規模な合成事前学習、広範な実世界ファインチューニング、およびRLベースのアライメントの戦略的な組み合わせに起因すると強調している。本モデルは、音楽家、音楽学者、およびMIRや生成モデリングの研究者にとって、複雑なミックスにおける正確な転写ツールの欠如によってこれまで阻まれてきたタスクを可能にする基礎的なツールとして提示されている。著者らは、同一楽器の重複する音符のトークン化に関する制限が残っていることを謙虚に認め、将来の研究では楽器の語彙とセグメントサイズを拡張できる可能性があると述べている。