🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

本論文は、マルチトラックMIDI録音と整合された572の多様なポップミュージックセグメントで構成されるデータセットであるMulTTiPopを紹介するものであり、これは最新の自動採譜モデルにおける顕著な性能差を評価し、実証するために使用される。

原著者： Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに耳で音楽を読み取る方法を教えようとしていると想像してみてください。ドラム、ベース、ギター、ボーカルといった楽器が混ざり合ったフル編成のポップソングを聴かせ、あらゆる楽器が何を演奏しているのかを正確に書き取らせたいと考えています。とても面白そうですよね？しかし、ここには問題があります。これまでは、ロボットが正しくできているかどうかを確認するための、優れた「解答集」が存在しなかったのです。既存の解答集の多くは、ピアノ独奏用（簡単すぎる）、コンピュータによって生成されたもの（完璧すぎる）、あるいは主要なメロディやコードのみを記載したもの（単純すぎる）でした。

そこで登場したのが、この問題を解決するためにカーネギーメロン大学の研究者たちが作成した新しいデータセット、MulTTiPopです。MulTTiPopを、1930年代から2000年代までの実際のポップヒット曲を集めた、3.5時間の巨大なプレイリストだと考えてください。これには、あらゆる楽器がミリ秒単位で何をしているかを正確に示す「魔法の楽譜」がペアになっています。

壮大なマッチング・ゲーム

彼らはどのようにしてこれを構築したのでしょうか？それは、まるでハイリスクな「一致探し」ゲームのようでした。

手がかり： 彼らは、YouTube動画の膨大なリスト（TheoryTabというデータベース）と、デジタル楽譜の巨大なライブラリ（Lakh MIDI Dataset）からスタートしました。
最初のフィルター： コンピュータの魔法を使い、曲のタイトルとアーティスト名を照合しました。名前がほぼ同一であれば、そのペアを保持しました。これにより、約1,164組の潜在的なマッチが絞り込まれました。
テンポのひねり： ここがトリッキーなところです。たとえ同じ曲であっても、デジタル楽譜の「ビート」は、実際のYouTube動画よりもわずかに速かったり遅かったりする場合があります。それは、同じ曲に合わせて踊ろうとしている二人のダンサーが、一人が少し足を引きずっているようなものです。
人間の手による調整： タイミングを修正するために、研究者たちは巧妙なトリックを使いました。彼らは特定の「アンカービート」（音楽が確実に一致する瞬間）を見つけ出し、そのアンカーに基づいてデジタル楽譜を伸ばしたり縮めたりして、実際のビデオのリズムに完璧に合うようにしました。しかし、コンピュータはこうしたアンカービートを選ぶのが完璧ではありません。そこで、彼らは人間のアノテーター（音楽とテクノロジーを愛する学生たち）に、ビデオを聴きながらデジタル楽譜を並べて見て、正しい位置合わせを行うよう依頼しました。

最終的に、彼らは572セグメントの音楽を正常に整列させることに成功しました。これは約3.5時間のオーディオであり、263組の異なるアーティストによる374曲のユニークな楽曲をカバーしています。

現実的な検証：ロボットにはまだ長い道のりが待っている

研究者たちは単にデータセットを作っただけではありません。彼らはすぐに、最高峰のロボットミュージシャンたちをテストにかけました。彼らは、MT3とYourMT3+と呼ばれる2つのトップティアAIモデルに、これらのMulTTiPopクリップを聴かせ、音符を書き取らせました。

結果はどうだったでしょうか？ロボットは苦戦しました。

最も優れたモデルでも、音の開始位置（Onset F1と呼ばれる指標）の正解率は約**38%**でした。
音楽が複雑になると、ロボットは混乱することがよくありました。メロディは聞き取れてもベースを聞き逃したり、一つの楽器に執着して他の楽器を無視したりすることがありました。
あるモデルはボーカルを推測しようとしましたが、それをサックスとしてラベル付けしていました（面白いですが、間違いです）。

論文は、これらのロボットが失敗する理由は、彼らが（Slakh2100のような）コンピュータ生成の偽物の音楽で主に訓練されてきたからであると示唆しています。それは、シェフに完璧なプラスチック製の食品モデルだけを見せて料理を教えた後に、本物の、ジュージューと焼けるステーキを差し出し、「さあ、どうすればいいか分かっているはずだ」と期待するようなものです。

このデータセットとは何か（そして、何ではないのか）

著者たちは、このゲームのルールを非常に明確にしています。

それはテストのためのものです。MulTTiPopは、音楽転写AIの「最終試験」として設計されています。これは、ロボットがどこで失敗しているのかを示し、私たちがそれを修正できるようにするためのものです。
それは学習のためのものではありません。研究者たちは、このデータセットをロボットを教えるために使うことを明確に禁止しています。なぜなら、曲が著作権のある商業的なヒット曲であり、データセットが比較的規模が小さいため、これを使ってモデルを訓練することは不公平であり、法的に不安定だからです。
それはバイアスを持っています。論文は、選ばれた曲の多くが西洋のポップミュージック（アメリカのアーティスト、西洋の和声）であると認めています。これは、もしロボットがMulTTiPopで優れた成績を収めたとしても、それは西洋のポップスにおいて優れているだけであり、世界の他の地域や異なる伝統の音楽においても同様に優れているかどうかは確信できないことを示唆しています。

結論

MulTTiPopは、複雑なポップミュージックに対して、ついに現実的な「解答集」を提供する極めて重要な新しいツールです。これは、音楽転写AIが単純なタスクについては向上しているものの、本物のポップバンドの、混沌とした素晴らしい音楽を真に理解できるようになるには、大幅な改善の余地があることを証明しています。現在、ロボットはこのテストで「Cマイナス」を取っていますが、研究者たちは、この新しいデータセットによって、彼らがもっと一生懸命勉強し、次回は「A」を取れるようになることを期待しています。

技術要約: MulTTiPop

問題提起

自動音楽採譜（AMT）は、ソロピアノの採譜から、より幅広い楽器やスタイルへのカバーへと進化してきた。しかし、実世界の商業的なポップミュージックにおけるマルチトラック採譜には、依然として大きな隔たりが存在する。既存のモデルは、合成データ（Slakh2100など）や限定的なドメイン（MAESTROにおけるソロピアノなど）で訓練されているため、商業的に制作された楽曲に対して失敗することが多い。さらに、商業的なポップオーディオとグランドトゥルース（正解）となる、時間軸が整合されたマルチトラックMIDIを組み合わせたデータセットが不足しているため、体系的な評価が妨げられている。TheoryTabのようなデータセットは商業オーディオを提供しているが、提供されるのは弱く整合されたメロディやコードの注釈のみであり、フルマルチトラックMIDIではない。一方で、RWC-PopのようなデータセットはマルチトラックMIDIを提供しているが、ジャンルの多様性に欠け、研究用に特別に作曲された楽曲を使用している。

手法

著者らは、商業的なポップオーディオのセグメントをマルチトラックMIDIファイルと整合させることで作成されたデータセット、MulTTiPopを提案する。構築プロセスは、以下の4つの主要な段階で構成される：

メタデータに基づくマッチング:
- オーディオソース: セグメントは、ユーザー生成のメロディ/コード注釈とYouTube動画のタイムスタンプを含むTheoryTabデータセット（初期ターゲット数 25,947）から取得される。
- MIDIソース: マルチトラックMIDIファイルは、Million Song Datasetと一致するサブセット（31,305曲）を含む**Lakh MIDI Dataset (LMD)**から取得される。
- マッチング: 著者らは、RapidFuzzを使用して、TheoryTabのアーティスト名および曲名のメタデータとLMDの間のレーベンシュタイン距離を計算する。このフィルタリングにより、1,164件の潜在的な一致が得られた。
ビートベースの時間整合:
- MIDIのテンポは商業オーディオとわずかに異なることが多いため、きめ細かな整合が必要である。
- ビートトラッキング: 著者らは、オーディオセグメント（0.5秒のパディング付き）に対して、RNNベースのビートトラッキング（madmom経由）を用い、オーディオビートグリッド（ $b_a$ ）を抽出する。MIDIビートグリッド（ $b_m$ ）は、ファイルの内部構造から導出される。
- ワーピング: テンポの不一致に対処するため、システムはMIDIノートのタイミングに対して線形補間を行う。オーディオの最初のビートを $k$ 番目のMIDIビートにリンクさせるアンカービート $k$ を定義し、オーディオのタイミングに合わせてMIDIをワーピングする。
候補アンカービートの選択:
- 自動的なアンカービート選択は信頼性が低いことが判明した。著者らは、以下の異なる指標を用いて最大4つの候補アライメントを生成する：
  - Base (ベース): ワーピングされたMIDIとオーディオ間のクロマ余弦類似度およびオンセット相関（ピアソン）。
  - Melody (メロディ): TheoryTabのメロディ注釈と個々のMIDI楽器パート間のクロマ余弦類似度（重み75%）。
  - YouTube Timing (yt): YouTube動画のフルMIDI期間に対する絶対開始時間に基づいてビートをフィルタリング。
  - Combined (yt_melody): YouTubeのタイミングによってフィルタリングされたビートにメロディ指標を適用。
人間によるアノテーション:
- CS（コンピュータサイエンス）および音楽テクノロジー専攻の学生であるアノテーターが候補をレビューする。彼らには、元のオーディオ、ピアノロールの可視化、合成されたMIDIバージョン、およびオーディオ/MIDIのオーバーレイが提示される。
- アノテーターは、最もオーディオに一致するアライメントを選択する。完璧な候補がない場合は、そのサンプルは拒否される。また、アノテーターは、誤ったメタデータマッチング（曲の間違い）による失敗か、整合の問題（ビート/テンポの間違い）による失敗かを区別する。

主な貢献

MulTTiPop データセット: 商業的なポップミュージックの572セグメント（3.5時間）を、時間軸が整合されたマルチトラックMIDI採譜とペアにしたコレクション。
多様性: 1930年代から2000年代までの374曲のユニークな楽曲と263人のアーティストをカバーしており、101のジャンル（Rock, New Wave, Motownなど）に及ぶ。これはRWC-Popのジャンル多様性を大幅に上回る。
商業オーディオのグランドトゥルース: 合成データセットとは異なり、MulTTiPopは完全に制作された商業録音のグランドトゥルースを提供し、AMTにおける「合成から実世界へ」のギャップに対処する。
評価プロトコル: データセットは、データリークを防ぐためにアーティストごとに層化された、開発セット（169セグメント）とテストセット（403セグメント）に分割されている。著者らは、そのサイズと著作権の制約から、MulTTiPopを評価のみに使用することを明示的に推奨している（学習には使用しないこと）。

結果

著者らは、2つの最先端のAMTモデル、MT3と**YourMT3+**を、MulTTiPopテストセットを用いて評価した：

パフォーマンス: 両モデルとも、他のベンチマーク（MusicNet, GuitarSetなど）での結果と比較して、極めて低い性能を示した。
- YourMT3+ は、最高の Onset F1（調波・打楽器成分）で 37.87%、Exact（完全一致）で 25.29% を達成した。
- MT3 は、Onset F1 で 36.83%（調波・打楽器成分）、28.42%（完全一致）を達成した。
定性的分析:
- モデルはテクスチャが密な音楽に苦戦し、一貫したマルチトラック採譜を生成できないことが多い。
- MT3 は曲の一部のパートに固執する傾向があり、その結果、断片的な採譜や不一致な楽器ラベル付けを引き起こした。
- YourMT3+ は一貫性は高いものの、楽器パートを見落とし、リズムのニュアンスに欠けていた。また、ボーカルラインを誤認（しばなくサックスとしてラベル付け）しており、これが「Exact」指標に悪影響を与えた。
結論: 低いスコアは、実世界のマルチトラック・ポップミュージックに適用した場合、現在のAMTシステムには「大幅な改善の余地がある」ことを示している。

意義と主張

本論文は、MulTTiPopを、商業的なポップミュージックにおけるAMTの停滞に対処するための不可欠なベンチマークとして位置づけている。その主な意義は以下の通りである：

ギャップの解消: 商業オーディオとフルマルチトラックMIDIを組み合わせたこの種で初のデータセットを提供し、実世界での使用を意図したモデルの厳格な評価を可能にする。
限界の露呈: 合成マルチトラックデータ（Slakh2100など）で訓練されたモデルであっても、商業録音には汎化できないことを示し、より良い訓練データまたはアーキテクチャの必要性を浮き彫りにした。
代表的なサンプリング: マルチトラックAMTにおける、西洋のポピュラー音楽の多様なユースケースを提供する。

制限事項と注意点:
著者らは、ソース資料（TheoryTab/HookTheory）が主にアメリカおよび西洋中心であるため、データセットに西洋へのバイアスがあることを明記している。したがって、MulTTiPopはグローバルな音楽ではなく、「西洋のポピュラー音楽の規範」におけるパフォーマンスを反映していると主張している。さらに、データセットの規模とラベルの性質（著作権のある商業オーディオ）から、著者らは生成モデルの訓練にMulTTiPopを使用しないよう厳格に助言している。