AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model

お気に入りの曲がラジオから流れてきて、それをピアノで美しく演奏してほしいと想像してみてください。かつて、その曲のピアノ版を手に入れるには、人間の専門家を見つけ出し、その録音を聴いて、すべての音符やリズムを特定し、楽譜に書き起こしてもらう必要がありました。これは、長年の音楽訓練を必要とする大変な作業です。

最近では、コンピュータがこれを自動で行えるほど賢くなりました。しかし、既存のコンピュータプログラムは、まるで「不器用な生徒」のようでした。メロディの概略を推測することはできても、細部を見逃したり、リズムが硬くなったりして、結果として元の曲とは似ても似つかないものになってしまうことがよくありました。

この論文の著者である小宮一真氏と福原嘉久氏は、より「音楽の天才」のように振る舞うコンピュータを作りたいと考えました。彼らは AMT-APC と呼ばれる新しい手法を開発しました。その仕組みを簡単に説明します。

1. 「音楽探偵」 vs 「ピアノ編曲家」

彼らのトリックを理解するために、2つの異なる仕事を想像してみてください。

• 音楽探偵 (AMT): これは、あらゆる音楽を聴いて、どのピアノの鍵盤が、いつ、どの程度の強さで押されたかを正確に特定するように訓練されたコンピュータプログラムです。「転写（トランスクリプション）」のエキスパートです。彼は「ここでドの音を聞いた」と言うのが非常に得意です。
• ピアノ編曲家 (APC): これは、ある楽曲（ドラムやギターが入ったロック曲など）を受け取り、それをピアノのみのバージョンに変換するプログラムです。

問題点: 従来の「編曲家」は、この仕事をゼロから学ぼうとしていました。そのため、混乱して間違いを犯すことがよくありました。

解決策 (AMT-APC): 著者たちは、「音楽探偵」はすでに音楽を完璧に聴く方法を知っていることに気づきました。そこで、新しい生徒にゼロから教え込むのではなく、「音楽探偵」を取り上げ、それを「ピアノ編曲家」にするための特別な追加訓練を施したのです。

このように考えてみてください。あなたは、スープに含まれる材料を味わい、何が入っているかを正確に特定することに長けた、有名な「マスターシェフ」を持っています。新しいシェフを雇って料理を学ぶ代わりに、そのマスターシェフを連れてきて、特定の材料（ピアノ）だけを使ってどのようにスープを再現するかを教えるのです。シェフはすでに味を完璧に理解しているため、ゼロから始める人よりもずっと上手く料理を再現できるのです。

2. 「スタイル」のスイッチ

コンピュータによる音楽の一つの問題は、ロボットのように聞こえてしまうことです。もしコンピュータに曲を演奏するよう頼んだとしても、感情や抑揚のない、ただ音符を奏でるだけのものになってしまうことがあります。

著者らは、**「スタイル・ベクトル (Style Vector)」**と呼ばれる特別な機能を加えました。これは、いわば「ムードのダイヤル」や「演出家の指示」のようなものです。

• ダイヤルを 「穏やか (Calm)」 に設定すると、コンピュータはゆっくりと、優しく、少ない音数で曲を演奏します。
• ダイヤルを 「激しい (Intense)」 に設定すると、コンピュータは同じ曲を、よりエネルギッシュに、速いリズムと強い音で演奏します。

コンピュータは、リファレンス（例えば穏やかなピアノカバーなど）を見て、その「雰囲気」をコピーしながら演奏することを学びます。これにより、同じ曲であっても選んだスタイルに応じて異なる響きを持つことができ、音楽がより生き生きとした、ロボットがスプレッドシートを読み上げているような感覚ではないものになります。

3. テストの方法

彼らの新しい手法が本当に機能するかどうかを確認するために、他のコンピュータプログラムと比較し、さらには人間によるカバー曲とも比較テストを行いました。

• テスト: コンピュータにオリジナルの曲を入力し、ピアノカバーを生成させました。
• 測定: 特殊な「類似度スコア（Qmax）」を用いて、コンピュータが作ったピアノバージョンが、元の曲にどれだけ近いかを調べました。スコアが低いほど、コンピュータがオリジナルの雰囲気を見事に捉えていることを意味します。

結果:

• 彼らの新しい手法（AMT-APC）は、最も低いスコアを記録しました。これは、元の曲を再現する能力が最も高かったことを意味します。
• 既存の他のコンピュータプログラムよりも優れた結果を出しました。
• 興味深いことに、テスト用にデジタル化された一部の人間によるカバー曲よりも、わずかに優れたパフォーマンスを示しました。

4. 得られた知見

この研究は、主に2つのことを示しました。

1. 「聴くこと」は「弾くこと」への第一歩である: コンピュータがまず優れた「聞き手（転写）」として訓練されたことで、より優れた「演奏者（編曲）」になることができました。
2. スタイルは重要である: 「スタイル・ベクトル（ムードのダイヤル）」がないと、コンピュータは少し混乱し、音楽の一貫性が失われます。これがあることで、コンピュータは曲の穏やかなバージョンと激しいバージョンを確実に切り替えることができました。

まとめ

著者らは、音楽を「聴く」エキスパートであるコンピュータを、ピアノのカバーを「弾く」ように微調整（ファインチューニング）するシステムを構築しました。これによって、コンピュータは、あらゆる曲を元の曲により近く、かつ以前よりも表現力豊かなピアノカバーへと変えることができるようになりました。彼らはコードと例をオンラインで公開しており、他の人々も試すことができます。