MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

お気に入りの曲を、瞬時に全く新しいスタイルにリミックスできる世界を想像してみてください。例えば、悲しいバラードをアップテンポなロックアンセムに変えるといったことが可能です。その際、オリジナルのメロディと歌詞は完璧に保たれたままです。これは「カバーソング生成（Cover Song Generation）」と呼ばれる、AIの分野における夢のような技術です。これは、コンピュータに「音楽の変幻自在なカメレオン」になってもらうための試みです。これを行うには、AIは「音楽」（旋律、リズム、音符）と「言葉」（「b」と「p」の違いのような、言語を構成する特定の音）という、非常に異なる2つのことを同時に理解する必要があります。これは、フレーバー（歌詞）のための厳格なレシピに従いながら、同時に新しいデコレーションのスタイルを即興で作るケーキ作りのようなものです。もしAIがデコレーションは正しくできたのにフレーバーを間違えてしまったら、チョコレートケーキなのにレモン味のするケーキが出来上がってしまうかもしれません。長い間、AIはデコレーションには長けていましたが、フレーバーについてはひどいもので、言葉をめちゃくちゃにして意味不明なものにしてしまうことがよくありました。

この論文では、この問題を解決するために、AIに単なる「言葉」だけでなく、言葉の「微細な構成要素」を聞き取ることを教えるMPEchoという新しいシステムを紹介しています。研究者たちは、歌詞を正しくするためには、コンピュータが各音がいつ始まり、いつ終わるのかを正確に知る必要があることに気づきました。それは、まさに指揮者がバイオリニストが単一の音を奏でるタイミングを正確に把握するのと似ています。これを行うために、彼らはPhonsaと呼ばれる特別なツールを構築しました。これは超高精度な文字起こし係のように機能し、歌の中のあらゆる音の正確なタイミングを聴き取り、書き留めます。この超精密なタイミングとメロディを組み合わせることで、MPEchoは、言葉が明瞭で、かつ旋律に忠実な新しいカバーソングを生成することができます。結果として、このアプローチはAIの歌唱ミスを劇的に減少させ、エラー率を全単語のほぼ半分から5分の1未満へと低下させました。これは、音の微細な詳細に注意を払うことが、AIの歌唱を向上させる秘訣であることを証明しています。

問題点：AIが歌うと、もごもごしてしまう

カバーソング生成は、非常に難しいバランス調整を必要とします。参照曲の核となるメロディと正確な歌詞を維持しつつ、スタイル、楽器、そして声を変化させたいからです。SongEchoと呼ばれる以前のモデルのような試みでは、AIに「ピッチ（音の高さ）」と、「歌っている」または「歌っていない」とだけ示す単純なタグを入力することで解決しようとしました。

友人に歌を教える際、メロディをハミングして「今、歌ってるよ」とか「今は歌ってないよ」とだけ伝える場面を想像してみてください。それはあまり役に立ちません！AIはメロディを推測することはできても、どの言葉を歌うべきか、あるいはいつ次の音に切り替えるべきかを知る術がなかったのです。その結果はどうだったでしょうか？AIは正しい旋律を歌ってはいるものの、歌詞を台無しにし、「Hello」を「Helo」や「Halo」のようにしてしまいました。実際、旧来の手法では単語の**45.62%**で間違いが発生していました。これは、メニューの項目の半分がスペルミスをしている状態を読み上げるようなものです。

解決策：聴き方と歌い方の新しい方法

著者であるWei-Jaw Lee氏とYi-Hsuan Yang氏は、歌詞の問題を解決するには、歌唱音声合成（Singing Voice Synthesis: SVS）という異なる分野の手法を借りる必要があると考えました。SVSは通常、楽譜から特定の歌を歌わせるために使われますが、これは各音素（phoneme）の正確なタイミングを知っているため、非常に優れています。

彼らは、フォネームエンコーダー（音素エンコーダー）と長さレギュレーター（length regulator）をシステムに追加した新しいフレームワーク、MPEchoを構築しました。

• フォネームエンコーダー： 単に「歌唱が行われている」と知るのではなく、AIは今度はすべての音（例えば /h/, /e/, /l/, /o/）のリストと、それぞれの音がどれくらいの長さであるべきかを正確に受け取ります。
• 長さレギュレーター： これは言葉のメトロノームとして機能し、音を伸ばしたり縮めたりして、音楽のタイムラインに完璧に適合させます。

しかし、問題がありました。MPEchoにこれを教えるためには、すべての音がすでに完璧にタイミング付けされた膨大な楽曲ライブラリが必要でしたが、そのようなデータは存在しませんでした。そこで、彼らはPhonsaを構築したのです。

Phonaは、魔法のような翻訳機のようです。歌手の録音を取り込み、歌の中のあらゆる音の開始時刻と終了時刻を自動的に書き出します。これは有名な音声ツールであるWhisperに基づいたものですが、歌唱用に特別に調整されています。これは「チャンク化された（断片化された）」アテンション・システム（重なり合う小さな断片ごとに考える仕組み）を使用しており、「ブレス（息継ぎ）」や「境界」のための特殊なトークンを追加することで、歌唱特有の複雑で感情的な性質を処理できるようにしています。

結果：支離滅裂から明瞭な歌詞へ

チームは、1,427時間を超える中国語のポップスおよび伝統歌謡のデータセットを用いて、新しいシステムをテストしました。彼らはMPEchoを、従来のSongEchoモデルや他のバリエーションと比較しました。

1. タイミングの魔法： Phonsaを使用してMPEchoに精密なフォネーム（音素）のタイミングを与えたところ、単語の誤り（フォネーム誤り率、PER）が劇的に減少しました。

   • 旧モデル (SongEcho)： 単語の**45.62%**で間違いが発生。
   • 新モデル (MPEcho)： 単語のミスはわずか18.65%。
   • これは、もごもごとした支離滅裂な状態から、実際に理解できるレベルへと劇的に改善されたことを意味します。

2. スイートスポット（最適解）： 彼らは、メロディのみを使用すると（言葉が乱れる）、またフォネームのタイミングのみを使用しても（メロディが不自然になる）不十分であることを発見しました。しかし、両方を組み合わせ、旋律と精密な音のタイミングの両方をAIに与えたとき、最高の組み合わせとなりました。その結果、歌は音楽的であり、かつ歌詞は明瞭になりました。

3. 「ジャム・スタイル」対「SVSスタイル」： 彼らはまた、音を整理する方法（単語ごとにグループ化する「ジャム・スタイル」と、個々の音ごとにグループ化する新しい「SVSスタイル」）についてもテストしました。SVSスタイルの方がはるかに優れた結果を示しました。「ジャム・スタイル」は、まるで「次の通りに進んでください」と指示を出しているようなものでしたが、「SVSスタイル」は「赤い家の角を左に曲がり、次に青い郵便受けのところで右に曲がってください」と言うようなものでした。この追加の精密さが、AIが迷うのを防ぐのに役立ったのです。

4. 人間の評価： 最後に、彼らは実際の聴衆に作成された曲を聴いてもらいました。リスナーは、MPEchoによる楽曲に対し、メロディの一貫性、歌唱の自然さ、および全体的な品質において高い評価を与えました。興味深いことに、人間のリスナーは、コンピュータの指標が示す以上に、歌詞の明瞭さを高く評価しており、言葉が明瞭であることがより優れたリスニング体験を生むことを証明しました。

これが意味すること

この論文は、人間らしく、かつ明瞭に歌う完全な楽曲をAIに生成させたいのであれば、全体像（メロディと言葉）を見るだけでは不十分であることを示唆しています。音の作られ方の、一瞬の、極めて細かい詳細までズームインして理解しなければなりません。音楽生成のベストな部分と、音声合成の精密さを組み合わせることで、MPEchoは、AIが創造的なアーティストのように響きながら、歌詞を正しく歌うことができることを示しました。

研究者たちは、このシステムが現時点では単独の歌手とマンダリン中国語（普通話）において最も効果的に機能することを注意深く述べています。彼らは、将来の研究において、複数の歌手や異なる言語、さらにはより豊かな感情表現にも対応させる可能性を示唆しています。しかし現時点では、彼らは、単に「良い響き」であるだけでなく、実際に「意味が通じる」AIカバーソングを作るためのコードを解読したのです。