Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

あなたはロボットに音楽プロデューサーになろうと教えているところだと想像してください。単に曲をコピー＆ペーストしたり、既存の曲と全く同じようなヒット曲を書いたりするのではなく、あなたの「散らかった音楽的なアイデア」を聞き取り、「バイブス（雰囲気）」を理解し、主導権を握りすぎることなく提案を行ってくれる「コラボレーター」であってほしいと考えています。これが、科学者たちが、音楽を単なる音波の流れとしてではなく、音符、コード、リズムといった構造化された言語として「聴く」ことができるマシンを構築しようとしている分野、「AI音楽共同制作（AI music co-creation）」の世界です。

これを行うために、研究者たちはしばしば「ワールドモデル（世界モデル）」を使用します。ワールドモデルとは、いわば「心の地図」のようなものです。目を閉じて部屋を想像するとき、前方に進めば壁が近づき、左に曲がればドアが現れることをあなたは知っています。ワールドモデルは、次に何が起こるかを予測することによって、これらのルールを学習します。音楽におけるワールドモデルは、メロディを音程で上げたり、時間軸で進めたりした場合に、どのように変化するかを予測しようとします。これからあなたが読む論文は、特定の課題に取り組んでいます。それは、音楽を深く理解できるほど十分に賢いパートナーでありながら、巨大で高価なスーパーコンピューターを必要とせず、一般的なコンピュータでも動作するほどシンプルに構築する方法です。目標は、人間のアーティストを置き換えることではなく、究極の「AIリック・ルービン」になることです。自分の好みを理解しており、たとえ楽器が弾けなくても、それを言葉にできるプロデューサーのような存在です。

「AIリック・ルービン」：耳を傾ける音楽パートナー

この論文は、コラボレーティブな音楽パートナーとなるよう設計された、新しい種類のAIを紹介しています。あらゆるものを演奏してくれる名手を目指すのではなく、このシステムは「聞き上手」であり「提案者」であるように構築されています。著者はこれを、楽器はほとんど弾けないが、何が良い音であるかを見抜く驚異的な耳を持っていることで有名な音楽プロデューサーにちなんで、「AIリック・ルービン」と呼んでいます。目標は、人間の音楽的アイデアを聞き、その構造を理解し、人間が創造的なプロセスにおいてしっかりと主導権を握り続けられるように、フィードバックや新しい音楽の断片を提示できるAIを作ることです。

「耳」：音楽を感じ取ることを学ぶ

システムの第一部分は「耳」です。ほとんどのAI音楽モデルは、学生がテストを受けるように訓練されます。つまり、「これはCメジャーのコードです」とか「これは悲しい曲です」といったラベルが付与された何千もの楽曲を読み込まれます。しかし、著者は、AIが何を注視すべきかを教師に教えられることなく、自律的に学習することを望みました。

彼らは「階層的な自己教師ありワールドモデル」を構築しました。ピアノロール（音符がブロックとして表示される視覚的なグリッド）を見ているところを想像してください。AIはこのグリッドの小さな正方形を見ます。次に、その正方形を右に少しずらしたり（時間を進める）、上に動かしたり（ピッチを上げる）したときにどうなるかを想像します。AIの仕事は、古い正方形に基づいて、新しい正方形がどのように見えるかを予測することです。この「シフト（移動）を当てるゲーム」を何百万回も繰り返すことで、AIは音楽の内部ルールを学習します。これにより、コードの名前を一度も教えられることなく、音符は時間の中で特定のパターンに従うことが多いことや、コードにはピッチにおける特定の関係性があることを学習します。

このモデルは、ピラミッドのような層構造になっています。下の層は、個々の音符や演奏の速さといった細かいディテールを見ます。上の層は、フレーズ全体の形や曲の構造といった大きな全体像を見ます。研究者たちは、AIが自然にこのように自己組織化されることを発見しました。「細かい（fine）」層は音の密度を捉えることに優れ、「粗い（coarse）」層は音楽のフレーズがどこで始まり、どこで終わるかを理解することに長けているのです。

AIが実際に「聴いている」もの

チームは、AIの脳を凍結（固定）させ、単純な質問を投げかけることで、AIが実際に何を学習したのかをテストしました。その結果、AIは音楽に対する真の「感覚」を身につけていることが分かりました。

• 時間と構造： AIは、短い音楽的アイデアと長いアイデアの違いを自然に判別でき、パターンの見た目だけで音楽フレーズの境界線を特定することができました。
• ハーモニー（難所）： 興味深いことに、AIは「推測ゲーム」をプレイするだけでは、特定のコード（例えば「Gメジャー」など）を自動的に識別することは学習しませんでした。AIには少しの手助けが必要でした。研究者がわずかな監督（いくつかのコードの例を示すこと）を加えると、AIのハーモニー理解力は飛躍的に向上しました。AIはコードをほとんど認識できない状態から、非常に優れた認識能力を持つレベルへと進化し、たとえ「キー（調）」が何であるかを明示的に教えられていなくても、高い精度で曲の「ホームベース（主音）」を特定できるまでになりました。

このことは、AIは音楽の「形」を独力で学習できる一方で、コードのような特定の音楽的概念の「名前」を学ぶには、少しのきっかけが必要であることを示唆しています。

「口」：提案を行う

AIが「聞き」、理解した後には、言葉を発する必要があります。これが「口」です。ゼロから曲全体を書くのではなく、このAIは「空白を埋める」ように設計されています。人間がピアノロールの一部にマスクを描き、「ここを埋めて」と頼む場面を想像してください。AIは「フロー・マッチング（flow matching）」という手法を用いて、空いたスペースに完璧にフィットする新しい音符を生成します。

ステップ・バイ・ステップで曲を「夢想」していく古いAIモデルとは異なり、このモデルはノイズから音楽へとスムーズに流れていきます。これは非常に高速です。標準的なコンピュータのプロセッサ（CPU）上で、約2.8秒で音楽的な提案を生成できます。新しいApple製コンピュータをお使いであれば、わずか0.6秒です。このスピードは極めて重要です。なぜなら、人間がAIとリアルタイムで会話をし、コンピュータの処理待ちをすることなく、即座にアイデアを試すことができるからです。

また、このシステムは柔軟です。コードはそのままにメロディだけを変えることも、セクション全体を書き換えることも可能です。これは、生成プロセス中に自身の理解の一部を「ドロップ（脱落）」させることで、ユーザーの要望に応じて、より創造的に、あるいはより厳格に振る舞うことを可能にしています。

なぜこれが重要なのか

本論文は、このシステムが人間のミュージシャンに取って代わるためのものではないことを強調しています。高価なグラフィックカードを持たないミュージシャンでも使用できるよう、アクセシブルなハードウェア（ノートパソコンなど）で動作するように作られています。また、人間の主体性を尊重しています。AIは提案を行いますが、それを使うかどうかを決めるのは人間です。著者は、ユーザーがピアノロール上に描画すると、AIがリアルタイムでその隙間を埋めていくライブ・インタラクティブ・デモを通じて、これを実証しています。

要約すると、この論文はAIが音楽を理解するための新しい方法を提示しています。音楽が時間やピッチによってどのように変化するかを予測するように教えることで、研究者たちは音楽の構造を「感じる」ことができるシステムを作り上げました。コードの名前を学ぶための少しの手助けを加えることで、それは強力で高速、かつ協力的なツールとなり、作曲家にとってのデジタル・プロデューサーとして機能します。そして、最終的な創造的決定は常に人間の手に委ねられたままなのです。