MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
本論文は、Swin Transformer V2エンコーダとピッチおよびタイムシフトの等変性目的関数を組み合わせることで、感情分類などのダウンストリームタスクに優れ、高品質な生成モデリングを可能にする、記号的音楽の階層的で意味的に豊かな表現を学習する自己教師あり学習フレームワークであるMIDI-RAE-JEPAを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに、単に音波を聞かせるだけでなく、楽譜そのものを読ませることで音楽を理解させる方法を教えようとしていると想像してみてください。人工知能の世界では、これはコンピュータに音符の地図を読ませることに似ています。通常、AIは数百万枚の猫や犬の写真を見て、「猫」とはズームインしてもズームアウトしても猫であることを学習します。しかし、音楽は異なります。楽譜をズームインしても、単に大きな音符が見えるのではなく、全く異なるリズムや全く異なるピッチ（音高）が現れます。写真に対して機能するルールは、音楽では通用しないのです。
これを解決するために、科学者たちは「自己教師あり学習」と呼ばれる巧妙なトリックを使用しています。人間がすべての音符にラベルを貼るために雇われる代わりに、AIに「穴埋め問題」のゲームをさせるのです。彼らは音楽の一部を隠し、そこに何が欠けているかを推測させます。もしAIが正しく推測できれば、それはAIが音楽がどのように構築されているかという隠れたルールを学習したことを意味します。この論文が取り組んでいる大きな問いは、「ラベル付けされた例を一つも見せることなく、AIに音楽の『構造』、つまり小さなメロディがどのように大きな曲の中に組み込まれているかを教えることができるか？」ということです。そして、もしそれができれば、そのAIは自分自身で「良い響きの音楽」を書くことができるのでしょうか？
MIDI-RAE-JEPAをご紹介します。これは、記号的な音楽（ピアノロールのようなデジタル指示として書かれた音楽）の秘密の言語を学ぶために設計された新しいAIシステムです。ピアノロールを、巨大なバイナリ・グリッド（二進法の格子）だと考えてください。すべてのピアノの鍵盤に対応して横に128個、時間軸に対して縦に128個の正方形があります。黒い正方形は音が鳴っていることを意味し、白い正方形は無音を意味します。このプロジェクトの目標は、AIにこれらのグリッドを見せ、音楽の深い階層的な関係、つまり、一つの音がいかにしてフレーズを構築し、フレーズがいかにしてセクションを構築し、セクションがいかにして一曲全体を構築するかを理解させることでした。
研究者たちは、音楽の探偵のように振る舞うシステムを構築しました。彼らはSwin Transformer V2と呼ばれる特殊なAIアーキテクチャを使用しました。これは、単一の音符から曲全体の構造に至るまで、異なる詳細レベルで音楽を見る「一連の拡大鏡」のようなものです。しかし、本当の魔法はその学習方法にあります。単に欠落した音符を推測させるのではなく、彼らはAIに「音楽の翻訳」というゲームを教えました。
あるメロディを想像してください。そのメロディを数音分上にずらしたり（ピッチシフト）、時間を前後に動かしたり（タイムシフト）しても、音楽の「構造」は変わりません。たとえ音符自体は異なっていてもです。AIは、これらのシフトされたバージョンが互いに関連していることを認識するように訓練されました。もし曲を一つ上の音にシフトすれば、その曲の内部的な「指紋（フィンガープリント）」はわずかに移動するはずです。もし一オクターブ上にシフトすれば、指紋はもっと大きく離れるはずです。これは**等変性（equivariance）**と呼ばれます。これは、赤いボールが床にあろうとテーブルの上にあろうと、それは依然として赤いボールであることを子供に教えるようなものです。AIは、音楽的なアイデアは、たとえ異なるキーや異なる時間の中にあったとしても、依然として同じアイデアであることを学習します。
AIが答えを暗記したり、混乱したりしないように、研究者たちはいくつかのセーフティネットを設けました。彼らは「マスクされた埋め込み予測器（masked embedding predictor）」を使用しました。これは、楽譜の一部を隠し、残りの曲に基づいてその下に何があるかをAIに予測させるようなものです。また、AIが怠慢になってあらゆる曲に対して同じ答えを出してしまう問題（「崩壊（collapse）」として知られる問題）を防ぐために、SIGRegと呼ばれる特別なルールを追加しました。
結果は驚くほど成功しました。AIの脳を凍結させ（新しい学習を停止させ）、単純なデコーダーを接続したところ、システムは元のピアノロールを驚異的な精度で再構成でき、F1スコア0.995を記録しました。これはほぼ完璧です。つまり、AIは音楽のエッセンスを内部メモリの中に真に捉えていたことを意味します。
しかし、本当のテストは生成にありました。研究者たちは、これらの内部的な「指紋」表現を取り出し、生成モデル（新しいものを作り出すタイプのAI）に投入しました。特定の音楽の抜粋を与えて「条件付け（conditioning）」を行うと、AIは元の音楽のピッチ・レジスター（音の高さの範囲）とリズム密度（音の忙しさや希薄さ）に一致する新しい音楽を生成しました。もし不一致な条件を与えた場合でも、AIはもっともらしい音楽を作成しましたが、それはプロンプトとは無関係なものでした。このことは、AIが単にコピーしているのではなく、入力の「スタイル」や「構造」を理解していることを示唆しています。
また、この論文では、これらの学習された表現が他のタスクに役立つかどうかについてもテストを行いました。彼らは、AIの内部的な指紋を使用して、曲の感情（「幸せ」や「悲しい」など）を推測しようと試みました。結果は、この手法が古い単純な手法（ハール・スキャッタリング変換など）よりも優れていることを示唆しており、AIが感情を明示的に教えられなくても、音楽的に意味のある何かを学習したことを証明しました。
しかし、著者たちはすべてを解決したと主張することには慎重です。彼らは、AIの「細かい（finer）」レベル（小さな詳細を見る部分）は特定の音符やリズムを捉えることに非常に優れている一方で、「粗い（coarser）」レベル（大きな全体像を見る部分）は、まだ解釈可能な明らかな音楽的抽象概念を捉える学習には至っていないと指摘しています。このシステムは強力な概念実証であり、等変性（シフトの理解）と階層的学習（詳細のスケールの理解）を組み合わせることが、有効な道であることを示しています。これは、音楽的なアイデアを聞き、その構造を理解して作曲を洗練させる手助けができるAIアシスタントを構築できることを示唆していますが、AIに交響曲の壮大で抽象的な建築を完全に把握させるには、まだ作業の途中であることも示しています。
要約すると、この論文は、音楽のシフトとスケールのルールをAIに尊重させることで、音楽を完璧に再構成し、特定の音楽的なムードに基づいた新しい、もっともらしい音楽を生成できるほど深く音楽を理解するシステムを作れることを示しています。これは、音楽を単に模倣するのではなく、その文法を真に理解するAIへの一歩なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。