🤖 machine learning

Reflector: Arrangement-Aware Harmonic Retrieval for Sample-Based Composition

本論文は、著作権で保護された学習データに依存することなく、合成学習による埋め込み空間を用いて手設計の音程クラス・オラクルを近似することにより、作曲家の進化する和声的コンテキストにサンプルの検索を動的に適応させ、リアルタイムかつアレンジを考慮した和声的発見を可能にする、オープンソースのインタラクティブ・オーディオ・ワークステーションであるReflectorを提示する。

原著者： Austin Rockman

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Austin Rockman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

成長する楽曲の響き

あなたは、トラックを構築しようとしている音楽プロデューサーだと想像してください。あなたの手元には、ドラム、シンセ、ボーカルチョップ、そして奇妙なノイズなど、数千ものサウンドクリップが詰まったライブラリがあります。通常、新しい音を加えたいとき、あなたは気に入ったクリップを一つ選び、コンピュータに「これに似た音は何？」と尋ねます。するとコンピュータは、音色や質感が非常に似ている音のリストを表示してくれます。これは、司書に「これと全く同じ見た目の本はありますか？」と尋ねるようなものです。それは役に立ちますが、新しい物語を書く助けにはなりません。

しかし、音楽とは単に似たものを見つけることではなく、それらが同時に再生されたときにどのように「組み合わさるか」についてのものです。これが**ハーモニー（和声）**の科学です。ハーモニーを、形が同じであることではなく、形が一致する場合にのみピースがカチッとはまるパズルだと考えてみてください。悲しくスローなピアノの音があるとき、たとえそれらが全く異なる音であっても、明るくハッピーなドラムビートを合わせたいと思うかもしれません。コンピュータにとっての課題は、曲を構築していくにつれて、この「パズル」が変化していくことです。新しいレイヤーを追加するたびに、次に何が合うべきかというルールが変化します。最初のドラムには完璧だった音が、3つ目の音に対しては衝突してしまうこともあるのです。この論文は、作曲家がこの変化し続ける風景をナビゲートするための新しい方法を模索しています。静的な検索を、曲の成長に合わせて理解する、生き生きとした助手へと変える方法です。

リフレクター：記憶する歌

**Reflector（リフレクター）**をご紹介しましょう。これは、音楽作曲家が曲に最適なサウンドを見つけるのを助けるために設計された新しいツールです。しかし、単に開始点に「似ている」音を探す他のツールとは異なり、Reflectorは「今構築している曲全体に対して、何が相性が良いか」に執着しています。

曲を作ることを、友人たちと一緒に家を建てることに例えてみましょう。従来の方法では、レンガ（サウンドクリップ）を一つ選び、「これと似た見た目のレンガは他にありますか？」と尋ねます。すると、同一のレンガの山が返ってきます。しかし、Reflectorは異なる問いを投げかけます。「私たちは今、壁を作っています。ここに赤いレンガがあり、あそこに青いレンガがあります。その間の隙間に完璧にフィットする、新しいレンガはどんな種類ですか？」

魔法の「オラクル（神託）」

Reflectorの核心には、オラクルと呼ばれる秘密のレシピがあります。巨大な手書きのチャートが音楽の審判として機能していると想像してください。このチャートは、二つの音が同じかどうかを気にしません。音の間の「距離」を気にします。そこには、「CとEを一緒に奏でれば、それは明るく強い組み合わせである。CとF＃を一緒に奏でれば、それは緊張感のある、衝突する組み合わせである」というルールブックがあります。

研究者たちは、あらゆる可能な音のペアに対してスコアを割り当てることで、このルールブックを手作業で作り上げました。彼らはこれを「インターバル・クラス・オラクル（音程クラスの神託）」と呼んでいます。それは、どの音が仲良く、どの音が喧嘩するかを正確に知っている厳格な教師のようなものです。

厳格な教師の問題点

ここでひねりがあります。もしこの厳格な教師に、どんな曲に対しても「最適な」音を選ばせようとすると、教師は怠慢になります。教師は、非常に静かで単純な音（柔らかなハミングなど）は、ほぼすべてのものと適合することに気づいてしまうのです。そのため、もしルールブックをそのまま直接使用した場合、何を作っていたとしても、何度も同じ静かなハミングを提案し続けることになるでしょう。面白い複雑な音は、それらが「リスクが高い」という理由で見過ごされてしまいます。

この論文では、ルールブックを直接使うことは、あらゆるものに合うからといって、プレーンな白いパンばかりを推奨するレコメンデーションエンジンを使うようなものだと述べています。安全ですが、退屈です。

スマートな生徒（AI）

これを解決するために、研究者たちは、厳格な教師から学ぶ「スマートなコンピュータの生徒（ニューラルネットワーク）」を訓練しました。しかし、彼らは単に生徒に答えを暗記させたわけではありません。生徒に、ルールの「精神」を理解させるように教えたのです。

彼らは、コンピュータ・シンセサイザーを使用して、何千もの架空の音楽的な例を作成しました（著作権のある実際の音楽ではなく、数学と音波のみを使用）。彼らは生徒に、音のペアと教師のスコアを見せました。生徒は、これらの音を特別な128次元のマップ（巨大で目に見えない遊び場）へと翻訳することを学びました。このマップの中では、よく合う音同士は近くにあり、衝突する音同士は遠くにあります。

魔法なのは、この生徒が教師よりも優れた審判になることを学んだ点です。教師は常に退屈な「普遍的な」音を選びますが、生徒は物事を分散させることを学びました。生徒は、良い曲には多様性が必要であることを理解したのです。そのため、生徒にマッチングを求めるとき、単に最も安全な選択肢を与えるのではなく、実際に興味深い音楽的関係を生み出す多様なサウンドのリストを提示します。

あなたと共に成長する曲

Reflectorの最も素晴らしい部分は、曲を構築していく際の処理方法です。タイムライン上に多くのトラックを配置して曲を編曲している場面を想像してください。

ライブ・セントロイド（動的な重心）： タイムラインにサウンドをドラッグ・アンド・ドロップするにつれて、Reflectorは現在の曲の「中心点」を常に計算します。それは、新しいレイヤーが追加されるたびに移動する磁気的な核のようなものです。
スイープ・ライン（走査線）： システムはタイムラインをスキャンして、どの音が同時に鳴っているかを確認します。そして、その特定の瞬間の「ハーモニック・アイデンティティ（和声的特性）」を特定します。
シフト（変化）： 音を変えたり、新しい楽器を追加したりすると、曲の「中心点」が移動します。Reflectorは即座に提案を更新します。もし突然、ハッピーなメジャーキーから不気味なマイナーキーに切り替えた場合、ツールはハッピーな音の提案をやめ、たとえ検索をハッピーな音で始めていたとしても、不気味な音を探し始めます。

論文では、これを631個のサンプルライブラリを用いてテストしました。従来の「直接ルール」を用いた方法では、システムは631個のうち64種類の音しか提案できず、一つの退屈な音がトップの結果の97%に現れたことが分かりました。しかし、訓練された生徒（エンベディング）を使用したところ、システムは631個のうち625個のサウンドを正常に提案できました。ライブラリ全体をカバーしながら、どの音が互いに適合するかを把握していたのです。

曲の銀河

Reflectorは、作成した曲の全履歴を見ることも可能です。作成したすべての曲を、3D空間内の単一の点へと変換します。もし、ハーモニーが似ている二つの曲があれば、それらの点は近くに位置します。あなたは自分自身の作品の「銀河」の中を飛び回り、数ヶ月前に作った曲とのつながりを見つけることができます。それは、自分の音楽スタイルがどのように進化しているかを知る助けとなります。

できないこと

著者たちは、限界についても正直に述べています。Reflectorはハーモニー（音がどのように合うか）には優れていますが、音の「テクスチャ（質感）」や「リズム」については関心がありません。音程としては完璧に合う音を提案しても、ドラムが必要な場面でキイロキイロとうるさいおもちゃのような音を出すかもしれません。また、西洋音楽のスケール（ポップスやクラシックなどで使われるもの）しか理解していません。異なる音楽的ルールを持つ音楽を作っている場合、このツールはうまく機能しない可能性があります。

大きな教訓

この論文の主要な発見は、単なるルールブックを使って音楽的なマッチングを見つけようとすると、退屈で安全な答えに陥ってしまうということです。しかし、コンピュータにそれらのルールの「幾何学」を学習させれば、スマートかつ多様なシステムが得られます。Reflectorは、コンピュータに「曲全体」を変化するものとして理解させることで、静的な検索ツールを、アーティストと共に成長する創造的なパートナーへと変えられることを示しています。

システム全体は単一のコンピュータ上で動作し、学習に著作権のあるデータは一切使用せず、誰でも無料で利用可能です。適切な設計があれば、コンピュータは単にコピーを見つけるだけでなく、完璧な「適合」を見つけ出すことで、複雑で変化し続ける音楽制作の世界をナビゲートする助けとなることを、Reflectorは証明しています。

技術要約：Reflector – サンプルベースの作曲におけるアレンジメント認識型ハーモニック・リトリーバル

問題提起

サンプルベースの作曲における既存の音楽情報検索（MIR）ツールは、通常、単一のリファレンス・ループやレンダリングされたミックスダウンといった静的なクエリに依存している。これらは初期のアイディア出しには効果的であるが、アレンジメントが進展するにつれて、これらのシステムの情報量は低下していく。作曲家がタイムライン上に新しいサウンドを配置していくと、ハーモニックな文脈（調性的コンテキスト）が変化するため、固定されたリファレンス・クエリは時代遅れとなる。現在の商用ソリューション（例：Splice Create, Output Co-Producer）は、リアルタイムで補完的なサウンドを提案することでこれに対処しているが、独自のカタログに基づいた、公開されていない手法を用いている。マルチトラックのアレンジメントを、ハーモニックな検索を駆動するための「共鳴する領域の進化する集合」としてモデル化する公開されたオープンソースのシステムは存在せず、また、そのような表現をセッション間でどのように保持し、作曲の実践を記録するかというフレームワークも欠如している。

手法

Reflectorは、タイムライン上に蓄積されるハーモニックな組み合わせを追跡し、それに応じて検索を適応させる、インタラクティブなオーディオ・ワークステーションである。本システムは、主に以下の3つのアーキテクチャ・コンポーネントを通じて動作する。

1. コンパティビリティ・オラクル（適合性神託）

システムの核となるのは、手設計された「オラクル」である。これは、2つのソース間でピッチクラスの内容がどのように相互作用するかをスコアリングする、固定された $12 \times 12$ のインターバル・ウェイト（ $K$ ）のテーブルである。

フレームレベルのスコアリング: 2つのクロマ・フレーム $c$ と $d$ に対して、スコアはカーネル加重バイリニア形式として算出される： $s_{frame} = \frac{c^\top K d}{(1^\top c)(1^\top d) + \epsilon}$ 。これにより音量（ラウドネス）が正規化され、組み合わせの平均的なインターバル品質に焦点が当てられる。
軌跡レベルのスコアリング: スコアは「相互作用質量（interaction mass）」（両方のソースの活性化質量の積）によって重み付けされながら時間軸に沿って集計される。これにより、両方のソースが沈黙している瞬間がスコアを希釈しないようにしている。
移調探索: オラクルは、ピッチクラス軸の全12通りの循環シフトの下で候補を評価し、最適なブレンディングのための移調を特定するためのフル12スコア・プロファイルを生成する。

2. 合成トレーニング・パイプライン

著作権の問題を回避し、トレーニング分布を完全に制御するために、システムはすべて合成オーディオを用いて学習される。

データ生成: 2段階のプロセスにより、ペアとなるクロマ軌跡を生成する。ステージAでは、6つの三和音の形状（スタティックな拡張やテンポラル・パターン（持続和音、アルペジオなど）を含む）からピッチクラス・セットを構築する。ステージBでは、これらをランダム化されたドメイン・パラメータ（波形、リバーブ、ディストーションなど）を持つ加算合成を用いてオーディオへとレンダリングする。
アーキテクチャ: 2タワー共有エンコーダ（3x Conv1D, BatchNorm, GELU, pooling）が、コンテキストおよび候補のクロマ軌跡を128次元の埋め込み空間へとマッピングする。
損失関数:
- ステージA: オラクルの最良の移調スコアに対する平均二乗誤差（MSE）、および全12通りの移調プロファイルに対する前方KLダイバージェンスによって教師あり学習を行う。
- ステージB（ファインチューニング）: InfoNCE損失を用い、オーディオ由来のクロマ上で直接ドット積の幾何学を最適化する。この際、オラクルの判断からのドリフトを防ぐために小さなMSEアンカーを使用する。
主要な不変性: システムは、ハードコーディングされた不変性ではなく、データ拡張（ランダムな循環シフト）とオラクルのプロファイルによる教師あり学習を通じて、移調不変性を学習する。

3. システム・プロセスとセッション分析

インデックス作成: サンプルは重複する3秒間のウィンドウに分割され、埋め込まれ、平均的なペアワイズ・オラクル・コヒーレンスによって重み付けされ、ファイルレベルの埋め込みを形成する。
セッション表現: 作曲家が素材をアレンジするにつれ、「スイープライン（掃引線）」分析が共鳴領域を特定する。これらの領域は「セッション・セントロイド（重心）」へと集約され、素材の追加、削除、または移調に応じて動的に更新される。
ナビゲーション: セッション・セントロイドは、ナビゲート可能な3D空間（「Galaxy」）に投影される。これにより、作曲家は構造的なハーモニック関係を可視化し、ハーモニックな語彙に基づいてセッション間を移動することができる。

主な知見と結果

本論文は、631個のサンプルからなる作業ライブラリを用いたシステムの挙動を特性化しており、以下の重要な洞察を得ている。

直接スコアリングの退化: オラクル・カーネルを直接リトリーバルのルールとして使用した場合（学習済み埋め込みなし）、検索は少数の「ユニバーサル・ドナー（普遍的な供与者）」（例：疎で協和的なドローン）へと崩壊する。なぜなら、カーネルはペアを孤立して判断し、多様性の概念を持たないため、ほぼあらゆるものと良好に混ざり合うサンプルを優先してしまうからである。カーネルの重みを調整しても、この問題は解決しない。
フィルターとしての埋め込み: 学習された128次元の埋め込みは、オークルのペアワイズ判定を保持しつつ（ランク10においてNDCG 0.85を達成）、ライブラリ全体をカバーしている（631個中625個のサンプルがトップ10リストに現れる）。論文では、これを埋め込み空間の正規化された幾何学に求めている：単位超球面上では、単一の候補がすべてのクエリ方向に対して同時に近くなることはできない。コントラスティブな学習目的（InfoNCE）が一様性を強制することで、直接的なスコアリングが好む「退化した」解を効果的にフィルタリングしている。
異なるリトリーバル・サーフェス: 本論文は、2つの異なるリトリーバル・サーフェスを特定している。
- 類似性（Cosine）: 同類やバージョンを検索する（クエリに似ているもの）。
- 適合性（Embedding）: 相補的なものを検索する（クエリと組み合わさるもの）。
  これら2つのサーフェスはほぼ互いに排他的であり、相関係数は $\rho = -0.65$ である。Reflectorはこの両方を提示し、作曲家が「バージョンを探す」ことと「ハーモニーを探す」ことを切り替えられるようにしている。
アレンジメントへの適応性: 検索は静的ではない。セッションが進展する（例：増4度によるピボット・トランスポジション）につれて、セッション・セントロイドが移動し、トップ10の提案が大きく変化する（引用された例では70%の入れ替わりが発生）。システムは、セッションを通じた作曲家のハーモニックなドリフトを追跡し、単一の静的なクエリでは捉えられない関係性を明らかにする。

意義と主張

本論文は、Ref射を単なる「優れた音楽性」の主張ではなく、「システムに関する記述（systems account）」として位置づけている。その主な貢献は以下の通りである。

オープンソース・アーキテクチャ: 独自の商用プラットフォームとは対照的に、単一のマシン上で動作する、アレンジメント認識型の検索システムのための公開されたエンドツーエンドの設計を提供している。
倫理的なトレーニング: パイプライン全体が合成オーディオでトレーニングされており、著作権のあるデータを使用していないため、音楽AIにおける法的・倫理的な不確実性に対処している。
ルールの蒸留: 固定された手設計のハーモニック・ルール（オラクル）が、リトリーバルの限界（退化）を幾何学的制約によって克服しながら、その相互作用ロジックを保持したままニューラル埋め込みへと蒸留できることを示している。
組成の可視化: サンプルライブラリの「潜在的な組成構造」を可視化し、作曲家のハーモニックな実践が時間の経過やセッションを越えてどのように進化するかを追跡する。

著者らは、カーネルの重みは「実験的な設計上の立場」であり、必ずしも知覚的に最適であるとは限らないと明言している。システムの検証は、知覚研究によるものではなく、実用における有用性（「検証は使用である」）として提示されており、知覚研究は今後の課題として特定されている。現在、システムは西洋の調性音楽とピッチクラスの関係に焦点を当てており、音色やリズムの判断については作曲家に委ねられている。