技術サマリー：PHALAR - 学習された音楽オーディオ表現のための位相子

1. 問題定義

現在のオーディオ表現学習は、コンピュータビジョンのパラダイムを大いに採用しており、スペクトログラムを静的な 2 次元画像として扱っています。これらのアーキテクチャの基盤となるのは、並進不変性を強制するためのグローバル平均プーリング（GAP）などのプーリング操作の使用です。これは楽器の存在識別などの意味的分類には有益ですが、音楽ミキシングやステム分離など構造的整合性を必要とするタスクには有害です。

対処される具体的な課題はステム検索です：部分的なオーディオサブミックス（例：ドラムとベース）が与えられた場合、モデルは欠落しているステムが時間的・調性的にそれとどのように適合するかを特定しなければなりません。既存の基盤モデル（CLAP、CDPAM など）や、専門的な整合性モデル（COCOLA など）さえも、GAP または実数値のグローバルプーリングに依存しています。これらの操作は時間的順序と位相情報を破棄し、異なるリズムの整列を同一の潜在表現に縮約してしまいます。その結果、これらのモデルは「構造的に盲目」であり、楽器が同一であっても、整合したミックスと非整合なミックスを区別できず、失敗します。

2. 手法

本論文は、学習された音楽オーディオ表現のための位相子（Phasors for Learned Musical Audio Representations）であるPHALARを提案します。これは、帰納的バイアスを時間的・位相的な不変性から等変性へとシフトさせる対照学習フレームワークです。

中核的なアーキテクチャの転換

この手法は、入力領域での時間的並進が周波数領域での位相回転に対応するというフーリエシフト定理を利用します。PHALAR は、実数値のマグニチュードから複素数値の位相子へと表現空間をシフトさせることで、明示的に整合性をモデル化します。

アーキテクチャは 3 つの主要なコンポーネントで構成されます：

1. 調性バックボーン（実数値）：

   • 軽量な 2D CNN が**定数 Q 変換（CQT）**スペクトログラムを処理します。CQT は、その対数的な間隔によりピッチのシフトが純粋な線形並進となるため、すべてのキーにわたって和声音程（例：長三度）を同一に認識できるカーネルを可能にするため使用されます。
   • バックボーンは、スペクトル処理と時間処理を分離する軸方向残差設計を採用しています：
     • 周波数方向の畳み込み（3×1）： 時間ステップ内の和声関係を抽出します。
     • 時間方向の畳み込み（1×3）： 時間的発展を捉えます。
     • 点方向の畳み込み（1×1）： 特徴の混合を促進します。
   • 間隔を空けた時間方向の畳み込みにより、時間次元がプーリング前に 32 倍に圧縮されます。

2. 学習されたスペクトルプーリング（ブリッジ）：

   • 標準的な GAP に代わり、この層は特徴マップを複素周波数領域へ投影します。
   • プロセスは以下の通りです：
     1. 平坦化された特徴を学習された基底（$W_{proj}$） onto 投影し、和声音程の構造と絶対周波数位置を符号化します。
     2. 時間軸に沿って**実数高速フーリエ変換（RFFT）**を適用します。
   • 結果： 時間的シフトは位相回転に変換されます。マグニチュード $|S_{c,d}|$ は和声パターンの普及度を符号化し、位相 $\angle S_{c,d}$ はその時間的シフトを明示的に符号化します。

3. 複素数値投影ヘッド（CVNN）：

   • 複素数値ニューラルネットワークがスペクトル表現を処理します。標準的な実数値 MLP は位相構造を破壊するため、PHALAR はすべての操作が位相等変的（$f(x \cdot e^{i\theta}) = f(x) \cdot e^{i\theta}$）である CVNN（Trabelsi et al., 2018）を使用します。
   • ヘッドは、複素線形層、複素 RMSNorm、および位相を保持する modReLU で構成されます。
   • 類似度指標： 構造的整合性を定量化するために、モデルは位相意識型双線形類似度を使用します：
     $$s(z_x, z_y) = \Re(z_x^H W z_y)$$
     ここで $W$ は学習可能な複素重み行列です。これにより、モデルは学習可能な位相回転を適用してステムを「整列」させ、マイクロタイミングの偏差（例：「遅れた」グルーヴ）を考慮できます。推論中は、可換性を確保するために対称スコアが使用されます。

3. 主要な貢献

• 新規フレームワーク： 複素数値の位相子を用いて和声内容からリズム的整列を明示的に分離する対照フレームワーク、PHALAR の導入。
• 最先端のパフォーマンス： ステムからミックスへの検索タスクにおいて、以前の最先端（COCOLA）に対して相対的に最大**約 70%**の精度向上を達成。
• 効率性： ベースラインの50% 未満のパラメータ数（230 万対 520 万）で済み、パラメータ効率の高い軸方向バックボーンと CPU 依存の事前処理の排除により、7 倍のトレーニング速度向上（50 GPU 時間対 340 GPU 時間）を実現。
• 類似性と整合性の直交性： 意味的類似性モデル（CLAP、CDPAM）が整合性タスクにおいて偶然の確率レベルでしか機能しないことを示し、PHALAR が人間の知覚と有意に相関することを証明。
• 創発的機能： 明示的な教師なしで、PHALAR は頑健な音楽構造を捉え、ゼロショットビートトラッキングや線形コードプロービングを可能にします。

4. 実験結果

このフレームワークは、MoisesDB、Slakh2100、ChocoChoralesデータセットで評価されました。

• 検索精度： PHALAR はすべてのデータセットで新しい SOTA を確立しました。$K=64$（高い調性衝突確率を伴う困難な設定）の MoisesDB において、PHALAR は**70.87%の精度を達成し、COCOLA の41.84%や MERT の45.85%**を上回りました。
• 人間中心の検証： 22 名の参加者による主観的リスニングテストにおいて、PHALAR の埋め込み距離は人間の整合性評価との相関が最も高く（ピアソン $\rho = 0.387$、スピアマン $r_s = 0.414$）、COCOLA や Audiobox メトリクスを含むすべてのベースラインを大幅に上回りました。
• システムレベルの評価： 生成されたステムを評価する際、PHALAR の集約スコアは異なる生成モデルに対する人間のランキング順序を再現しましたが、Fréchet Audio Distance（FAD）などの標準的なセットレベルメトリクスは、条件付き整合性に関する人間の判断と一致しませんでした。
• アブレーション研究：
  • 位相等変性を除去（マグニチュードのみを使用）すると、**10.3%**の精度低下が発生しました。
  • 学習されたスペクトルプーリングの代わりにグローバル平均プーリングを使用すると、**18.9%**の低下が発生しました。
  • CQT をメルスペクトログラムに置き換えると**1.66%**の低下があり、ピッチ等変性のための厳密な対数間隔の必要性を確認しました。
• 創発的構造：
  • ビートトラッキング： PHALAR はリズム教師なしでビートトラッキングにおいて0.627の F1 スコアを達成し、幾何学的干渉パターンを通じてテンポを回復しました。
  • コードプロービング： 凍結された PHALAR 埋め込みに対する線形プローブは、コード分類で**55.2%**の精度を達成し、Chroma CQT ベースライン（50.6%）を上回りました。

5. 意義と主張

本論文は、PHALAR が「構造的に盲目」な意味モデルから「位相意識型」の整合モデルへと、オーディオ表現学習において根本的な転換をもたらすことを主張しています。

• 幾何学的帰納バイアス： この研究は、本質的に周期的である音楽が幾何学的バイアスにとって理想的なモダリティであると仮定しています。時間的シフトを位相回転としてモデル化することで、PHALAR はマグニチュードベースのモデルが失敗するリズム的整合性を解決します。
• 生成オーディオの指標： PHALAR は、生成オーディオを評価するための堅牢で参照を考慮した指標を提供し、標準的なメトリクス（FAD など）が周辺分布のリアリズムを評価する一方で、条件付き構造的適合性を評価できないという重要なギャップを埋めます。
• 広範な影響： 著者は、複素数値メトリック学習と位相保持の原理が、オーディオを超えて、レーダーシステム、医療画像（MRI）、時系列解析などの位相に敏感なドメインへも拡張可能であると示唆しています。

限界： 著者は、PHALAR が時間的周期性を仮定した明示的な幾何学的事前分布（RFFT）に依存していることを認めています。非周期的なテンポ変化（例：ルバート）、無リズム的なコンテンツ、または過度に圧縮されたオーディオ形式ではパフォーマンスが低下します。さらに、西洋のポピュラー音楽でのモデルのトレーニングは、他のジャンルのスタイル的なマイクロタイミングの偏差に対する「整合性」の概念にバイアスをかける可能性があります。