技術要約: CultureMERT: 異文化間音楽表現学習のための継続的事前学習

1. 問題提起

近年の音楽基盤モデルは、オーディオ表現学習を大幅に進化させてきたが、多様な非西洋の音楽伝統に適用する場合、その有効性は限定的である。MERT-v1などの既存モデルは、主に西洋中心のデータセット（ポップス、ロック、クラシックなど）で学習されているため、トルコ、インド、ギリシャの音楽に見られるような、独自の旋律構造、旋法システム、リズムパターンを捉えることに失敗する。この制限は、地域固有のレコメンデーションシステムや文化遺産の保存におけるこれらのモデルの適用可能性を狭めている。さらに、あらゆる文化的ドメインに対してゼロから新しいモデルを学習させることは、計算コストの面で極めて困難である。本論文は、既知の知識の破滅的忘却を起こすことなく、西洋の伝統を超えて汎化できる、包括的で文化的に意識されたモデルの必要性に対処するものである。

2. 手法

2.1 継続的事前学習 (CPT) 戦略

著者らは、MERT-v1-95Mから派生した、2段階の継続的事前学習戦略を用いたCultureMERT-95Mを提案している。このアプローチは、学習を安定させ、分布の変化（西洋から多文化へ）に伴う破滅的忘却を軽減することを目的としている。

• 事前学習の目的: モデルは、MERTの自己教師ありマスク言語モデリング（MLM）目的関数を維持し、2つのティーチャーモデルを利用する：

  1. 音響ティーチャー (EnCodec): オーディオを8つの残差ベクトル量子化（RVQ）コードブックからのトークンに離散化する。
  2. 音楽ティーチャー: ピッチと調和構造をエンコードするために、定Q変換（CQT）スペクトログラムを再構成する。
     総損失は、音響トークン予測損失（$L_{RVQ}$）とCQT再構成損失（$L_{CQT}$）の加重和となる。

• 2段階の適応:

  • ステージ1 (安定化): 「安定性のギャップ」に対処し、パフォーマンスの低下を防ぐため、モデルは多文化データの小さなサブセット（100時間）で学習される。決定的なのは、CNNベースの特徴抽出器とコードブック埋め込み層のみを更新し、Transformerエンコーダは凍結したままにすることである。忘却を軽減するために、このデータの20%を「西洋のリプレイ（Western replay）」（Music4Allデータセット）とする。学習率の再ウォーミング・スケジュールが適用される。
  • ステージ2 (完全な適応): Transformerエンコーダの凍結を解除し、全650時間の多文化データセット（ギリシャ、トルコ、インドの伝統を含む）で学習を継続する。可塑性と安定性のバランスを取るために、より緩やかな学習率スケジュールが使用される。

• データの構成: 学習ミックスには、トルコのマーカム（Turkish-makam）、ヒンドゥスターニー（Hindustani）、カルナータカ（Carnatic）の各データセットからそれぞれ200時間、およびリラ（Lyra）コーパス（ギリシャの伝統音楽）から50時間を加え、計650時間が含まれる。

2.2 タスク・アリスメティック (Task Arithmetic, TA)

多文化CPTの代替案として、著者らは重み空間でのマージ技術であるタスク・アリスメティックを調査している。

• メカニズム: タスクベクトル（$\tau_i$）は、単一文化に適応させたモデル（$\theta_i$）と、ベースとなる事前学習済みモデル（$\theta_{pre}$）のパラメータの差として計算される。
• マージ: スケーリング係数（$\lambda_i$）を用いて、これらのタスクベクトルを代数的に加算することで、統一された多文化モデル（$\theta_{merged}$）を構築する：
  $$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$$
• このアプローチにより、単一文化に適応させたモデルが利用可能であれば、追加の学習を行うことなく、多文化モデルを作成することが可能となる。

3. 主な貢献

1. MIRにおける初の適用: これは、音楽情報検索（MIR）におけるクロスカルチャー適応のために、継続的事前学習とタスク・アリスメティックを具体的に探索した最初の研究である。
2. 安定化されたCPT戦略: ドメインシフト中の計算制約を扱い、破滅的忘却を防ぐために設計された、学習率の再ウォーミングと段階的なパラメータ更新を伴う2段階CPC戦略の提案。
3. 性能向上: CultureMERT-95Mを開発し、非西洋音楽のオートタグ付けタスクにおいて、元のMERT-v1と比較してROC-AUCおよび平均適合率（AP）で平均**4.9%**の改善を達成した。
4. タスク・アリスメティックの検証: タスク・アリスメティックが、非西洋タスクにおいて多文化CPTと同等の性能を発揮し、西洋のデータセットにおいて退行を示さないことを実証し、トレーニングフリーの代替案であることを示した。
5. クロスカルチャー分析: 転移性を調査し、単一文化モデルは転移の有効性が異なる一方で、多文化に適応させたモデルが最高の全体性能を達成することを明らかにした。
6. オープンリリース: 世界の音楽の表現学習を促進するため、CultureMERT-95MおよびCultureMERT-TA-95Mを公開する。

4. 実験結果

4.1 評価設定

モデルは、表現の質を評価するために、プロービングベースの評価（凍結されたバックボーン + 浅いMLP）を用いて、西洋（MTAT, FMA-medium）および非西洋（トルコ・マーカム、ヒンドゥスターニー、カルナータカ、リラ）のオートタグ付けタスクで評価された。

4.2 性能指標

• 非西洋への適応: CultureMERT-95Mは、非西洋タスクのROC-AUCおよびAPにおいて、ベースのMERT-v1を平均**4.9%**上回った。また、評価されたすべての非西洋タグ付けタスクにおいて、従来のSOTA（最先端）の結果を上回った。
• 西洋の保持: 多文化モデルは、西洋のベンチマークにおいて最小限の忘却を示し、ROC-AUCおよびAPの平均低下はわずか**0.05%**であった。
• タスク・アリスメティック vs CPT: タスク・アリスメティック・バリアント（CultureMERT-TA）は、非西洋タスクにおいてCultureMERTと同等の性能を示し、西洋のベンチマークおよびリラ・データセットにおいては、ベースおよび多文化CPTモデルの両方を上回った。
• 単一文化の転移: 単一文化に適応させたモデル（例：MakamMERT）は、それぞれのインドメイン・タスクで最高の性能を示した。しかし、低リソースの適応（例：50時間で学習したLyraMERT）であっても、他の非西洋タスクに対して顕著な利得をもたらしており、これはポジティブなクロスカルチャー転移を示唆している。

4.3 クロスカルチャー転移性とトークンの類似性

• 転移の非対称性: 共通の旋法フレームワークと微分音（マイクロトナリティ）に起因して、トルコ・マーカムとカルナータカ音楽の間には強い転移が見られることが観察された。カルナータカ適応モデルは、他のドメインに対して最も高い転移性を示した。
• トークンの類似性: EnCodecトークンに対するイェンセン・シャノン・ダイバージェンスおよびコサイン距離を用いた分析により、非西洋の伝統は、西洋のデータセットとは明確に異なる、重要なトークンレベルの類似性を共有していることが明らかになった。ギリシャの伝統音楽（リラ）は、西洋よりも非西洋の伝統に近い性質を持っていた。これらの指標は転移性能と相関しており、トークンの類似性がクロスカルチャー転移性を予測できることを示唆している。

5. 意義と主張

本論文は、CultureMERT-95Mが、西洋のベンチマークにおける性能を犠牲にすることなく、過小評価されている音楽文化への効果的な適応を可能にすることで、音楽基盤モデルのギャップを埋めることに成功したと主張している。著者らは以下を強調している：

• 文化的意識は実現可能である: 効率的な継続的事前学習戦略を用いることで、西洋中心の伝統を超えて汎化するモデルを開発することは可能である。
• 効率性: 2段階のCPT戦略は、計算リソースが制約された状況下（単一GPUと限定的なバッチサイズを使用）において、安定性と可塑性のジレンマを効果的に解決する。
• 代替経路: 単一文化の適応が存在する場合、タスク・アリスメティックは、トレーニングフリーの多文化モデルを作成するための実行可能な選択肢となる。
• リソースの可用性: モデルとコードを公開することで、世界の音楽の表現学習および、より包括的なMIRシステムの開発に向けたさらなる研究を支援することを目指している。

著者らは、多様な音楽言語に対して（西洋音楽で事前学習された）凍結されたEnCodecトークナイザーが最適ではない可能性や、さらなる文化へのスケールアップ、および詳細なアブレーション研究の必要性といった限界についても、謙虚に述べている。