A Knowledge-Driven Approach to Music Segmentation, Music Source Separation and Cinematic Audio Source Separation

1. 問題定義 (Problem)

• 従来の課題: 音楽ソース分離やセグメンテーションの分野では、通常、教師あり学習のために人間が手作業で境界を注釈したデータセット（Ground Truth）が必要とされます。しかし、実際の音楽録音や映画音源では、個々の楽器や音声の分離トラックが入手困難であり、注釈データも不足しています。
• セグメンテーションの難しさ: 連続する音声ストリームから、楽器の切り替わりや構造の変化を検出する際、信号処理のみに頼ると精度に限界があります。また、音声認識（ASR）で用いられるような「文字起こし（トランスクリプション）」が音楽には存在せず、代わりに楽譜（Score）が知識源として機能しますが、これを効果的に活用するフレームワークが不足していました。
• 映画音源の複雑さ: 映画音源（CASS）は、対話、音楽、効果音（SFX）が混在し、構造化されたスコア（MIDI など）が存在しないことが多く、従来のデータ駆動型モデルでは分離が困難です。

2. 提案手法 (Methodology)

提案されたフレームワークは、**「知識（楽譜や音声活動情報）」と「モデル（HMM やセパレーター）」**を組み合わせることで、事前注釈なしに学習を行うことを目指しています。

A. 知識駆動型セグメンテーションと HMM による強制アライメント

• HMM の活用: 音声認識で用いられる隠れマルコフモデル（HMM）を音楽セグメンテーションに応用します。
• 強制アライメント (Forced Alignment): 音楽スコア（MIDI ファイル）を「知識」として入力し、HMM を用いて連続音声とスコアを強制アライメントします。これにより、ピアノやベースなどの単一楽器セグメントの時間的境界を自動的に検出・抽出します。
• 学習データ生成: 検出された単一楽器セグメントをランダムに切り出し、スケーリングやミキシングを行い、「疑似ミックス（Pseudo Mixtures）」を生成します。これにより、分離モデルのトレーニングに必要な教師データ（単一楽器とミックス）を、実際の分離トラックがなくても構築できます。

B. 音楽ソース分離 (MSS) への適用

• 学習戦略:
  1. Scratch 学習: 分割されたデータのみからゼロからモデルを学習。
  2. ファインチューニング: 既存の大規模データで事前学習したモデルを、知識駆動で生成されたデータで微調整。
• 効果: 楽譜に基づく知識が、学習データの品質を高め、少ないデータ量でも高性能な分離モデルを構築可能にします。

C. 映画音源ソース分離 (CASS) への適用

• 知識の投影 (Knowledge Projection): 映画音源では楽譜がないため、音声活動（Voice Activity）情報（どのフレームでどの音源が鳴っているか）を「知識」として利用します。
• アーキテクチャ:
  • 入力：混合音声のスペクトログラム ＋ 投影された音声活動ベクトル（各フレームでどのカテゴリがアクティブかを示す低次元埋め込み）。
  • モデル：RNN または Transformer（SepReformer など）をセパレーターとして使用。
  • 仕組み：セパレーターが、フレームごとの「どの音源が鳴っているか」という高レベルな知識を条件付け（Conditioning）として受け取り、音響エネルギーを適切なソースに割り当てるように導きます。

3. 主要な貢献 (Key Contributions)

1. 事前注釈不要な学習フレームワークの提案: 手動で境界を注釈したデータに依存せず、楽譜や音声活動情報などの「知識」から自律的にモデルを構築・学習する新しいパラダイムを確立しました。
2. HMM による楽譜駆動のセグメンテーション: 音楽スコアを用いた強制アライメントにより、高精度な単一楽器セグメントの抽出を実現し、これを用いた擬似データ生成による分離モデルの学習効果を証明しました。
3. CASS における知識注入の成功: 映画音源分離において、単なるデータ駆動型アプローチに加え、音声活動情報をモデル入力として投影することで、分離性能を大幅に向上させることを実証しました。
4. SOTA 性能の達成: 映画音源分離のベンチマーク（DNR-nonverbal）において、既存の最先端モデル（BSRNN など）を上回る性能を達成しました。

4. 実験結果 (Results)

音楽ソース分離 (MSS) 結果

• データセット: Slakh2100（ピアノとベースの 2 楽器版）。
• 評価指標: SDR (Signal-to-Distortion Ratio)。
• 結果:
  • 知識駆動型でゼロから学習した場合（KD-FS）、従来の事前学習（PT）よりも SDR が大幅に向上（BSRNN で 15.06dB → 17.89dB）。
  • 事前学習モデルのファインチューニング（KD-FT）ではさらに性能が向上（18.52dB）。
  • 理想的な境界（参照アライメント）を使用した場合、BSRNN で 22.30dB となり、セグメンテーション精度の向上が分離性能に直結することが示されました。
  • 結論: 大量のデータよりも、知識に基づいて適切に選択・生成された高品質なデータの方が学習に有効であることが示されました。

映画音源ソース分離 (CASS) 結果

• データセット: DNR-v2, DNR-nonverbal（2023 Sound Demixing Challenge）。
• 評価指標: SDR（Speech, Music, SFX 別）。
• 結果:
  • 音声活動情報（Voice Activity）を入力とした SepReformer モデルは、入力しない場合と比較して全カテゴリで大幅な改善を示しました。
    • 音声（Speech）: +3.35 dB
    • 効果音（SFX）: +4.26 dB
  • 既存の SOTA モデル（DNR-nonverbal 上で学習した BSRNN など）を凌駕する性能（Speech で 11.03dB）を達成しました。
• 可視化: 知識投影（Knowledge Projection）の結果、音声、音楽、効果音が 3 次元空間で明確にクラスタリングされ、特に音声と他のカテゴリの区別が明確であることが確認されました。

5. 意義と将来展望 (Significance & Future Work)

• 意義: この研究は、注釈データが不足している現実的なシナリオ（実際の音楽録音や映画音源）において、既存の知識（楽譜やメタデータ）を有効活用することで、データ駆動型モデルの限界を突破できる可能性を示しました。特に、映画音源のように複雑で構造化されたスコアが存在しない領域でも、音声活動情報という「知識」を注入することで高性能化が可能であることは重要です。
• 将来の課題:
  • 実際の連続録音データでの検証。
  • HMM の精度向上のため、DNN-HMM への移行。
  • 限られた長さの楽曲（5 分未満など）に対する事前学習モデルの転移学習（Transfer Learning）や適応技術の研究。

総じて、この論文は「データそのもの」だけでなく、「データに関連する知識」をモデル学習の核心に据えることで、音楽および映画音源処理の分野において、より効率的かつ高精度なソリューションを実現する重要なステップです。