技術概要：ブラックボックス・メンバーシップ推論による生成音楽モデルのトレーニングデータ監査

問題提起

テキストから音楽を生成する技術の最近の進歩（MusicGen、Stable Audio、Suno など）により、構造化されたオーディオの高忠実度合成が可能になりました。しかし、これらのモデルは通常、オンラインソースから収集された大規模で不透明なコーパスを用いてトレーニングされており、データの由来や同意に関する透明な文書化が欠如しています。この透明性の欠如は、重大な説明責任のギャップを生み出しています。現在、アーティスト、著作権者、規制当局が、特定のオーディオサンプルが展開された生成モデルのトレーニングセットに含まれていたかどうかを検証する実用的なメカニズムが存在しないのです。

画像やテキストの分野ではメンバーシップ推論攻撃（MIA）が十分に研究されていますが、生成音楽への応用は未熟な段階にあります。既存のアプローチには重大な限界があります。

• ホワイトボックス依存性: 一部の手法は、内部モデルの状態、尤度スコア、拡散状態へのアクセスを必要としますが、これらは現実世界のブラックボックス展開では利用できません。
• 弱いブラックボックス指標: 現在のブラックボックスアプローチは、スカラー統計量（判別器スコア、再構成誤差など）や固定データセット分割に依存することが多く、元のオーディオと生成された出力との間の意味的整合性を明示的にモデル化できていません。
• 信頼性の欠如: これらの手法は、現実的な設定で個々のサンプルの監査を信頼性高く行うことが難しく、大規模モデルでは偶然のレベルに近い性能しか発揮しないことがよくあります。

手法

著者らは、候補オーディオサンプルのキャプションを条件とした場合、トレーニングメンバーシップが、そのサンプルとモデルの生成との間に体系的に強い意味的および構造的整合性を誘発するという仮説を利用するブラックボックス・メンバーシップ推論フレームワークを提案します。

システム概要

このフレームワークは、シャドウモデル上でのトレーニングプロセスと、ターゲットモデル上での監査プロセスの 2 つのフェーズで動作します。

1. シャドウモデルトレーニング（データ構築）:

   • オーディターは、既知のトレーニング部分集合（$D_{in}$）を持つアクセス可能なテキストから音楽への「シャドウモデル」（$M_{si}$）を数種類利用します。
   • メンバーペア: トラック $x \in D_{in}$ に対して、キャプション $C_{in}$ を抽出します。シャドウモデルが $G_{in} = M_{si}(C_{in})$ を生成します。ペア $(x, G_{in})$ は「メンバー」例を表します。
   • ノンメンバーペア: 意味的な比較可能性を確保するため、同じキャプション $C_{in}$ を用いて、ターゲットモデルおよびシャドウモデルとは異なる補助モデル（$M_{aux}$）に条件を与え、ノンメンバーのトラック $x'$ を生成します。$x'$ からキャプション $C_{out}$ を抽出し、シャドウモデルが $G_{out} = M_{si}(C_{out})$ を生成します。ペア $(x', G_{out})$ は「ノンメンバー」例を表します。
   • この構築により、意味的変動を制御しつつ、トレーニング曝露を主要な識別因子として分離するための 4 つの整合したグループ（$D_{in}, D_{out}, G_{in}, G_{out}$）が作成されます。

2. 特徴抽出:

   • オーディオサンプルは、5 つの多様なオーディオエンコーダーを使用して埋め込まれます。MERT（音楽意味）、Music2Vec（構造/調性）、DAC（音響アーティファクト）、Fx-Encoder++（制作効果）、CLAP（オーディオ - テキスト意味）。
   • エンコーダーは、1 次元のグローバル埋め込みまたは 2 次元の埋め込みマップ（レイヤー/時間軸を保持）を出力します。

3. ミュージック・オーディタートレーニング:

   • 埋め込み空間における整合性に基づいて、メンバーペアとノンメンバーペアを区別する軽量な分類器（「ミュージック・オーディター」）がトレーニングされます。
   • アーキテクチャ:
     • 1 次元埋め込みの場合: 3 つの隠れ層（256、128、64 ユニット）を持つ多層パーセプトロン（MLP）が、連結されたペア $[f(x) \parallel f(x')]$ を処理します。
     • 2 次元埋め込みの場合: 3 つの畳み込み層を持つ畳み込みニューラルネットワーク（CNN）が、スタックされたペアを処理します。
   • オーディターは、ターゲットモデルのパラメータやトレーニングデータへのアクセスなしに、トレーニングメンバーシップに特有の整合性パターンを学習します。

4. 監査プロセス:

   • 候補トラック $x$ とブラックボックスのターゲットモデル $M_t$ が与えられた場合、オーディターはキャプション $C_x$ を抽出し、$M_t$ にクエリを送信して $x' = M_t(C_x)$ を取得し、埋め込みを計算し、そのペアをトレーニング済みのオーディターに入力します。
   • 高いメンバーシップスコアは、$x$ と $x'$ の間の整合性がシャドウモデルのメンバーから学習されたパターンに類似していることを示し、$x$ がトレーニングセットに含まれていた可能性を示唆します。

主な貢献

• 新規ブラックボックスフレームワーク: 本論文は、モデル内部へのアクセス、尤度スコア、ホワイトボックス状態を必要としない、生成音楽のための最初の実用的なブラックボックス監査フレームワークを導入します。
• 意味的整合性仮説: トレーニングメンバーシップが、ソーストラックとそのキャプション条件付き生成との間で測定可能な意味的および構造的整合性を誘発することを確立しました。これは埋め込み空間で捕捉可能なシグナルです。
• シャドウモデル戦略: 著者らは、補助生成を用いて意味的に一致したノンメンバーペアを構築する堅牢な手法を提案しており、整合性の違いが意味的変動ではなくトレーニング曝露に起因することを保証しています。
• エンコーダー分析: 本研究は 5 つの異なるオーディオエンコーダーを体系的に評価し、音楽におけるメンバーシップ推論に最も識別力のある特徴空間を特定しました。

実験結果

このフレームワークは、3 つの最先端テキストから音楽へのシステム（AudioLDM2、Stable Audio Open、Mustango）に対して、1 つの生成器を除外するプロトコルを用いて評価されました。

• 性能: DAC エンコーダーを使用した場合、Stable Audio Open において、偽陽性率（FPR）1.9%、偽陰性率（FNR）1.0% で、最大98.6% の精度を達成しました。
• エンコーダーの有効性:
  • DAC（音響アーティファクト）が最も効果的で安定したエンコーダーとして浮上し、すべてのターゲットで平均精度 97.7% を達成しました。
  • CLAPおよびMERTも良好に機能しました（平均精度 >91%）。
  • Music2Vecは性能が弱く（平均精度 78.3%）、偽陽性率が高くなりました。
  • **Fx-Encoder++**は、特に AudioLDM2 において不安定さを示しました。
• 転移性: オーディターは、特に AudioLDM2 と Stable Audio Open の間で、強力なクロスジェネレーター転移性を示しました。ただし、短い 10 秒クリップを生成するMustangoへの転移、または Mustango からの転移では性能の隔たりが見られ、これは短いセグメントと長編オーディオ（150 秒）との間の分布のシフトに起因する可能性があります。
• サンプル効率: このシステムは非常にサンプル効率が高いです。特定の構成（AudioLDM2 を除外するなど）では、わずか 100 のトレーニングペアで精度が 98% を超え、1,000 のペアでピーク性能に達しました。

意義と主張

本論文は、現実的なブラックボックス展開シナリオにおいて、信頼性の高いトレーニングデータ監査が可能であると主張しています。メンバーシップシグナルが、クエリアクセスと意味的整合性分析のみを通じて抽出可能であることを実証することで、この研究は以下のための実用的なツールを提供します。

• 説明責任: アーティストや著作権者に対するデータ由来の検証を可能にする。
• 同意検証: 規制当局やプラットフォームが、モデルが同意のないデータでトレーニングされたかどうかを評価するのを支援する。
• 透明性: 専有アクセスを必要とせずに「ブラックボックス」AI システムを監査するメカニズムを提供する。

著者らは謙虚な立場を維持し、現在の評価は部分的に情報を与えられたシャドウモデル（真のキャプションとメタデータが利用可能な場合）に依存しており、ノンメンバーの構築は実用的な近似であることを認めています。また、今後の研究では、データセットの不均質性に対処し、固定された補助パイプラインへの依存を減らし、より広範な展開のための原理的な統計的保証を持つ監査手順を開発する必要があると指摘しています。