DiffAnon: Diffusion-based Prosody Control for Voice Anonymization

以下は、論文「DiffAnon: Diffusion-based Prosody Control for Voice Anonymization」の詳細な技術的概要です。

1. 問題定義

音声匿名化は、言語的内容およびパラ言語的情報（感情や強調など）を保持しつつ、話者IDを隠蔽することを目的としています。しかし、根本的な利便性とプライバシーのトレードオフが存在します。

• プライバシー: 話者IDはプロソディパターン（ピッチ、リズム、イントネーション）と密接に結びついています。これらのパターンを保持することは表現力を向上させますが、話者認識システムへのID漏洩のリスクを伴います。
• 利便性: プライバシーを確保するためにプロソディを破棄すると、音声の自然さ、感情的な内容、意味が劣化します。

既存の手法は通常、固定された設計点で動作します。

• ASR-TTS システム: すべてのソースプロソディを破棄することでプライバシーを優先し、ロボットのような平坦な音声をもたらします。
• 音声変換 (VC) システム: プロソディの保持を試みますが、不完全な分離により、残留するID漏洩に悩まされることが多いです。
• 摂動法: プロソディ特徴をランダムに変化させ、利便性の予測不可能な劣化を引き起こします。

ギャップ: 単一のモデル内で、プロソディ保持（利便性）と匿名化強度（プライバシー）の間のトレードオフを連続的かつ推論時に制御できるフレームワークが存在しません。

2. 手法：DiffAnon

著者は、Classifier-Free Guidance (CFG) を利用してプロソディ保持を明示的に制御可能にする、拡散モデルベースの音声匿名化フレームワーク「DiffAnon」を提案します。

コアアーキテクチャ

• ベースモデル: NaturalSpeech2 に着想を得た Denoising Diffusion Probabilistic Model (DDPM) で、40 個の WaveNet 風残差ブロックを利用します。
• セマンティック事前情報（内容）: モデルは Residual Vector Quantization (RVQ) コーデックである SpeechTokenizer を使用します。
  • 1 段階目の量子化埋め込み ($Q_1$) は、言語的内容を表す話者非依存のセマンティック事前情報として扱われます。
  • 拡散プロセスは、これらのセマンティック埋め込みの上に、残りの音響詳細 ($Q_{2:8}$) を精緻化します。
• 条件:
  1. 内容 ($c_{sem}$): $Q_1$ 埋め込み（固定、入力に直接追加）。
  2. プロソディ ($c_{pro}$): マスクドプロソディモデル (MPM) から抽出されたフレームレベルの潜在特徴 ($z_{mpm}$)。話者IDを含まずにピッチ、エネルギー、有声音を捉えます。
  3. 話者 ($c_{spk}$): 事前学習済みの FreeVC エンコーダからの発話レベルの埋め込み。推論時には匿名化のために疑似話者埋め込み ($\psi$) に置換されます。

推論戦略：Classifier-Free Guidance (CFG)

主要な革新は、再学習なしにプロソディ保持の異なるレベル間で補間するために CFG を使用することです。

• 学習: モデルは、条件のランダムなドロップ（50% 完全、30% プロソディドロップ、20% プロソディ＋話者ドロップ）で学習され、無条件生成能力を可能にします。
• プロソディ調整付きガイダンス: 推論中、出力は以下の 2 つの予測の重み付き組み合わせとなります。
  1. 内容と疑似話者のみで条件付けられた予測（ソースプロソディなし）。
  2. 内容、疑似話者、およびソースプロソディで条件付けられた予測。
  • 数式: $\hat{x}_{CFG} = \hat{x}_{uncond} + w_{pro}(\hat{x}_{cond} - \hat{x}_{uncond})$
  • 制御: 重み $w_{pro}$ は連続的なノブとして機能します。
    • $w_{pro} = 1$: ソースプロソディの完全保持（高利便性、低プライバシー）。
    • $w_{pro} = 0$: ソースプロソディの完全除去（高プライバシー、低利便性）。
• 疑似話者ガイダンス: 二次的な CFG モード ($w_{spk}$) を使用して、ソース話者IDから生成を積極的に誘導することで、匿名化を強化できます。

3. 主な貢献

1. 最初の制御可能フレームワーク: DiffAnon は、プロソディ保持に対して構造化され、補間可能で、推論時に制御可能な音声匿名化システムを提供する最初のものです。
2. 新規定式化: 話者非依存のセマンティック埋め込み（RVQ 空間）上で音響詳細を精緻化する拡散パラダイムを導入し、音声コーデックの反復的精緻化と自然に整合します。
3. 統合されたトレードオフのナビゲーション: 単一の学習済みモデルが、CFG ガイダンス重みを調整するだけで、利便性とプライバシーの全スペクトルをナビゲートできることを実証しました。これにより、複数の専用モデルを必要としなくなりました。
4. オープンソース: コードと事前学習済みモデルは公開されています。

4. 実験結果

実験は、LibriTTS データセットを使用して、VoicePrivacy Challenge 2024 プロトコルに従って実施されました。

• 制御性: $w_{pro}$ を 1.0 から 0.0 まで変化させることで、システムは滑らかで単調な遷移を達成しました。
  • プロソディ忠実度: F0 相関は 76.67% ($w_{pro}=1$) から 64.09% ($w_{pro}=0$) まで低下しました。
  • 感情認識 (UAR): 52.32% から 47.38% に低下しました。
  • プライバシー (EER): 等誤り率（話者検証に対する耐性）は、33.09% から 42.43% に改善（増加）しました（Libri-test 上の Lazy-informed attacker）。
• 利便性の保持:
  • 単語誤り率 (WER): 全ての設定において 4.62% から 5.61% の範囲で安定し、競争力がありました。これは、プロソディが抑制されても内容保持が堅牢であることを示しています。
  • 比較: DiffAnon は、いくつかのトップパフォーマンスのベースライン（T8, T9, T10）を上回るか同等の性能を示しつつ、動的にトレードオフを調整する独自の能力を提供しました。
• プライバシー: 最も強力な匿名化設定（null プロソディ＋疑似話者ガイダンス）は、48.16% の EER を達成し、最も強力な固定設計ベースラインと競争力がありました。

5. 意義

• パラダイムシフト: DiffAnon は、音声匿名化を「固定設計」の問題から「制御可能な生成」の問題へと移行させます。プロソディが利便性とプライバシーのトレードオフの主要な駆動力であり、このトレードオフが CFG によって数学的に制御可能であることを証明しました。
• 実用的応用: これにより、開発者は単一のモデルを使用して、特定のユースケース（法廷証言のための高プライバシー、オーディオブックのための高表現力など）に基づいて匿名化システムを調整できます。
• 将来の方向性: この研究は、持続時間やリズムなどの他のプロソディ要因への制御可能な匿名化の拡張の基盤を確立し、プライバシーと自然さのバランスをさらに洗練させるものです。