技術要約：効率的かつ堅牢な音声合成のための統一ガイダンスフレームワークによるフローマッチングの強化

1. 問題提起

フローマッチング（Flow Matching, FM）は、完全な非自己回帰型合成と高忠実度のボイスコンバージョンを可能にする強力なパラダイムとして、音声生成において地位を確立している。しかし、著者らは、広範なリアルタイム展開を妨げている2つの決定的なボトルネックを特定している。

1. 音色の漏洩（Timbre Leakage）: ゼロショット生成において、モデルはしばしば言語的内容と音響的残差を完全に分離することに失敗する。離散的なセマンティック・トークン（例：トークナイザーによるもの）は、ソース音声からの潜在的な音響的ヒントを保持していることが多い。学習中、これらのトークンがターゲットのプロンプトと音響的特性を共有している場合、モデルはターゲットのプロンプトからではなく、トークンから直接音色を抽出するという「情報のショートカット」を取ってしまう。これにより、ソース話者の声が生成された出力に漏れ出すことになる。
2. 推論レイテンシ（Inference Latency）: FM生成は常微分方程式（ODE）を解くことに依存している。これには2つの異なる計算コストが発生する。
   • 軌道の曲率（Trajectory Curvature）: 標準的な確率パスは曲線を描くため、正確な積分には高い関数評価回数（NFE）を必要とする。
   • Classifier-Free Guidance (CFG) のオーバーヘッド: 条件付け（例：スピーカープロンプト）への厳格な追従を保証するために、通常はCFGが使用される。これは、サンプリングステップごとに2回のネットワーク順伝播（条件付きおよび無条件）を必要とし、事実上、推論コストを倍増させる。

2. 手法

本論文では、データガイダンス（Data-guidance, DG）と強化されたモデルガイダンス（Enhanced Model-guidance, MG）という2つの補完的な戦略を通じて、これらのボトルネックに対処する統一ガイダンスフレームワークを提案している。

2.1. データガイダンス (DG): ヘテロジニアスな拡張

音色の漏洩を軽減するために、著者らは、学習中にセマンティック・トークンの音響的信頼性を意図的に低下させ、モデルが音色のためにターゲットプロンプトに依存するように設計された、二段階の摂動戦略を導入している。

• モデル駆動型クロス合成（Model-driven Cross-synthesis）: 元のソース・セマンティック・トークンを生成システム（例：学習済みVCまたはTTSモデル）に入力し、中間波形を合成する。これにより、初期のアイデンティティの変化が生じるが、潜在的な音響的残差が残る可能性がある。
• 信号駆動型音響変形（Signal-driven Acoustic Deformation）: これらの残差をさらに抑制するために、中間波形に対して、ランダムなピッチシフトやエネルギー・スケーリングを含む明示的な信号処理変換を行う。
• 結果: この変形された音声から抽出された最終的なセマンティック・トークンは、「不一致」な条件として機能する。モデルは、トークン内の音響的ショートカットが系統的に破壊されているため、音色のためにクリーンな音響プロンプトを使用してターゲットの音声を再構成することを学習せざるを得なくなる。

2.2. 強化されたモデルガイダンス (MG): 統一された加速

推論レイテンシに対処するため、著者らは、単一のオンライン学習ループ内で**内在的ガイダンス蒸留（intrinsic guidance distillation）と軌道補正（trajectory rectification）**を相乗的に組み合わせる最適化メカニズムを提案している。

• 内在的ガイダンス蒸留: 推論時にCFGを適用する代わりに、CFGを考慮した速度場（velocity field）をネットワークの重みに直接蒸留する。誘導された速度場のターゲットは次のように定式化される：
  $$v'_{target} = (x_1 - x_0) + w \cdot \text{sg}(v_\theta(x_t, t, \tilde{c}) - v_\theta(x_t, t, \emptyset))$$
  ここで $\text{sg}(\cdot)$ はストップグラディエント操作である。ネットワークは、自身の予測とこの誘導されたターゲットとの間の距離を最小化するように学習し、単一の順伝播で条件に整合した結果を生成するようになる。
• 軌道補正: 更新されたCFG蒸留ネットワークを使用して、システムは事前のノイズからクリーンな音声特徴 $\hat{z}_1$ を予測するために、オンザフライの数値的ODE積分を実行する。その後、ノイズとこの予測の間に直線的な確率パスが構築される。ネットワークは、この線形軌道を追跡するように更新され、推論に必要なNFEを削減する。

2.3. 学習パイプライン

本フレームワークは、2段階のデータ構築戦略を採用している（50,000時間の事前学習に続き、摂動データを含む60,000時間の混合コーパスでの最適化）。強化されたMG最適化は、各ミニバッチに対して交互のバックプロパゲーションを行う。まず、CFGを内部化するために蒸留損失を最小化し、直後に更新された重みを使用して軌道をシミュレートおよび補正し、補正損失を最小化する。

3. 主な貢献

• 統一フレームワーク: データレベルの分離（音色の漏洩）とモデルレベルの効率性（レイテンシ）の両方に同時に対処する体系的なアプローチ。
• 二段階のヘテロジニアス摂動: セマンティック・トークンの音響的ショートカットを断ち切るために、モデル駆動型合成と信号駆動型変形を組み合わせた新しいデータ拡張技術。
• CFGフリー推論: ガイダンスの知識を重みに蒸留し、ODEパスを線形化することで、推論時のデュアルパスCFGを排除する強化されたモデルガイダンスメカニズム。
• 効率性と堅牢性: 本手法は、計算オーバーヘッドを大幅に削減しながら、高忠実度の生成を実現する。

4. 実験結果

LibriTTSおよびSeed-TTSデータセットを用い、ボイスコンバージョン（VC）およびテキスト読み上げ（TTS）のタスクで実験を行った。

• 推論速度: 統一フレームワークは、ベースラインと比較して推論をほぼ 3.25倍 加速させた。ベースラインが10 NFEを必要としたのに対し、本フレームワークはわずか 3 NFE で、0.024 のリアルタイム係数（RTF）（ベースラインの0.078から低下）を達成した。
• 話者類似度 (SIM):
  • VCタスクにおいて、統一フレームワークはLibriTTSで 0.808 のノンパラレルSIMを達成し、ベースモデル（0.793）を上回り、グラウンドトゥルースのパラレルSIM（0.799）さえも超えた。
  • TTSタスクにおいて、統一モデルはLibriTTSで 0.888 のSIMを達成し、最適化されていないベースFMモデル（0.871）および公式のCosyVoice2バックエンド（0.847）を上回った。
• 明瞭度: 極端な軌道補正は、単語誤り率（WER）のわずかな劣化（例：ベースモデルの2.57に対し2.60）をもたらしたが、言語的な安定性は堅牢であり、最先端のベースラインと同等であった。

5. 重要性と主張

著者らは、本研究がリアルタイム音声生成のための実用的かつ効果的なソリューションを提供すると主張している。生成の速度と品質のトレードオフを解決するために、データ分布と生成軌道の両方を体系的に最適化することで、以下のことを実現している。

1. 堅牢な分離: データガイダンス戦略は、ソースの音響的残差を無視するようにモデルを強制し、強力な3ステップ加速の下でも非常に効果的なコンテンツと音色の分離を可能にする。
2. CFGオーバーヘッドの排除: 強化されたモデルガイダンスメカニズムは、条件付きの忠実度を損なうことなく、Classifier-Free Guidanceの計算負荷を正常に排除する。
3. 汎用性: 本フレームワークは、既存のTTSシステム（CosyVoice2 LLMを使用するものなど）の堅牢な音響バックエンドとして機能し、言語的な明瞭性を維持しながら話者の忠実度を向上させる。

本論文は、この統一的なアプローチにより、低レイテンシと高い話者類似性が重要な要件となるリアルタイムシナリオにおいて、フローマッチングモデルをデプロイすることが可能になると結論付けている。