技術要約: MagpieTTS-LF

問題提起

ニューラル音声合成（TTS）システムは、短文（2〜20秒）においては驚異的な自然さを達成している一方で、長文の音声生成においては著しく苦戦している。生成長が増加するにつれ、既存の最先端モデル（例：Tortoise TTS、VALL-E、MagpieTTS、CosyVoice）は、プロソディのドリフト（韻律の逸脱）、話者の不一致、および**文境界におけるアーティファクト（不自然なノイズ）**という問題に直面する。

生成長を拡張しようとする現在のアプローチには、明確な限界が存在する：

• ナイーブなチャンク分割（Naive Chunking）: テキストを文章ごとに分割し、個別に合成されたオーディオを結合する方法は、エネルギーの不連続性、境界部でのうなり（warbles）、発話速度の不一致、およびグローバルなプロソディ・パターン（例：イントネーションの変化）の喪失を引き起こす。
• シーケンス圧縮（Sequence Compression）: VibeVoiceのような手法は、固定されたウィンドウ内にオーディオトークンを圧縮して長いコンテキストを収めるが、時間的な解像度を犠牲にするため、長大なシーケンスにおいて幻覚（hallucinations）や明瞭度の低下を招く。
• ストリーミング/ブロック単位の手法（Streaming/Block-wise Methods）: ブロック単位のアテンションマスク（例：CosyVoice 2）を使用するアプローチは、緩やかなグラデーションではなく、情報の硬い遮断（hard cutoffs）を生み出す。決定的なことに、これらはアーキテクチャの変更と再学習を必要とするため、既存のデプロイメントへの適用が困難である。
• クロスセンテンス・モデル（Cross-Sentence Models）: HiGNN-TTSのようなモデルは、隣接するテキストのコンテキストがプロソディを改善することを示しているが、これらはTTSシステムと共同で訓練された専用のグラフネットワークやメモリ・モジュールを必要とする。

手法

著者らは、既存のMagpieTTSモデルを、再学習やアーキテクチャの変更なしに一貫性のある長文音声を生成可能にする推論時のアプローチとして、MagpieTTS-LFを提案している。この手法は、以下の3つの核心的な革新に基づいている。

1. 推論時のソフト・アテンション・プライア（Inference-Time Soft Attention Priors）

バイナリ（二値）アテンション・マスクが硬い遮断を生み出すのに対し、MagpieTTS-LFは、遠方のトークンからのコンテキストを保持しつつ、自己回帰的な生成を単調なアライメントへと導くためのソフト・アテンション・プライアを導入する。

• メカニズム: 各デコーディング・ステップ $t$ において、モデルは前ステップからのクロスアテンション・スコアが最大となるテキスト位置 $T_t$ を特定する。プライア分布 $P_t$ が構築され、現在のセグメント（$T_t - 1$ から $T_t + 3$）に対して高い重みが割り当てられ、その他のすべての位置には小さな非ゼロのイプシロン（$\epsilon$）が割り当てられる。
• 効果: これにより、遠方のエンコーダ位置が非ゼロの重みを受け取ることが保証され、アテンションの勾配が維持される。その結果、遠方のコンテキストを完全に抑制することなく、長距離の情報を保持することが可能になる。修正されたアテンションは次のように計算される：
  $$\tilde{A}_t = \text{softmax}\left(\frac{Q_t K^\top}{\sqrt{d}} + \lambda \log P_t\right)$$
  ここで $\lambda$ はプライアの強さを制御する。

2. ステートフルなチャンク生成アルゴリズム（Stateful Chunk Generation Algorithm）

文境界を越えて連続性を維持するために、このアルゴリズムは状態情報（ステート）を引き継ぎながら、文章レベルのチャンクでテキストを処理する。ステートは以下の3つのコンポーネントで構成される：

• 履歴テキスト・トークン ($H_{text}$): 前のチャンクの最後の $K$ 個のトークンを現在のチャンクの入力に先頭付加することで、プロソディの計画のための言語的コンテキストを提供する。
• 履歴エンコーダ・コンテキスト ($H_{enc}$): 履歴トークンに対応するエンコーダの隠れ状態を現在のチャンクのエンコーダ出力と結合し、境界を越えた連続的な表現を確保する。
• アテンション・トラッキング: 前のチャンクからの最終的なアテンション適用位置を記録し、現在のチャンクのソフト・アテンション・プライアを初期化することで、滑らかなプロソディの遷移を実現する。

3. 履歴を考慮したテキスト・エンコーディング（History-Aware Text Encoding）

この手法は、過去のテキスト履歴をテキスト・エンコーダに通すことで、プロソディの計画に活用する。これにより、特殊な外部コンテキスト・モジュールを必要とせず、モデル固有のテキスト表現を利用することができる。

主な貢献

本論文では、以下の具体的な貢献を述べている：

1. 推論時メカニズム: 自己回帰的な生成を単調なアライメントへと導きつつ、遠方のトークンからの有用なコンテキストを保持するソフト・アテンション・プライア・メカニズムを提供し、バイナリ・マスキングによる硬い遮断を回避する。
2. ステートフルな生成: チャンク間の境界において、アテンション・プライアの状態、エンコーダ隠れ状態、およびテキスト履歴を伝播させるチャンク生成アルゴリズムにより、単一パス生成のメモリオーバーヘッドやナイーブな結合による不連続性を回避し、一貫したプロソディを実現する。
3. 性能検証: 推論時のソフト・プライアとチャンク間のステート伝播の組み合わせが、長距離のプロソディの一貫性、複数分間にわたる話者の同一性、および境界の自然さを大幅に向上させることを実証した。
4. ベンチマーク: ニューラル・コーデック言語モデル、マルチモーダル・アーキテクチャ、およびストリーミング拡散フレームワークを含む最先端モデルとの構造化された比較。
5. 新しいデータセット: 拡張された生成設定下でのプロソディの連続性、話者の持続性、および境界の堅牢性を評価するために設計されたベンチマーク、Long-Form HiFiTTSデータセットの導入。

実験結果

著者らは、20個の長い英語テキスト（それぞれ約3〜4分）からなる精選されたデータセットを用いて、Qwen3-TTS、VibeVoice-TTS、およびX-TTSを含むベースラインに対してMagpieTTS-LFを評価した。

• 明瞭度 (WER/CER): MagpieTTS-LFは、すべてのベースラインと比較して、有意に低い単語誤り率（WER 0.025）および文字誤り率（CER 0.012）を達成した。VibeVoiceは著しい劣化（WER 0.115）を示しており、極端なトークン圧縮が長シーケンスの明瞭度を損なうことを示唆している。
• 話者類似度 (SSIM): MagpieTTS-LFは、シーケンス全体を通じて最も高く安定した話者類似度（WavLM: 0.979）を維持した。競合モデルは高い分散とドリフトを示した。VibeVoiceはSSIMが低く、トークン圧縮による話者の特性の喪失を示した。
• プロソディ境界の不連続性 (PBD): MagpieTTS-LFは、最も低い境界エネルギー不連続性（14.04 dB）を達成し、これは競合モデルの約半分であった。ピッチの変化（$\Delta F_0$）は各システム間で同等であったが、エネルギーの一貫性が主要な差別化要因となった。
• 自然さ (UTMOSv2): MagpieTTS-LFは、最も低い分散を伴う最高のUTMOSv2スコアを達成し、最も自然で安定したオーディオであることを示した。VibeVoiceは長時間の合成において最も劣化し、X-TTSは最も自然さに欠ける音声を生成した。

意義

本論文は、MagpietTTS-LFが推論時のみで動作することにより、文献における4つの収束するギャップに対処することを主張している。その意義は、モデルの再学習やアーキテクチャの変更を必要とせずに、一貫性があり、堅牢で、自然な響きの長文音声合成を可能にする点にある。チャンク間でステートを維持し、ソフト・アテンション・プライアを利用することで、この手法は現在のチャンクベースのTTSシステムを悩ませているプロソディのドリフトや境界のアーティファクトという問題を解決する。著者らは、この手法が任意のチャンクベースのエンコーダ・デコーダ型TTSシステムに拡張可能であり、既存のデプロイメントにおける長文生成のための実用的なソリューションを提供すると主張している。