Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

技術要約：プロソディ誘導型ハーモニック・アテンションを用いた位相整合型ニューラルボコーダー

問題提起
音声合成におけるニューラルボコーダーの成功にもかかわらず、現在の最先端モデルは、限定的なプロソディ（韻律）モデリングと不正確な位相再構成という、2つの持続的な課題に直面している。HiFi-GANやWaveGlowのような従来の方式は、条件付け特徴量としてメルスペクトログラムに依存している。これらは効率的ではあるものの、メルスペクトログラムは情報を欠落させた非可逆なものであり、微細な調波（ハーモニクス）情報や位相情報を破棄してしまう。これが、特に表現力豊かでプロソディが豊富な発話において、ピッチのアーティファクト、調波のぼけ、および時間的な不連続性を引き起こす。さらに、最近のモデル（VocosやBigVGANなど）は、スペクトル領域での予測やピッチを考慮した条件付けへと移行しているものの、ハーモニック・アテンションのようなプロソディを考慮したメカニズムを明示的に活用したり、振幅と位相を統一された位相整合フレームワーク内で共同でモデリングしたりすることには、依然として失敗していることが多い。

手法
著者らは、高忠実度な波形生成のために、プロソディと位相情報の両方を捉えるように設計されたニューラルボコーダー・アーキテクチャを提案している。本システムは、メルスペクトログラム領域ではなく、複素スペクトル領域で直接動作する。アーキテクチャは、主に以下の3つのコンポーネントで構成される。

1. プロソディ誘導型ハーモニック・アテンション (Prosody-Guided Harmonic Attention):
   モデルは、Harvestアルゴリズムを用いて参照波形から基本周波数（F0）を抽出する。このF0輪郭はエンコーダ・デコーダ経路へと埋め込まれ、ハーモニック・アテンション・メカニズムを介して注入される。ピッチを単なる補助的な特徴量として扱うモデルとは異なり、このモジュールは、エンコードされたスペクトル特徴量（$H$）とF0埋め込み（$F$）の相互作用に基づいてアテンションの重みを計算する。このメカニズムは、エンコードされた表現をF0によって示される調波構造に明示的に整合させ、有声音の領域と調波構造を強調し、無声音のフレームには影響を与えないようにする。

2. 直接複素スペクトル予測 (Direct Complex-Spectrum Prediction):
   デコーダは、複素短時間フーリエ変換（STFT）領域で直接動作する。振幅のみの特徴量を予測して位相をヒューリスティックに再構成するのではなく、モデルはスペクトルの実部と虚部を同時に予測する。出力は実部（$\hat{R}$）と虚部（$\hat{I}$）に分割され、複素スペクトル $\hat{S} = \hat{R} + j\hat{I}$ を形成する。このスペクトルは逆STFT（ISTFT）を介して波形に変換され、これにより位相の整合性が構造的に保証され、事後的な位相推定の必要性が排除される。

3. マルチオブジェクティブ知覚最適化 (Multi-Objective Perceptual Optimization):
   学習には、以下の3つの項を組み合わせたマルチオブジェクティブ損失関数が用いられる。

• マルチレゾリューションSTFT (MR-STFT) 損失: 複数の解析窓を用いて安定したスペクトル監督を提供し、調波構造とスペクトル包絡を捉える。
• 敵対的損失 (Adversarial Loss): 予測された複素スペクトルから再構成された波形に対して、マルチピリオドおよびマルチレゾリューション・ディスクリミネータを使用する軽量なセットアップを用い、知覚的なリアリズムを高める。
• 位相意識型損失 (Phase-Aware Loss): 予測された複素スペクトルと参照用複素スペクトルの間で計算される新しい項。振幅のスケーリングに依存せず、位相の整合性にのみ焦点を当てるために、単位振幅に正規化して計算される。

主な貢献
本論文は、以下の3つの革新を特定している。

1. プロソディ誘導型ハーモニック・アテンション: F0を利用してスペクトルモデリングを条件付けるメカニタズムであり、エンコーディング段階において有声音の領域を強調することで、プロソディの忠実度を向上させる。
2. 直接複素スペクトル予測: 振幅と位相（実部と虚部）を同時に予測する統一フレームワークであり、デカップリング（分離）なしに、逆STFTを介した位相整合的な波形再構成を可能にする。
3. マルチオブジェクティブ知覚学習: 敵対的、スペクトル、および位相意識型の損失を統合し、モデルを知覚的な品質と位相の整合性に適合させる最適化戦略。

実験結果
実験はLJSpeechおよびVCTKコーパスを用いて行われ、HiFi-GAN、AutoVocoder、Vocos、およびGriffin-Limアンカーと比較された。結果は、客観的および主観的指標の両方において一貫した改善を示している。

• ピッチ精度: F0の平方根平均二乗誤差（RMSE）は、HiFi-GANと比較して22%、AutoVocoderと比較して18%減少した。
• プロソディの信頼性: 有声音/無声音（V/UV）エラー率は、HiFi-GANに対して18%低下した。
• 知覚的品質: 平均意見スコア（MOS）は4.45に向上し、HiFi-GAN（4.2）、AutoVocoder（4.3）、Vocos（4.1）を上回った。選好テストにおいて、リスナーは88%のケースで提案システムを支持した。
• スペクトル忠実度: 残差メルエネルギーの分析により、提案モデルはベースラインよりも低い残差を維持し、参照となる調波をより密接に追跡しており、時間的なスマアリング（ぼけ）が減少していることが示された。

意義と主張
著者らは、本研究がプロソディと位相モデリングにおける長年のギャップに対処する、統一されたボコーダー・アーキテクチャを確立するものであると主張している。プロソディ誘導型アテンションと直接複素スペクトル予測を組み合わせることで、本システムは、より自然で、ピッチが正確で、堅牢な合成音声を生成する。本論文は、プロソディと位相の整合性を同時に明示的にモデリングすることが、声のクローニング、感情音声合成、脳・音声デコーディングなどの高度なアプリケーションにおいて、忠実なプロソディ再生が不可欠であることから極めて重要であると断じている。本研究は、結合された振幅・位相モデリングが、プロソディの合図によって誘導されることで、従来のメルスペクトログラムに基づくアプローチよりも優れていることを実証し、表現力豊かなニューラルボコーディングの基礎を築くものである。