コンピュータが文章を読み取り、特定の人物と全く同じ、その人独自のトーンやリズムを備えた声で朗読できる世界を想像してみてください。これは、現代のテキスト読み上げ技術(TTS)が約束する未来であり、この分野はロボットのような電子音から、人間のようなリアリズムへと進化してきました。この能力の中核には、「オーディオ圧縮」または「コーデック」と呼ばれる極めて重要なステップが存在します。このプロセスを、生の音波をコンパクトなデジタル・トークンのストリームへと変換する翻訳者だと考えてください。それは、長い小説を一連の略記へと書き換える作業に似ています。これらのノートはその後デコーダーへと送られ、音が再構成されます。長年、これらのシステムはうまく機能してきましたが、リアルタイムでの発話という課題に直面しました。ライブの会話についていくためには、コンピュータは音を極めて小さく、素早いバーストとして処理しなければなりません。問題は、システムがこれら極小のバストのみに基づいて話し手が誰であるかを推測しようとすると、しばしば道を見失い、声が揺れたり、文の途中で別のアイデンティティへと漂流してしまうことです。
オランダのライデン大学の研究者たちは、「21Codec」と名付けた新しいシステムによって、この不安定さに対処しました。彼らの研究は、現在の機械が音声のアイデンティティを扱う方法における根本的な欠陥に取り組むものです。既存のモデルでは、コンピュータはこれまでに生成されたノートの全シーケンスを見ることで、誰が話しているのかを判断しようとします。しかし、システムがリアルタイムでの動作を強いられると、一度に見ることができるのはそれらのノートのごく一部だけになります。その結果、システムはチャック(塊)ごとに話し手のアイデンティティを再推測することになり、それらの推測が互いに衝突し、まるで自分が誰であるべきかについて迷っているかのような声を生み出してしまうのです。研究者たちは、これは音声をデコードする方法の問題ではなく、情報の保存方法の問題であると主張しています。彼らは、音声のアイデンティティはノートの中に隠され、推測されるのを待つのではなく、別途の指示としてデコーダーに直接供給されるべきであると提案しています。
これを実現するために、チームはデコーダーに送られるデジタル・ノートから話し手のアイデンティティを能動的に取り除くシステムを構築しました。彼らは、「教師」がノートから話し手を特定しようとする巧妙なテクニックを用いてモデルを訓練しました。モデルはこの教師を欺くことを学習し、圧縮されたデータストリームの中に話し手のアイデンティティを効果的に隠蔽します。システムはノートに声を担わせる代わりに、望ましい話し手のデジタルな指紋である「制御信号」を別途使用して、再構成をガイドします。この信号はプロセスの最後に適用され、データのチャックがいかに小さくても、最初の言葉から最後の言葉まで声の一貫性を保証します。研究者たちは、単一のノートのシーケンスを取り上げ、異なる音声指紋で再生することで、言葉や文章の意味を変えることなく話し手を変更できることを実証しました。
結果は、このアプローチが安定した声を維持する上で極めて効果的であることを示しています。システムが同じノートのシーケンスを小さなリアルタイムのチャックとしてデコードした際、以前のモデルでは声が明らかに別の話し手へと変化してしまっていたのに対し、声の漂流は見られませんでした。チームは、追加のデータを送ったりファイルサイズを増やしたりすることなく、制御信号を入れ替えるだけで、音声の生成中に話し手のアイデンティティを変更できることを見出しました。しかし、この制御性の向上には、わずかなトレードオフが伴います。声は自然で話し手のアイデンティティも安定していますが、話し手の情報を取り除かないモデルと比較すると、正確に言葉を保持する能力がわずかに低下します。研究者たちは、コンピュータがどれほど言葉を聞き間違えたかをチェックすることでこれを測定し、エラーのわずかな増加を確認しましたが、全体的な音質は高い水準を維持していました。
この研究は、ライブ翻訳やインタラクティブなアシスタントのようなリアルタイムのアプリケーションにおいて、テキスト読み上げシステムが真に信頼できるものになるためには、音声のアイデンティティの扱い方を変える必要があることを示唆しています。音声の定義という責任を圧縮されたノートから外部の制御信号へと移すことで、システムは声の漂流を引き起こす混乱を回避できます。研究者たちは、予算の制約により訓練を早期に終了したため、報告された数値は控えめなものであることを認めていますが、彼らのモデルは依然として改良の余地があります。それでもなお、彼らの知見は明確な進むべき道を示しています。それは、声が数個のノートから解かれるべき謎ではなく、マシンによって明示的に選択される選択肢となり、話し手が最初から最後まで同一人物であることを保証するシステムです。
技術要約:21Codec – デコーダー側でのテキスト音声合成用スピーカー制御
問題提起
現在の自己回帰型テキスト音声合成(TTS)システムは、中間表現として離散的なオーディオトークンにますます依存するようになっています。しかし、既存のコーデックモデル(NeuCodec、WavTokenizerなど)は、通常、非因果的な学習時に利用可能なグローバルなコンテキストを利用して、トークンストリーム自体から話者性を推論します。これらのモデルをストリーミングTTSに適合させる場合、短く独立したトークンチャンクに対して動作することになります。これにより、デコーダーは各チャンクのローカルなコンテキストのみから話者性を再推論することを余儀なくされ、「スピーカー・ドリフト(話者の揺らぎ)」を引き起こします。その結果、単一の発話内であっても、合成された音声が異なる話者間で聴覚的に変動してしまうことがあり、低レイテンシのために短いトークンウィンドウが必要となる現在のリアルタイム合成の要件に対して、最先端(SOTA)モデルを不適合なものにしています。
手法
著者らは、50 Hzのフレームレートで0.80 kbpsで動作するストリーミングコーデックである21Codecを提案しています。核となる革新は表現の転換にあります。本モデルはトークンストリーム内の話者性を抑制し、外部の条件付けベクトルを介してデコーダー側でのみそれを再導入します。
- アーキテクチャ:
- エンコーダー: 音響エンコーダー(残差ブロックとSnakeBeta活性化関数を備えたCNN)と、凍結されたWav2Vec2セマンティックエンコーダーで構成されます。出力は融合され、8次元4レベルの有限スカラー量子化(FSQ)を用いて量子化され、1フレームあたり**16ビット(0.80 kbps)**を生成します。エンコーダーは非因果的です。
- デコーダー: ISTFTヘッドを備えたTransformerベースのバックボーンであり、チャンク因果的(未来のチャンクのみをブロックする自己注意マスクを使用)に設計されています。DiTに着想を得た適応型モジュレーションを利用して、Ecapa-TDNNスピーカー埋め込みによる生成を条件付けします。
- 学習戦略:
- 敵対的話者分類器: 量子化されたコードから話者性を予測するように訓練されたプローブ(ϕ)を用います。コーデックは、プローブの事後分布を一様分布へと向かわせるための混乱ペナルティ(Lconf)を用いて訓練され、これによりトークンストリームを実質的に「アイデンティティ・フリー(話者情報を含まない状態)」にします。
- データ拡張: 著者らはNANSYスタイルのフォルマントシフト拡張を採用しており、基本周波数(F0)とイントネーションを保持しながら、スペクトル包絡を周波数軸方向にワープ(1.14–1.33倍)させます。これにより、モデルが増強によって除去できない手がかりではなく、提供されたスピーカー埋め込みに依存するようにします。
- 目的関数: 全体の損失関数は、メルスペクトログラム損失、エネルギー損失、敵対的損失、特徴量損失、およびスピーカー混乱ペナルティ(λspk=1)を組み合わせたものです。
主な貢献
- 話者情報を削減したストリーミングコーデック: トークンストリームから話者性を抑制することに成功したモデルであり、提供された条件付け埋め込みを変更するだけで、出力を異なる話者に再音声化(re-voice)することを可能にします。
- ミッドストリーム制御: ビットレートを上げたり、以前のチャンクを再合成したりすることなく、ストリーミング推論中に話者性を変更できる能力。
- チャンキングへの堅牢性: 因果的ストリーミングデコーディングが、小さなチャンクサイズ(500 ms / 25フレームまで)であっても、非因果的デコーディングと同等の話者の一貫性を維持できることを示す評価。
結果
- 話者制御: 同一のソースコードを異なるスピーカー埋め込みでデコードした際、出力は参照スピーカーに対して0.763のスピーカー類似度を達成した一方で、元のソースへの類似度は0.283まで低下しました。これは、ソースのアイデンティティがトークンストリームから大部分除去されていることを裏付けています。
- 聞き手評価: リスニング評価(SMOSテスト)において、再音声化された発話は3.58(同一話者のペアである3.89に近い値)を記録し、元のソースの類似度(2.05)や異なる話者のベースライン(1.50)を大幅に上回りました。
- 明瞭性と制御性のトレードオフ: この手法は明瞭性にコストを課します。単語誤り率(WER)は、無条件のベースラインの0.047から、21Codecでは0.095に増加しました。しかし、自然度指標(DNSMOS、NISQA)および自然度に関する人間による評価は、条件付きモデルと無条件モデルの間で同等でした。
- ストリーミング性能: モデルは、500 msのチャンクサイズにおいて、非因果的デコーディングの±0.002以内の範囲で話者類似性を維持します。リアルタイム係数(RTF)は、160 msのチャンクにおいて、CPUで0.129、GPUで0.035です。
- 比較: NeuCodecやWavTokenizerなどのベースラインに対し、21Codecは再音声化タスクにおいて、WavTokenizerのソース再構成類似度(0.801)と比較して高いターゲットスピーカー類似度(0.763)を達成しました。ただし、WavTokenizerの方が元のソーススピーカーに対する忠実度は高いままです。決定的な点として、21Codecはキャッシュなしのチャンクデコーディングにおいて優れた安定性を示しましたが、他のモデルは顕著なスピーカー・ドリフトを示しました。なお、21Codecおよび評価内の他のほとんどのシステムは0.80 kbpsで動作していますが、WavTokenizerは0.90 kbpsで動作していることに注意してください。
意義と主張
本論文は、チャンクデコーディングにおけるスピーカー・ドリフトによる不安定さを引き起こすことなく、話者アイデンティティの制御性を高めることができるため、21CodecがストリーミングTTSシステムにとって有望な候補であることを主張しています。著者らは、彼らのアプローチがデコーディングの問題ではなく、表現の問題に対処していることを強調しています。
著者らは、予算の制約により訓練が5日間で停止され、完全には収束していないことを明記しており、報告された数値は下限値であることを注記しています。また、本手法の性能は、使用される特定のスピーカー埋め込みモデル(Ecapa-TDNN)に依存します。結論として、トークンストリームからの話者除去と明瞭性の間にはトレードオフが存在するものの、ストリーミングチャンク間で一貫したアイデンティティを維持する能力は、リアルタイム合成における重要な進歩であるとしています。
毎週最高の 電気工学 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録