🤖 AI

End-to-End Training for Discrete Token LLM based TTS System

本論文は、離散的なトークンベースのTTSコンポーネントを統合するために、音声トークナイザー、自己回帰型LLM、フローマッチングモデル、および報酬モデルを共同で最適化する完全なエンドツーエンド学習フレームワークを提案しており、従来のカスケード方式と比較して大幅に簡素化されたパイプラインでありながら、新たな最先端の性能を達成している。

原著者： Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：リレーレースから交響曲へ

テキスト読み上げ（TTS）システム（テキストを声に出して読み上げるコンピュータ）を構築することを、リレーレースのチーム作りだと想像してみてください。

従来の方法（カスケード型パイプライン）：
現在のほとんどのシステムでは、3人の別々のランナーがいます。

翻訳者（トークナイザー）： 声の音を取り込み、数字の秘密のコード（トークン）に変換します。
予測者（LLM）： テキストを読み、その秘密のコードにおける次の数字を推測します。
歌手（FMモデル）： 推測された数字を取り込み、それらを再び音波へと変換します。

問題は何でしょうか？これら3人のランナーは、それぞれ別々にトレーニングされています。翻訳者はASR（音声認識）が得意になるよう訓練され、予測者は数字を当てる訓練を受け、歌手は音を再構成する訓練を受けます。彼らは練習中、決して互いにコミュニケーションを取りません。いざ一緒にレースを行うとき、彼らは互いのスタイルを知らないため、つまずいてしまいます。それは、翻訳者が話す方言を予測者が理解できないようなものであり、最終的なパフォーマンスを台無しにしてしまいます。

新しい方法（エンドツーエンド学習）：
本論文では、これら3人のランナー（＋コーチ）を、一つの大きな統一された練習セッションで一緒にトレーニングすることを提案しています。彼らは共通の言語を学び、互いの動きを予測し、リアルタイムでパフォーマンスを調整することを学びます。

登場人物

音声トークナイザー（翻訳者）：
- 役割： 人間の声を小さな、離散的な「レゴブロック」（トークン）へと細切れにします。
- 旧来の問題： これは「人間」のための優れた翻訳者（音声認識アプリなど）として訓練されており、コンピュータの次のステップのために最適化されていませんでした。
- 解決策： この新しいシステムでは、翻訳者は予測者と歌手が使いやすいように設計されたレゴブロックを作ることを学びます。
LLM（予測者）：
- 役割： あなたが入力したテキストを読み、それを言うために必要なレゴブロックのシーケンスを予測します。
- 旧来の問題： 「最も可能性の高い」ブロックを推測するように訓練されていたため、声が平坦で退屈なもの、あるいは「平均的」なものになりがちでした。
- 解決策： 自分の推測が単に統計的に確率が高いかどうかではなく、実際に良い音として聞こえるかどうかについて、歌手とコーチから即座にフィードバックを受け取ります。
フロー・マッチング・モデル（歌手）：
- 役割： レゴブロックを受け取り、実際の音声波形を組み立てます。
- 旧来の問題： 「完璧な」ブロック（正解データ）に基づいて訓練されていましたが、現実には予測者がミスをすることがあります。そのため、不完全なブロックを与えられると、歌手はクラッシュしてしまいます。
- 解決策： ブロックが多少不完全であっても歌えるように学習し、システムの堅牢性を高めます。
報酬モデル（コーチ）：
- 役割： これは新しく追加された要素です。出力された音声を聞き、「正しい言葉を言っているか？」（ASR）、「正しい人物の声か？」（話者識別）、「感情がこもっているか？」（感情）の3点をチェックします。
- 役割： レフェリーとして機能し、正確な発音やスタイルに対してポイントを与え、チーム全体をより良いパフォーマンスへと導きます。

学習方法：3段階のリハーサル

著者たちは、安定性を保つために、単に全員を一度にリングに投げ込むのではなく、スマートな3段階のトレーニングパイプラインを使用しました。

ステージ1：基礎（一次損失 / First-Order Loss）

比喩： 翻訳者、予測者、歌手の全員が、「完璧な」台本と「完璧な」録音を見ている状態を想像してください。
何が起きるか： 彼らは全員一緒に学習します。翻訳者は、予測者が推測しやすく、かつ歌手が使いやすいブロックを作ることを学びます。コーチは見守り、ブロックが正しい意味と感情を運んでいることを確認します。
目標： 全員を同じ認識にさせ、翻訳者が他のメンバーを混乱させるような「悪い」ブロックを作らないようにすることです。

ステージ2：独立した練習（Independent Practice）

比喩： 翻訳者はマスターとなり、変化を止めます。予測者と歌手は個別に練習しますが、異なるデータセットを使用することが許されます（例えば、歌手はノイズの多い録音で練習し、予測者はクリーンな録音で練習するなど）。
目標： 翻訳者のコードを壊すことなく、歌手と予測者の特定のスキルを微調整することです。

ステージ3：フル・ドレスリハーサル（二次損失 / Second-Order Loss）

比喩： これが本番です。予測者は、完璧なブロックを使う代わりに、ブロックを「推測」することが許されます。歌手とコーチは、これらの不完全な推測に対処しなければなりません。
魔法の瞬間： もし予測者が間違ったブロックを推測した場合、歌手とコーチは予測者に対して、「その推測では声が悪くなったので、やり直してください」という信号を逆方向に送ります。
目標： これによりループが閉じられます。予測者は、歌手が実際に扱えるような推測を行うことを学び、歌手はエラーに対して強くなることを学びます。これにより、「訓練とテストのミスマッチ（訓練時はうまくいくが、実世界では失敗する現象）」を排除します。

結果：なぜ重要なのか

本論文は、全員を一緒に訓練することで、システムが大幅に向上することを主張しています。

精度の向上： 標準的なテスト（Seed-TTS）において、彼らのシステムは発音のミスが非常に少なく（中国語で0.78%、英語で1.56%の単語誤り率）、これは新たな「SOTA（最先端）」の記録となりました。
小型モデル： 彼らは比較的小さなモデル（予測者に0.6B、歌手に0.5Bのパラメータ）を使用してこれを達成しました。これは、効率的に訓練すれば、素晴らしい結果を得るために巨大で肥大化したシステムは必要ないことを証明しています。
豊かな情報量： このシステムによって作成される「レゴブロック（トークン）」はよりスマートです。それらは音と意味の両方に関するより有用な情報を含んでおり、利用可能な「コードブック（すべての可能なブロックのセット）」をより効率的に使用し、システムが一部の一般的なブロックのみを使用し、残りのブロックを無視してしまうという問題を回避しています。

まとめ

この論文は、TTSシステムの構築において、パーツを別々に作り、それらがうまく噛み合うことを祈るという従来の方法は非効率的であると主張しています。システム全体を一連の相互接続された有機体として扱い、エンドツーエンドで訓練することで、より正確で表現力豊かで、たとえ小さなコンピュータモデルであっても訓練しやすい音声を得ることができます。それは、見知らぬ者同士が一緒に曲を演奏しようとするのと、バンドが数ヶ月間、一音一音を共にリハーサルしてきた状態の違いなのです。

技術要約：離散トークン型LLMベースTTSシステムのためのエンドツーエンド学習

問題提起

現在の最先端（SOTA）のテキスト読み上げ（TTS）システムは、通常、音声トークナイザー、自己回帰型大規模言語モデル（LLM）、および拡散ベースのフローマッチング（FM）モデルからなるカスケード・パイプラインに依存しています。これらのコンポーネントは伝統的に独立して設計・訓練されており、主に以下の3つの制限をもたらします。

目的の不一致（Misaligned Objectives）: トークナイザーは、代理目的（例：ASR精度、SSL表現の質、またはオートエンコーディングの忠実度）を用いて事前学習されますが、これらは自己回帰的なトークン予測やFMによる再構成といったダウンストリームのニーズと必ずしも一致しません。これにより、しばしば最適ではないエンドツーエンドの挙動が生じます。例えば、トークンの表現力（例：より大きなコードブック）を高めることは再構成には有利ですが、LLMの学習難易度を増大させることがあります。
不透明なトークン表現（Opaque Token Representations）: ニューラルネットワークのブラックボックス的な性質により、離散トークンにエンコードされた情報の分離は困難です。トークンには、絡み合い、冗長で、制御不能な変動要因（例：セマンティックな内容と混在した話者属性）が含まれることが多く、これが予測の曖昧さを引き起こし、合成の制御性を低下させます。
訓練とテストのミスマッチ（Train-Test Mismatch）: FMモデルは通常、LLMの予測されたトークンではなく、グラウンドトゥルース（正解）のトークンを用いて訓練されます。その結果、LLMの出力における誤差や分布の変化がFMへと伝播し、推論時の合成品質を低下させます。さらに、トークンの尤度を最大化することのみを目的として訓練されたLLMは、「安全」で「平均的」な生成に収束しやすく、表現力豊かなTTSに必要な多様なプロソディやスタイルを捉えることができません。

近年の研究では、部分的な結合最適化（例：トークナイザーと拡散モデルの結合、あるいはLLMと報酬モデルの結合）を試みたものもありますが、既存のアプローチはシステムを包括的に最適化することには失敗しており、独立して訓練されたコンポーネント間のインターフェースの不整合や訓練・テストのミスマッチを残しています。

手法

本論文は、音声トークナイザー、LLM、FMモデル、および補助的な報酬モデル（RM）の訓練を統合する、完全なエンドツーエンド（E2E）最適化フレームワークを提案しています。このフレームワークは、2つの異なる損失関数と3段階の訓練パイプラインを利用します。

コアコンポーネント

音声トークナイザー: 有限スカラー量子化（FSQ）を用いて、音声信号を離散トークン列（ $c_{1:T}$ ）および量子化表現（ $q_{1:T}$ ）に変換します。
報酬モデル（RM）: トークン表現に対して、自動音声認識（ASR）、話者感情認識（SER）、および話者識別（SPK）を実行するマルチタスク認識モデルです。
フローマッチング（FM）モデル: トークン表現から音声を再構成する拡散トランスフォーマー（DiT）です。
大規模言語モデル（LLM）: 入力テキストと過去のトークンに条件付けられた、次の音声トークンを予測する自己回帰モデルです。

損失関数

一次損失（ $L_1$ ）:
- 目的: グラウンドトゥルースのトークンを用いてトークナイザーを共同最適化します。
- 構成要素:
  - $L_{LLM}$ : 次のトークン予測損失。
  - $L_{RM}$ : ASR（CTC）、SER（クロスエントロピー）、およびSPK（コサイン類似度）の損失の総和。
  - $L_{FM}$ : フローマッチング再構成損失。
- メカニズム: これらのタスクからの勾配がトークナイザーに直接バックプロパゲーションされ、特定のTTSパイプラインに対して音響的かつ意味的に顕著な離散トークンスペースを形成します。
二次損失（ $L_2$ ）:
- 目的: 訓練・テストのミスマッチを緩和するために、LLM自身の生成分布下でLLMを最適化します。
- メカニズム: LLMは（微分可能性のためにGumbel-Softmaxを使用して）トークン列を生成し、それがFMおよびRMに供給されます。システムは、これらの予測されたトークンの再構成品質（ $L_{LFM}$ ）および認識の一貫性（ $L_{LRM}$ ）に基づいて最適化されます。
- 効果: これは強化学習的なアライメントとして機能し、LLMが単に正確であるだけでなく、ダウンストリームの再構成および認識の要件に対して堅牢なトークンを生成するように促します。

訓練パイプライン

安定性を確保するため、訓練は3つのステージで行われます。

ステージ1: すべてのパラメータが $L_1$ を用いて訓練可能です。目標は、RM、FM、およびLLMからのダウンストリームの監督を用いてトークナイザーを訓練することです。
ステージ2: トークナイザーを凍結します。RM、FM、およびLLMを（例：ノイズを含むデータを用いたRMの追加など、異なるデータセットを用いて）個別に訓練します。
ステージ3: RMを凍結します。LLMの生成分布をFMの再構成能力に適合させるために、 $L_2$ （二次損失）を用いてLLMとFMを共同訓練します。

主な貢献

包括的なE2Eフレームワーク: 本論文は、トークナイザー、LLM、FM、およびRMを同時に最適化する統一された訓練フレームワークを導入し、カスケード型の独立して訓練されたパイプラインの限界を超えています。
デュアルステージ最適化: 一次損失（トークナー形成のためのグラウンドトゥルース監督）と二次損失（生成を考慮したLLMアライメントのための生成指向の監督）の区別は、表現学習と推論時のミスマッチの両方に対処します。
理論的分析: 著者らは、音声トークナイザーの訓練をソースコーディング問題として定式化し、提案されたE2E目的関数がトークンのエントロピー（ $H(X_n)$ ）と時間的依存性（ $I(X_{n+1}; X_n)$ ）を最大化し、結果としてより効率的なコードブック利用と優れた予測情報の保持につながることを示しています。
簡素化された訓練パイプライン: 本手法は、既存の複雑なカスケードシステムと比較して、大幅にシンプルな訓練プロセスでSOTAの結果を達成しています。

実験結果

システムは、0.6BパラメータのLLMと0.5BパラメータのFMモデルを用いて、Seed-TTS-Evalベンチマークで評価されました。

ゼロショットTTS性能:
- 単語誤り率（WER）は、中国語で0.78%、英語で**1.56%**を達成しました。
- これらの結果は、同等のパラメータサイズのシステムにおける新たなSOTAであり、コンテンツの一貫性（WER/CER）と話者類似度（SS）の両面において、カスケード型のベースラインや他の最近のモデル（例：Seed-TTS、CosyVoice3、Qwen3-TTS）を凌駕しています。
再構成と認識:
- FMモデルは、特にトークナイザーとの共同訓練が導入された際に、訓練ステージ間でWERおよび話者類似度（SS）において大幅な改善を示しました。
- RMは堅牢なASRおよびSER性能を示し、中国語ASRタスクにおいてS3-tokenizerおよびQwen-TTS-tokenizerを上回りました。
アブレーション研究:
- E2E訓練を除去した場合（トークナイザーを独立して事前学習した場合）、性能が劣化したため、共同最適化の極めて重要な役割が確認されました。
- トークン分布の統計分析により、E2E訓練は、 $L_{LLM}$ や $L_{FM}$ なしで訓練されたモデルと比較して、より高い情報エントロピーとより均一なコードブック利用をもたらすことが示されました。

意義

本論文は、離散トークンベースのTTSシステムを向上させるためには、包括的なエンドツーエンド最適化が不可欠であることを主張しています。トークナイザーの表現学習をLLMおよびFMの要求に直接適合させることで、本システムはカスケード型のアプローチに固有の、目的の不一致および訓練・テストのミスマッチを克服しています。結果は、すべてのコンポーネントの最適化を統合する非常にシンプルな訓練パイプラインが、現在のSOTAと同等またはそれ以上の性能を生み出し、同時に訓練インフラの複雑さを大幅に軽減できることを検証しています。