技術要約: Qwen3-TTS

問題提起

ニューラル音声合成（TTS）の分野は、安定し、制御可能で、人間のような音声合成の実現を目指しており、これは人工汎用知能（AGI）への道のりにおいて極めて重要であると考えられています。大規模なデータセットで学習された現代的なモデルは、短い参照音声から高品質な音声を生成できますが、安定性と自然さのバランス、リアルタイム・ストリーミングのための超低遅延化、そして多様な言語や長文コンテキストにおける堅牢なパフォーマンスの維持という課題が依然として残っています。既存のアプローチは、トークナイゼーションにおける意味的忠実度と音響的豊かさのトレードオフに苦慮したり、複雑な拡散ベースのデコーダーやルックアヘッド（先読み）の要件によるレイテンシのボトルネックに直面したりすることがよくあります。さらに、微細な指示への追従や、ASR（自動音声認識）指標への過学習を避けつつ音声クローニングを実現するために、TTSを大規模言語モデル（LLM）とシームレスに統合することも、依然として大きな障壁となっています。

メソドロジー

アーキテクチャとトークナイゼーション

Qwen3-TTSは、リアルタイム合成のために設計されたデュアルトラック自己回帰アーキテクチャに基づいた一連のモデルを導入しています。核心となる革新は、異なるレイテンシと品質の要件に対処するために、2つの異なる音声トークナイザーを開発したことにあります。

1. Qwen-TTS-Tokenizer-25Hz: 意味的内容を強調するシングルコードブック・コーデック（25 Hz）です。これはQwen2-Audioエンコーダーをベースとし、リサンプリングおよびベクトル量子化（VQ）層を追加したものです。波形再構成のために、Flow Matchingを用いたブロック単位のDiffusion Transformer（DiT）を利用しています。このトークナイザーは意味的および音響的な手がかりを統合しており、Qwen-Audioとのシームレスな統合を可能にし、スライディングウィンドウ形式のブロック・アテンション機構を通じてストリーミングをサポートします。しかし、そのシングルコードブック設計とルックアヘッドの要件により、超低遅延アプリケーションへの適合性は制限されます。
2. Qwen-TTS-Tokenizer-12Hz: マルチコードブック・コーデック（12.5 Hz）であり、16層の残差ベクトル量子化（RVQ）設計を備えています。最初のコードブックは意味的内容を捉え、後続の層は音響的な詳細をモデル化します。Mimiアーキテクチャに着想を得ており、セマンティックパスにはWavLMを用いた教師・生徒設定によるGANベースの学習フレームワークを採用しています。決定的な特徴として、完全な因果的（Causal）な特徴エンコーダおよびデコーダを使用しているため、ルックアヘッドなしでの即時的な最初のパケット放出が可能です。波形再構成は軽量な因果的ConvNetによって処理され、スピーカーベクトルの抽出や複雑な拡散モデルを必要としません。

モデルアーキテクチャ

Qwen3-TTSモデルは、Qwen3大規模言語モデル（LM）ファミリーを活用しています。

• デュアルトラック表現: テキストトークンと音響トークンはチャネル軸に沿って結合されます。テキストトークンを受信すると、モデルは対応する音響トークンを予測し、それらはCode2Wavモジュールによって波形に変換されます。
• 階層的予測（12Hzバリアント）: バックボーンは第0コードブックを予測し、マルチトークン予測（MTP）モジュールがすべての残差コードブックを生成することで、複雑な音響詳細を捉え、音声の一貫性を高めます。
• スピーカー制御: 学習可能なスピーカーエンコーダーがバックボーンと共に共同学習され、精密なアイデンティティ制御を維持します。本システムは、参照音声（スピーカー埋め込み）またはテキスト・音声ペア（インコンテキスト学習）による音声クローニング、および自然言語による記述を用いた音声デザインの両方をサポートしています。

学習戦略

学習プロセスは、すべてのデータがChatML形式でフォーマットされたプリトレーニングおよびポストトレーニングのフェーズで構成されます。

1. プリトレーニング:
   • 一般ステージ (S1): 500万時間以上の多言語音声データで学習され、単調なテキスト・音声マッピングを確立します。
   • 高品質ステージ (S2): 層別化された高品質データによる継続的プリトレーニング（CPT）を行い、ハルシネーションを減少させ、音声品質を向上させます。
   • 長文コンテキストステージ (S3): トークン長を8,192から32,768に増加させ、長尺音声データのアップサンプリングを行うことで、コンテキスト処理能力を高めます。
2. ポストトレーニング:
   • 直接選好最適化 (DPO): 構築された選好ペアを用いて、出力を選好に適合させます。
   • ルールベースの報酬 & GSPO: タスク全体における能力と安定性を強化します。
   • 軽量なスピーカー微調整: ベースモデルを特定の音声に適応させつつ、自然さと制御性を向上させます。
   • 指示追従: 複雑な記述への遵守を改善するため、学習中に確率的に活性化される思考パターンを導入しています。

主な貢献

1. デュアルトークナイザー・フレームワーク: 高忠実度の意味的統合のための25Hzと、超低遅延ストリーミングのための12Hzという、2つの特化したトークナイザーの導入により、表現力とリアルタイム性能のバランスを実現しました。
2. 超低遅延ストリーミング: 12Hzバリアントは、因果的なマルチコードブック設計を利用することで、0.6Bモデルで97 ms、1.7Bモデルで101 msという極めて低い初動パケットレイテンシを達成し、即時の波形放出を可能にしました。
3. 高度な制御可能性: 3秒間の音声クローニング、定義済みの音声プロファイル、および音声作成（Voice Design）と編集（Target Speaker）の両方に対する自然言語による微細な制御をサポートしています。
4. 堅牢な多言語性能: 10言語にわたる500万時間以上のデータで学習されており、スピーカーの一貫性を保った多言語生成と、優れたクロスリンガル音声転送能力を示しています。
5. 長尺の安定性: 自己回帰モデルに共通する安定性の問題を解決し、チャンクベースのシステムに見られるようなアーティファクトなしに、10分以上の流暢な音声をシームレスに生成することを可能にしました。

実験結果

音声トークナイザーの評価

• 25Hz Tokenizer: ASRタスク（CommonVoice, Fleurs）において、特にステージ1においてS3トークナイザーシリーズと比較して競争力のある、あるいは優れた単語誤り率（WER）を達成しました。ステージ2では、より良いTTS生成のために音響的豊かさを加えるという意図的なトレードオフにより、わずかなWERの上昇が見られました。
• 12Hz Tokenizer: LibriSpeech test-cleanセットにおいて、すべての指標（PESQ, STOI, UTMOS, SIM）で新しいSOTA（State-of-the-Art）を樹立し、Mimi、SpeechTokenizer、X-Codecなどのモデルを凌駕しながら、高い符号化効率を維持しました。

音声生成の評価

• ゼロショット・クローニング: Seed-TTSベンチマークにおいて、Qwen3-TTS-12Hz-1.7Bは、英語で1.24、中国語で0.77のWERを達成し、CosyVoice 3、Seed-TTS、MiniMax-Speechなどのベースラインを上回りました。
• 多言語生成: 10言語中6言語（中国語、英語、韓国語、ロシア語を含む）で最低のWERを記録し、MiniMaxやElevenLabsと比較して、全10言語において最高のスピーカー類似スコアを達成しました。
• クロスリンガル転送: 優れた汎化性能を示し、中国語から韓国語への生成において、CosyVoice 3と比較してエラー率を約66%削減しました。
• 制御可能な生成: InstructTTSEvalにおいて、12Hz Voice Designバリアントは、記述・音声一貫性（DSD）および応答精度（RP）の両方において、オープンソースモデルや商用システム（Hume, VoiceSculptor）を上回りました。ターゲットスピーカー編集においては、GPT-4o-mini-ttsを大幅に上回りました。
• 長尺生成: 25Hzバリアントは、10分間の長尺テストセットにおいて最も低いWER（中国語で1.533、英語で1.571）を達成し、Higgs-Audio-v2やVibeVoiceのようなチャンクベースのシステムと比較して優れた安定性を示しました。

効率性

• ストリーミング・レイテンシ: 単一同時実行条件下において、12Hzモデルは25Hzモデル（138–150 ms）と比較して、大幅に低い初動パケットレイテンシ（97–101 ms）を示しました。
• 同時実行性: モデルは変動する同時実行レベル（1, 3, 6）の下でも安定したパフォーマンスを維持し、12Hzバリアントはパケットあたりの定常状態コストが低いことを示しました。

重要性

本論文は、Qwen3-TTSが、安定し、制御可能で、人間のような音声合成に向けた重要な一歩であることを主張しています。ゼロショット・クローニング、クロスリンガル転送、および微細な指示制御という多様なタスクを単一の自己回帰フレームワーク内に統合することで、次世代のオムニ（全能）型オーディオシステムへの道を開いています。モデルとトークナイザーの両方をApache 2.0ライセンスでリリースすることは、コミュニティの研究と、より自然でアクセシブルなヒューマン・コンピュータ・インターフェースの開発を促進することを目的としています。本研究は、意味的および音響的なトークナイゼーションのバランスを、因果的デコーディングおよび高度な学習戦略と組み合わせることが、従来のTTSアーキテクチャのレイテンシと安定性の限界を克服できることを強調しています。