技術概要：DSA-Tokenizer

問題定義

完全に離散化された音声大規模言語モデル（LLM）には、音声と言語処理を統合するための高品質な音声トークナイザが不可欠である。既存のトークナイザは一般的に 3 つのカテゴリに分類され、それぞれに重大な限界がある：

1. 意味情報のみのトークナイザ：言語内容（多くの場合 ASR による教師あり学習を通じて）を優先するが、音色や韻律といった不可欠な音響的手がかりを捨象する。
2. 意味・音響混合トークナイザ：高忠実度な再構成を達成するが、表現が絡み合っており、内容とスタイルを独立して制御することを妨げる。
3. 浅く分離されたトークナイザ：意味情報と音響情報の分離を試みるが、分離が不完全であり、属性の明確な分離を実現できないことが多い。

現在の評価指標（再構成品質、ASR 性能）は、分離性を厳密に評価するには不十分である。著者らは、内容とスタイルを異なる発話から取り出す「クロス・アタランス・ボイスクローニング」が、より直接的かつ厳格なテストであると主張する。既存のモデルはここで失敗することが多く、言語内容に偏ることで音色の不一致が深刻化するか、あるいは音響に偏ることで意味の忠実度が損なわれる傾向がある。

手法

著者らは、DSA-Tokenizer（Disentangled Semantic-Acoustic Tokenizer）を提案する。これは、明確な最適化制約と階層的融合デコーダを通じて、音声を離散的な意味トークンと音響トークンに明示的に分離するように設計されたフレームワークである。

1. タスク固有の制約を伴う双ストリームトークナイザ

このアーキテクチャは、直交する目的を持つ 2 つの並列離散トークンストリームを採用する：

• 意味トークン（$z_s$）：自動音声認識（ASR）によって教師あり学習され、音響スタイルを抑制しつつ言語内容を捉える。
  • 実装：事前学習済み HuBERT モデルが入力波形を処理し、その後、有限スカラー量子化（FSQ）層によって 25Hz で表現を離散化する。
  • 制約：パイプラインは、厳密な言語的制約を強制するために、接続主義的時系列分類（CTC）損失を用いて訓練される。
• 音響トークン（$z_a$）：意味ストリームを補完する話者アイデンティティと韻律属性を捉えるように設計される。
  • 実装：メルスペクトログラムを抽出し、SEANet 風エンコーダでダウンサンプリングした後、FSQ によって離散化する。
  • 制約：$z_s$ に符号化されていない残りの音響詳細を捉えるため、デコーダとエンドツーエンドで訓練される。シーケンス長さ（$T_a$）は意味長さ（$T_s$）と独立しており、クロス・アタランス操作を容易にする。

2. 結合再構成・文脈的インペインティング訓練

ストリーム間の情報漏洩を防ぎ、堅牢なボイスクローニングを可能にするため、モデルは混合訓練戦略を採用する：

• 自己再構成モード：モデルは完全な $z_s$ と $z_a$ シーケンスを用いて、完全なメルスペクトログラムの速度場を予測する。
• 文脈的インペインティングモード：ランダムな時間分割点 $\tau$ 以降のメルスペクトログラムをマスクする。デコーダは、完全な意味シーケンス（$z_s$）と音響トークンの接頭辞（$z_{<\tau}^a$）のみを条件として、マスクされた領域を予測しなければならない。これにより、モデルは部分的な文脈からグローバルな音響スタイルを推論しつつ、意味的ガイダンスに従うことを強制され、漏洩が軽減される。

3. 階層的フローマッチングデコーダ

DiT（Diffusion Transformer）ベースのフローマッチングデコーダは、ハイブリッド注入戦略を用いて 2 つのストリームを融合する：

• 意味注入（ControlNet 風）：意味トークンは構造的な背骨として扱われる。これらはアップサンプリングされ、軽量な CNN アダプタを介して密な時間的条件として注入され、厳密な内容の整合性を保証する。
• 音響注入（クロスアテンション）：音響トークンはクロスアテンション機構を介して注入される。これにより、デコーダは厳密なフレームレベルの整合制約を課すことなく、柔軟に話者や韻律の手がかりを取得でき、クロス・アタランス・ボイスクローニングを可能にする。

4. 効率性と品質の精緻化

推論速度と知覚的品質に対処するため：

• 蒸留：フローマッチングデコーダは、ZipVoice に着想を得た 4 ステップの学生モデルに蒸留され、サンプリングステップが 16 から 4 に削減される。
• GAN 微調整：メルスペクトログラム空間に GAN 精緻化ステージが適用される。マルチスケール PatchGAN 識別子と、凍結された WavLM 話者検証空間に一致するように訓練されたプロキシ話者エンコーダが使用される。このステージは、MSE 目的を用いたフローマッチングが、特に低エネルギー領域において微細な詳細を過小評価する傾向を修正し、制御性を維持しながらオーディオの忠実度を向上させる。

主な貢献

1. DSA-Tokenizer アーキテクチャ：ASR 教師あり学習とメルスペクトログラム再構成目的を用いて、意味内容と音響スタイルを明示的に分離する双ストリームトークナイザ。完全に離散化された音声 LLM と互換性を保つ。
2. 訓練戦略：結合再構成・文脈的インペインティング戦略と、高忠実度な再構成およびクロス・アタランス・ボイスクローニングをサポートする階層的フローマッチングデコーダの導入。
3. 効率的な精緻化：4 ステップ蒸留と GAN 微調整を組み合わせた DiT 精緻化戦略により、効率的かつ高品質な生成を実現。
4. 実証的検証：厳密な意味・音響分離が、絡み合っているか部分的に分離されたベースラインと比較して、下流の音声 LLM に対してより効果的なトークンインターフェースを提供することを示実証。

結果

SeedTTS データセット（英語および中国語）および下流 LLM タスクにおける実験は、以下の知見をもたらした：

• 再構成とボイスクローニング：DSA-Tokenizer は、再構成およびクロス・アタランス・ボイスクローニングタスクの両方で、最も高い UTMOS（自然さ）スコアを達成し、低い WER/CER を維持する。ボイスクローニングに失敗する非分離ベースライン（例：WavTokenizer）や、ボイスクローニングで性能が低下する部分的に分離されたベースライン（例：SAC）とは異なり、DSA-Tokenizer は両タスクを効果的にバランスさせる。
• 分離性のプロービング：プロービング実験（内容のための ASR、スタイルのための話者分類）により、DSA-Tokenizer が最も明確な分離を達成することが明らかになった。その意味トークンは話者分類精度が最も低い（2.35%）ことを示し、スタイルの漏洩が最小であることを意味する。一方、音響トークンは話者分類精度が最も高く（23.65%）、ASR エラーも最も高い（120.36%）ことを示し、内容の漏洩が最小であることを意味する。
• 下流 LLM パフォーマンス：
  • LLM ベースのボイスクローニング：DSA-Tokenizer は、UTMOS、SIM、WER において WavTokenizer や SAC を上回る。これは、よりクリーンな因数分解が LLM によるクロス・アタランス生成を容易にすることを示唆する。
  • LLM ベースの TTS：純粋な自己回帰 TTS 設定において、DSA-Tokenizer は英語と中国語の両方で最高の UTMOS と SIM を達成し、WER も競争力のある水準に保ち、非分離ベースライン（LLaSA、Spark-TTS）や部分的に分離された SAC を上回る。
• アブレーション研究：話者損失（$L_{spk}$）または文脈的インペインティングを除去すると、ボイスクローニング性能が著しく低下する。4 ステップへの蒸留は性能を維持し、GAN 微調整は内容関連の指標を含むすべての指標をさらに向上させる。

意義と主張

本論文は、DSA-Tokenizer が既存のトークナイザの中で「最もクリーンな」意味・音響分離を提供すると主張する。著者らは、この厳密な分離は単なる理論的な改善ではなく、制御可能な音声生成のための実用的な必要性であると論じる。内容とスタイルが独立かつ確実に符号化されるトークンインターフェースを提供することで、DSA-Tokenizer は下流の音声 LLM が、高忠実度かつ低エラー率でクロス・アタランス・ボイスクローニングのような複雑なタスクを実行することを可能にする。

この研究は、クロス・アタランス・ボイスクローニングが、内容とスタイルの間の漏洩を直接露呈するため、分離性を評価するための重要なベンチマークであることを強調している。さらに、生成にはフローマッチングを、詳細の回復には GAN 精緻化を組み合わせることが、効率的で高品質な完全に離散化された音声生成システムへの実現可能な道筋であると示唆している。

著者らが指摘する限界には、ワンショットコーデックと比較したモデルの推論レイテンシ、主に中国語・英語データへの焦点、および感情や微細な韻律などの他の要因ではなく話者アイデンティティに焦点を当てた現在の分離分析が含まれる。