JaiTTS: A Thai Voice Cloning Model

以下は、論文「JaiTTS: A Thai Voice Cloning Model」の詳細な技術的サマリーです。

1. 問題定義

本論文は、特にタイ語に関する現在の音声合成（TTS）技術における 3 つの重要なギャップに対処しています。

• 英語中心のバイアス: 最先端のオープンソースおよび商用 TTS モデルのほとんどは、英語向けに大幅に最適化されています。多言語モデル（例：Qwen3-TTS）は存在しますが、トレーニングコーパスにおけるタイ語データの不足により、発音や韻律の誤りが頻発します。
• 既存のタイ語モデルの限界: 専用のタイ語システム（例：ThonburianTTS）は、ゼロショット話者クローニング能力が限られており、短時間発話データで支配されているデータセットでトレーニングされているため、長時間の音声生成に苦慮しています。
• 複雑な前処理の要件: 従来のタイ語 TTS パイプラインは、数字や頻繁なタイ語 - 英語のコードスイッチング（実世界での使用で一般的）を処理するために、複雑なテキスト正規化に大きく依存しています。これにより、展開の複雑さや潜在的な故障点が追加されます。
• コーデックの限界: 離散音声コーデック（X-codec2 など）を使用する最近の自己回帰モデルは、トレーニングデータにタイ語が含まれていないと報告されているため、語彙的トーンや子音クラスターなどのタイ語固有の音韻対立を再構築する能力が検証されていません。

2. 手法

著者は、VoxCPM を適応させた最先端の音声クローニングモデル JaiTTS-v1.0 を提示します。このシステムは、外部音声コーデックを完全に回避するトークナイザーフリーに設計されています。

アーキテクチャ概要

モデルは、論文の図 1 に示される 4 つの中核コンポーネントの階層的パイプラインを通じて動作します。

1. テキスト意味言語モデル（TSLM）: トークナイズされたテキストと歴史的な音響コンテキストを条件とするデコーダー専用トランスフォーマー（MiniCPM-4 から初期化）です。これは、連続的な意味韻律表現を生成し、コンテンツと伝達スタイルを同時に捉えます。
2. 有限スカラー量子化（FSQ）: この層は、TSLM の連続出力を「半離散スケルトン」に圧縮します。これは正則化器として機能し、直通推定機（straight-through estimator）を介して微分可能性を維持しながら、計画信号を安定化させます。
3. 残差音響言語モデル（RALM）: 半離散スケルトンを洗練させるデコーダー専用トランスフォーマーです。これは音響表現力と話者特性に特化し、離散ボトルネックでは表現できない詳細を追加します。
4. ローカル拡散トランスフォーマー（LocDiT）: 最終的な連続潜在音声パッチをデコードする双方向トランスフォーマーです。FSQ スケルトンと RALM 残差からの結合信号、およびパッチ間の一貫性を確保するための直前の音声パッチを条件として、フローマッチング去雑音を使用します。
5. ストップ予測器: 生成を終了させるシーケンス終了を予測する軽量ヘッドです。

トレーニング戦略

• データ: 一般会話・フォーマルな発話とドメイン固有コンテンツ（金融、医療、教育、法）を組み合わせ、約 1 万時間のタイ語中心コーパスでトレーニングされました。
• 直接処理: モデルは、明示的なテキスト正規化なしに、タイ語 - 英語のコードスイッチングや数値を処理するように、生テキストを直接処理するようトレーニングされています。
• 目的: システムは、拡散プロセス用のフローマッチングとストップ予測器用の二値交差エントロピーの組み合わせ損失関数を使用して、エンドツーエンドで最適化されます。

3. 主な貢献

• 初の高性能タイ語音声クローナー: JaiTTS-v1.0 は、タイ語音声クローニングにおいて最先端（SOTA）のパフォーマンスを達成した最初のモデルであり、短時間タスクでは人間のグランドトゥルースを上回り、長時間タスクではそれに匹敵します。
• トークナイザーフリーアーキテクチャ: VoxCPM を適応させることで、離散音声コーデックの音韻再構築の限界を回避し、タイ語のトーンやクラスターをより正確にモデル化できます。
• 実世界の入力への頑健性: モデルは複雑なテキスト正規化パイプラインの必要性を排除し、混合言語や数値を含む生テキストから直接音声を合成します。
• 新規ベンチマーク: 著者は、実世界のユースケースをより反映し、時間経過に伴う安定性をテストするために、タスクを**短時間（1–15 秒）と長時間（16–30 秒）**に分割する新しい評価フレームワークを導入しました。

4. 実験結果

客観的指標

• 短時間タスク: JaiTTS-v1.0 は**文字誤り率（CER）1.94%**を達成し、人間のグランドトゥルース（1.98%）を上回り、すべてのベースライン（Qwen3-TTS-1.7B: 2.56%、ThonburianTTS: 6.26%）を凌駕しました。
• 長時間タスク: モデルは**2.55%**の CER を維持し、人間の性能（2.47%）にほぼ匹敵しました。対照的に、Qwen3-TTS-1.7B は 3.64% に劣化し、ThonburianTTS は意味のある出力を生成できませんでした。
• 話者類似性（SIM）: 短時間タスクで0.62、長時間タスクで0.76の競争力のある SIM を達成しました。

効率性

• リアルタイムファクター（RTF）: JaiTTS-v1.0 は0.1136の RTF を達成し、リアルタイムのほぼ9 倍の速度で音声を生成することを意味します。これは、自己回帰型の Qwen3-TTS モデル（RTF > 1.5）よりも約13 倍速く、非自己回帰型の ThonburianTTS（0.1150）よりもわずかに速いです。

人間の判断評価

• 比較: 商用フラッグシップである**ElevenLabs（eleven_v3）およびMiniMax（speech-2.8-hd）**に対してテストされました。
• 結果: 400 回のペアワイズ比較において、JaiTTS-v1.0 は283 回勝利し、59 回引き分け、58 回のみ敗れました。
• 選好: 人間の評価者は、自然さ、明瞭性（特にコードスイッチングや数値において）、話者類似性の優位性を理由に、約**70%**の確率で JaiTTS-v1.0 を好みました。

5. 意義

JaiTTS-v1.0 は、低リソース言語の TTS における大きな飛躍を表しています。高品質で多様なドメインのデータでトレーニングされた場合、トークナイザーフリーの自己回帰アーキテクチャが、従来の多言語モデルや専用小規模言語モデルの両方を凌駕し得ることを実証しています。

コードスイッチングや数値を含む生テキストを正規化なしに処理する能力は、展開パイプラインを大幅に簡素化します。さらに、長時間生成における優れた性能は、既存モデルの重要な欠陥点を解決し、オーディオブック、長編コンテンツ作成、複雑な対話システムなどのアプリケーションへの実用性を可能にします。このモデルはタイ語音声合成の新たなベンチマークを設定し、専門的で高品質なトレーニングデータが、汎用的な多言語モデルの限界を克服し得ることを証明しています。