FreyaTTS Technical Report
Freya-TTSは、連続的な潜在空間において非自己回帰的な条件付きフローマッチング・ディフュージョン・トランスフォーマーを活用することで、より大規模なオープンソースのシステムと比較して優れた効率性と正確性を備えた、高品質かつリアルタイムな対話型合成を実現する、コンパクトでトークナイザーフリーなトルコ語特化型のテキスト読み上げモデルです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
トルコ語を話すロボットを作りたいと想像してみてください。ほとんどの人は、膨大な音の辞書を教え込み、すべての単語をあらかじめ定義された小さな破片（レゴブロックのようなもの）に分解し、それらのブロックを左から右へと一つずつ積み上げていく方法でこのロボットを作ろうとします。これは、現在の多くの「最先端」の音声ロボットが機能している仕組みです。これらは巨大で、構築に膨大な時間がかかり、長い文章につまずくと、数字を混ぜたり順番を間違えたりして、自分の足をもつれさせてしまいます。
FreyaTTS のチームは、全く異なる、より小さく、よりスマートなアプローチを試みることにしました。彼らは巨大な辞書を作ったり、ブロックを一つずつ積み上げたりはしませんでした。代わりに、オーディオを聞いて文章全体を一度に推測することを学ぶ、1億8320万パラメータの「想像力エンジン」を構築しました。それは、音符を一つ一つ読み上げるのではなく、ジャズミュージシャンが即興でフルソロを奏でるようなものです。
この「魔法の手品」の仕組みを、3つのシンプルなパートに分けて説明します。
1. 凍結された設計図 (「AudioVAE2」)
FreyaTTSのチームを、スケッチを美しい48 kHzの音波に変換する方法をすでに知っている、完璧に構築済みの家（AudioVAE2と呼ばれます）を見つけた建築家だと考えてください。この家は非常に優れているため、チームはこれに触れないことに決めました。彼らはこれを固定したままにしたのです。
音波をどのように作るかを教えるために時間を浪費する必要がなかったため、彼らは脳力の100%を、ロボットに「何を言うか」を教えるために使うことができました。文字を音に変換するための翻訳機（フォネマイザー）も必要ありませんでしたし、単語を小さな音のトークンに分解する必要もありませんでした。彼らはただ、生のトルコ語テキスト（ç, ğ, ı, ö, ş, ü といった特殊文字を含む92個の記号）をロボットに流し込み、ロボット自身に発音を理解させたのです。これは、音声学の教科書を与えるのではなく、子供に話しかけることで言葉を教えるようなものです。
2. 「一括生成」の魔法 (非自己回帰型)
ほとんどの音声ロボットは、遅いタイピストのようなものです。一文字打ち、次の文字を打ち、また次を打つという作業を繰り返します。もし早い段階でミスをすると、文章全体がめちゃくちゃになってしまいます。これは「自己回帰的（autoregressive）」な生成と呼ばれます。
FreyaTTSは異なります。それはキャンバス全体を見て、一度に絵を描き上げる画家のようです。条件付きフローマッチング拡散トランスフォーマー（conditional flow-matching Diffusion Transformer）を使用して、文章全体の音のパターンを並列に予測します。
- 比喩: あなたが友人の声を推測していると想像してください。一つ一つの単語を推測する（それによって間違った単語を推測して文章を台無しにする可能性がある）のではなく、FreyaTTSは文章全体のリズムとトーンを一度に推測します。
- 結果: これにより、「左から右へのエラー蓄積」を回避できます。例えば、長い数字のリストを言わせたとしても、途中で混乱することはありません。全体的な持続時間と音のパターンを同時に予測するのです。
3. 「ボイス・ロック」 (一貫性の確保)
ゼロからこのロボットを訓練していた当初、それは少し「カメレオン」のような性質を持っていました。あなたが「ハロー」と言うたびに、まるで別人のように聞こえていたのです。ある時は低い声の男性、次は高い声の子供のように聞こえることもありました。これは、ロボットが多くの異なる声から学習しており、特定のアイデンティティを持っていなかったためです。
これを修正するために、チームは2段階の「ボイス・ロック」を行いました。
- ステージ1: ロボットに特定の人物（一人のプロの声優）を模倣するように教えました。これにより、ロボットの声のピッチの変動は、荒削りな 74.9 Hz から、安定した 5.0 Hz へと収束しました。これで、毎回同じ人のように聞こえるようになりました。
- ステージ2: 彼らは、ロボットが短いフレーズ（「はい」や「いいえ」など）に弱いことに気づきました。そこで、特に短い一単語や二単語の文章に特化した追加練習を与えました。
結果：小さくとも強力
チームは、このロボットを他の有名なオープンソース音声モデルと比較テストしました。判明したことは以下の通りです。
- サイズ: FreyaTTSは、XTTS-v2 (470M) や F5-TTS (336M) といった巨人に比べ、非常に小さい (183.2M パラメータ) です。
- 精度: 495のトルコ語の文章を用いたテストにおいて、FreyaTTSはより大きなモデルよりも間違いが少ないという結果を出しました。単語誤り率 (WER) は 8.0%、文字誤り率 (CER) は 3.0% を達成しました。
- 注記: より大きなモデルは、それぞれ 11.1% と 24.3% でした。
- スピード: 一つの単語が終わるのを待ってから次の単語を始める必要がないため、驚異的に高速です。標準的なコンシューマー向けグラフィックスカード上で、リアルタイム係数は 0.11 です。これは、10秒のオーディオをわずか1.1秒で生成できることを意味します。
- ノートPCのパワー: 非常に効率的なため、ノートPCのCPU（Apple M3など）上でも実時間よりも速く動作し、スマートフォンや小型デバイスに最適です。
彼らが明確に「違う」と言っていること
論文では、FreyaTTSが「何ではないか」についても非常に明確に述べています。
- これは、音声クリップからどんな声でも模倣できる「ゼロショット」クローニングモデルではありません。これはシングルボイスのモデルです。訓練された一つの声が得られ、それだけです。
- これは、50もの言語を同時に話そうとする大規模な多言語基盤に基づいたものでもありません。これは、トルコ語に特化したトルコ語第一主義のモデルです。
- 文字を音に変換するための「フォネマイザー」（ルールベースのシステム）を使用していません。音から直接音を学習します。
- 数字の書き言葉としての読み上げ（例：「1999」）については、完璧ではありません。長い数字の羅列の持続時間に苦戦することがあるため、数字を音声形式（例：「千九百九十九」）に展開してからモデルに投入する必要があることが論文で指摘されています。
どれほどの確信があるのか？
チームはこれらの数値に非常に自信を持っています。なぜなら、単に推測したのではなく、すべてを測定したからです。
- 彼らは、495の文章を用いた Freya-TR-Eval という特定のベンチマークを構築しました。
- 結果が単なる偶然ではないことを確認するために、「ブートストラップ法」を用いてテストを10,000回実行しました。
- 同じ文章を用い、公平な比較ができるよう、すべてを8 kHzにダウンサンプリングするという全く同じスコアリングルールを使用して、モデルを比較しました。
- さらに「ボイス・ロック」の安定性を測定し、トレーニングステップ後にピッチの変動が 74.9 Hz から 5.0 Hz に減少したことを示しました。
要約すると、FreyaTTSは、素晴らしいトルコ語の音声を作るために、数十億ドル規模の多言語モンスターは必要ないということを証明しています。ノートPCで動作し、一貫した音を出し、巨人よりも優れたトルコ語を話す、小さく特化した「一括生成」エンジンを構築することは可能なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。