Fish Audio S2 Technical Report

この論文では、自然言語による指示制御、マルチスピーカー・マルチターン生成に対応し、高品質なストリーミング推論を実現するオープンソースの音声合成システム「Fish Audio S2」およびそのトレーニング手法とリソースの公開について紹介しています。

要約

🎧 フィッシュ・オーディオ S2 の技術報告書：まるで「魔法の語り部」のような AI

こんにちは！この論文は、**「フィッシュ・オーディオ S2（Fish Audio S2）」**という新しい AI 音声合成システムの技術報告書です。

これを一言で言うと、**「ただ文字を読むだけでなく、あなたの『指示』を聞いて、まるで人間のように感情豊かで、複数の役者を同時に演じられる、超高性能な AI 語り部」**が完成したというお話しです。

専門用語を並べると難しくなりますが、ここでは**「料理」や「映画撮影」**に例えて、誰でもわかるように解説しますね。

---

🌟 この AI がすごい 3 つのポイント

1. 「自然な言葉」で指示できる（魔法のレシピ）

これまでの音声 AI は、「もっと悲しく」「速く」といった短いコマンドしか理解できませんでした。
でも、S2 は違います。

例え話：
以前の AI は「塩を少し」という指示しか聞けませんでした。
最新の S2 は、「『夕暮れ時の海辺で、少し疲れた老人が、懐かしそうに昔話をしているような雰囲気』」という長い文章の指示を聞いて、その通りの声を作れます。

料理で言えば、シェフ（AI）に「少し塩を」ではなく、「『祖母が作ってくれた、温かいお粥のような優しい味』」と注文すると、その味を完璧に再現してくれるようなものです。

2. 一人芝居から大掛かりなドラマまで（マルチキャスト）

この AI は、一度に複数のキャラクターを演じることができます。

例え話：
従来の AI は「一人の俳優」でした。
S2 は**「一人の脚本家兼、複数の俳優を束ねる演出家」**です。
一つの文章（台本）を渡すだけで、「男の子の声で怒って」「次に女の子の声で驚いて」「最後に老人の声でため息をつく」といった、複数の役者が絡み合う会話を、途切れることなく一発で作り出します。

3. 超高速で、待ち時間ゼロ（瞬発力）

「音声を作るのに時間がかかる」という悩みを解消しました。

例え話：
以前は注文してから料理が出てくるまで 1 分かかりました。
S2 は、**注文した瞬間（100 ミリ秒以下！）**に、最初の一口が口元に届きます。
しかも、リアルタイムで話す速度の約 5 倍のスピードで料理（音声）を作れるため、待ち時間はほぼゼロです。

---

🛠️ どのようにしてこんなにすごいのか？（裏側の仕組み）

この AI がこれほど賢くなったのには、3 つの「秘密兵器」が使われています。

① 二重の調理システム（デュアル・オートレグレッシブ）

音声を作るのを「2 人のシェフ」に分けています。

• シェフ A（遅いけど賢い）： 「何を話すか（意味）」と「大体の雰囲気」を決めます。
• シェフ B（速くて器用）： 「声の細かい質感（息遣いや震え）」を瞬時に仕上げます。
  この二人が連携することで、**「意味は正確で、かつ声の質感がリアル」**という、両立が難しい目標を達成しました。

② 自分自身でチェックする「品質管理チーム」

AI を教える際、人間が一つ一つチェックするのは大変です。そこで、S2 は**「自分自身で評価するシステム」**を使っています。

• フィルタリング： 訓練データから「雑音が多い」「声がこもっている」悪いデータを自動で捨てます。
• 報酬システム： 生成された音声に対して、「いい声だ！」と褒めたり、「ここが間違っている」と叱ったりする自動ジャッジ役を内蔵しています。

  例え話：
  料理人が自分で味見をして、「もっと塩が足りない」と自分で反省し、次の料理をより美味しくするサイクルを、人間の手を介さず自動で回しているようなものです。

③ 強化学習（試行錯誤の達人）

AI は、ただ本を読むだけでなく、**「試行錯誤」**を繰り返して上達しました。

• 「この言い方でいいかな？」「あの感情表現は自然かな？」と何通りも試して、最も人間らしい答えを選び出すように訓練されました。
• これにより、指示された「感情」や「話のテンポ」を、まるで人間が考えているかのように正確に表現できるようになりました。

---

🚀 実際の性能は？（テスト結果）

この AI は、世界中の他の AI と比べてもトップクラスの成績を残しました。

• 聞き取りやすさ： 英語も中国語も、他の AI よりも間違い（聞き間違い）が圧倒的に少ないです。
• 人間らしさ： 「これは人間か、機械か？」というテスト（チューリングテスト）では、人間と見分けがつかないレベルに達しました。特に、指示に従って感情を表現する能力は、他の AI を大きく引き離しています。
• 長い話も安定： 小説やニュースのように長い文章でも、声のトーンが崩れたり、途中で変になったりせず、一貫して安定して話してくれます。

---

🎉 まとめ：これからどうなる？

フィッシュ・オーディオ S2 は、**「音声合成の未来」**を切り開く存在です。

• オープンソース化： 研究者や開発者が誰でも使えるように、この AI の「レシピ（モデル）」と「調理器具（コード）」を無料で公開しています。
• 実用性： すでに映画の吹き替え、オーディオブック、チャットボットなど、実際のビジネス現場で使えるレベルの速さと品質を備えています。

「AI が人間の声を真似る」時代から、「AI が人間の『意図』を理解して、感情豊かに表現する」時代へ。
フィッシュ・オーディオ S2 は、その扉を開ける鍵となったのです。

ぜひ、彼らの公式サイト（fish.audio）で、この「魔法の語り部」の声を聞いてみてください！

技術概要

Fish Audio S2 技術報告書の要約

本論文は、Fish Audio チームによって発表された新しいオープンソースのテキスト音声合成（TTS）システム「Fish Audio S2」に関する技術報告書です。S2 は、マルチスピーカー、マルチターン生成、そして何より自然言語による指示への追従（Instruction Following）を可能にする、制御性の高い TTS システムとして設計されています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

近年の TTS 技術は大規模モデルの発展により飛躍的に進歩しましたが、以下の課題が残っていました。

• 微細な制御の難しさ: 音声の感情、プロソディ（韻律）、話者交代などを、大規模な自然言語指示で制御するためのデータ作成が人手に依存しており、スケーリングが困難でした。
• 学習パイプラインの断絶: 事前学習と強化学習（RL）のフェーズで、データカレーションや報酬モデルが独立して構築されることが多く、分布のズレ（Distribution Shift）が生じ、指示追従能力の向上に限界がありました。
• 長文・多話者生成の安定性: 長時間の連続音声生成や、複数の話者が交錯する対話生成において、話者の一貫性や音声の品質を維持することが困難でした。
• 推論の遅延: 高品質な音声生成と低遅延（リアルタイム性）を両立させるための推論エンジンの最適化が不足していました。

2. 手法とアーキテクチャ (Methodology)

Fish Audio S2 は、以下の 3 つの主要な技術的革新によって上記の課題を解決しています。

A. 双方向自己回帰生成アーキテクチャ (Dual-Autoregressive Generation)

• **Slow AR **(時間軸) Qwen3-4B をベースとした大規模言語モデル（LLM）を使用。テキストトークンと音声の「意味的トークン（1 つ目の RVQ コードブック）」を生成し、言語内容と粗い韻律構造を計画します。
• **Fast AR **(深さ軸) 軽量な 4 層の Transformer ネットワークを使用。Slow AR が生成した意味的トークンを条件として、残りの 9 つの RVQ コードブック（詳細な音響情報）を高速に生成します。
• メリット: 時系列と音響深さを分離することで、長いコンテキストを処理しつつ、推論効率を最大化しています。

B. 多目的データパイプラインと RL 整合 (Multi-Purpose Data Pipeline & RL Alignment)

• 二重用途モデル: 音声品質評価モデルとリッチトランスクリプション ASR モデルを構築し、これらを事前学習フェーズではフィルタリング・注釈付けに、強化学習フェーズでは報酬モデルとして直接再利用します。これにより、事前学習と RL 間の分布のズレを排除しました。
• Rich Transcription ASR: 話者交代や「笑い」「息継ぎ」「怒り」などの音声特徴を自然言語の指示としてテキストストリームに埋め込むことで、ゼロショットでの指示追従能力を学習させます。
• Multi-Reward RL: GRPO（Group Relative Policy Optimization）の変種を採用し、意味的精度、音響品質、話者類似性を同時に最適化する多報酬システムを導入しました。

C. 高性能推論エンジン (SGLang-based Inference Engine)

• SGLang の活用: LLM 向けに最適化された SGLang フレームワークをベースに、音声生成向けにカスタマイズしました。
• 最適化技術:
  • RadixAttention: 参照音声の KV キャッシュを効率的に再利用し、同じ声の再利用時にプリフィル処理をスキップ可能にしました。
  • MPS による共スケジューリング: 音声デコーダー（ボコーダー）と LLM デコーディングを同じ GPU 上で並列実行し、スループットを向上させました。
  • 結果: ストリーミング対応で、RTF（リアルタイムファクター）0.195、TTFA（最初の音声までの時間）100ms 未満を実現しています。

3. 主要な貢献 (Key Contributions)

1. 自然言語による微細な制御: フリーフォームのテキスト記述（例：「怒りながら、少し速く」）によって、プロソディ、感情、話者スタイルを細かく制御可能にしました。
2. ネイティブなマルチスピーカー・マルチターン生成: 単一のパスで複数の異なる話者が交錯する複雑な対話を生成でき、自然な会話のダイナミクスを捉えます。
3. 安定した長文合成: 長時間の連続音声生成においても、話者の一貫性と音声の安定性を維持します。
4. オープンソース化: モデル重み、微調整コード、SGLang ベースの推論エンジンを GitHub と Hugging Face で公開しました。

4. 評価結果 (Results)

客観的評価 (Objective Evaluation)

• Seed-TTS-Eval: 日本語・英語の両方で WER（単語誤り率）が業界最高水準を記録し、特に長文・難易度が高いタスクで S1 より大幅に改善されました。
• 多言語評価: Minimax 多言語テストセット（24 言語）および CV3-Eval（9 言語）において、多くの言語で最低の WER と最高の話者類似性（SIM）を達成しました。
• 長文生成: 長文音声ベンチマークにおいて、WER と話者類似性の標準偏差（安定性）の両方で他モデルを上回る性能を示しました。

主観的・LLM による評価 (LLM-as-a-Judge)

• Audio Turing Test: 人間と機械の区別がつかない音声生成において、後方平均 0.483（指示書き換えありで 0.515）を達成し、既存の SOTA モデルを凌駕しました。
• Emergent TTS Eval: 感情、非言語音、複雑な構文など 6 つの次元で評価され、ベースライン（gpt-4o-mini-tts）に対して81.88% の勝利率を記録しました。
• Fish Audio Instruction Benchmark: 独自の評価基準において、タグの活性化率（TAR）が 93.3%、品質スコアが 4.51/5.0 を記録し、微細な指示追従能力の優位性を証明しました。

5. 意義と将来展望 (Significance)

Fish Audio S2 は、単なる音声合成の精度向上にとどまらず、**「自然言語による意図の直接反映」**という TTS のパラダイムシフトを実現しました。

• 産業応用: 超低遅延（TTFA < 100ms）と高スループットにより、リアルタイムチャットボット、オーディオブック、動画吹き替えなどの生産環境での利用が現実的なものになりました。
• 研究コミュニティへの貢献: 大規模なデータカレーション手法や RL 整合のフレームワーク、高性能推論エンジンをオープンソース化することで、高品質な TTS 開発の参入障壁を下げ、今後の研究の基盤を提供しています。

本報告書は、オープンソース TTS の最前線を示すとともに、自然言語指示による制御が音声合成の品質と自然さを飛躍的に向上させることを実証した画期的な成果と言えます。