Fish Audio S2 Technical Report

Fish Audio S2 是一款开源的多说话人、多轮次且支持自然语言指令控制的高级文本转语音系统，其通过多阶段训练与数据流水线实现了生产级流式推理（RTF 0.195，首字延迟<100ms），并公开了模型权重、微调代码及基于 SGLang 的推理引擎。

要点

这篇论文介绍了一个名为 Fish Audio S2 的“超级语音生成器”。你可以把它想象成一位拥有读心术、能瞬间变声、且完全听指挥的“全能配音演员”。

为了让你更容易理解，我们用几个生活中的比喻来拆解它的核心亮点：

1. 它是怎么工作的？（双引擎架构）

以前的配音 AI 就像是一个笨拙的打字员，一边看稿子一边打字，还要一边想怎么发音，经常顾此失彼。

Fish Audio S2 则采用了**“双引擎”策略**：

• 慢速引擎（大脑）：负责理解你给的稿子，规划“这句话要讲什么情感”、“哪里该停顿”。它像是一个经验丰富的导演，先在大脑里把剧本排好。
• 快速引擎（嘴巴）：负责把导演规划好的内容，瞬间变成具体的声音波形。它像是一个反应极快的口技演员，专门负责把“生气”、“大笑”这些细节完美地演出来。
• 比喻：这就好比导演（慢速引擎）指挥演员（快速引擎）。导演负责把控剧情和情绪，演员负责精准地演绎。两者配合，既保证了故事讲得对，又保证了演得像真人。

2. 它是怎么学会“听指挥”的？（数据流水线）

以前的 AI 训练，就像是用“脏水”洗菜，然后再用“净水”冲一遍，味道总有点怪（数据分布不一致）。

Fish Audio S2 发明了一套**“自产自销”的流水线**：

• 筛选与标注：它用两个超级 AI 助手（一个负责挑出好听的录音，一个负责把录音里的语气、笑声、停顿都写成文字说明）来处理海量数据。
• 自我奖励：最妙的是，这两个助手在训练时是“考官”，在后期强化学习时直接变成了“裁判”。
• 比喻：这就像是一个米其林餐厅，它的食材筛选员（数据清洗）和美食评论家（奖励模型）是同一拨人。他们知道什么样的菜最好吃，所以训练出来的厨师（AI 模型）能完美理解“要更咸一点”或“要更脆一点”这种模糊的指令，而不会搞错。

3. 它有什么超能力？（三大突破）

• 像人一样聊天（多角色、多轮次）：
  以前的 AI 一次只能扮演一个人。Fish Audio S2 可以同时扮演一场戏里的所有角色。你给它一段剧本，它能自动区分“张三”和“李四”，让两人对话自然流畅，甚至能模拟出“张三打断李四说话”这种复杂的场景。

  • 比喻：它不再是单人脱口秀，而是一台全自动的广播剧制作机。

• 听懂“人话”指令（自然语言控制）：
  你不需要输入复杂的代码或标签。你只需要说：“请用焦急的语气，边跑边喘气地读这段话。”它就能完美执行。

  • 比喻：以前是遥控器（按哪个键出什么声），现在是点菜（“我要一份微辣、多葱、不要香菜”）。

• 超长续航（长文本生成）：
  它能连续讲几个小时的故事，声音不会变调，也不会突然“失忆”忘了自己是谁。

  • 比喻：很多 AI 讲久了就像电池耗尽的玩具，声音会走样；Fish Audio S2 像是一个不知疲倦的真人主播，从开头到结尾，音色和情绪始终稳定。

4. 它有多快？（工业级速度）

• 实时因子 (RTF) 0.195：这意味着生成 1 秒钟的声音，只需要不到 0.2 秒的电脑时间。
• 首字延迟 (TTFA) < 100 毫秒：你刚说完话，不到 0.1 秒（眨眼都来不及）就能听到回音。
• 比喻：这就像光速传输。你刚发出指令，声音几乎瞬间就出现在你耳边，完全没有“加载中”的等待感。

5. 它是怎么被证明很厉害的？（考试结果）

作者不仅做了传统的“听写考试”（看它读得准不准），还搞了一个**“图灵测试”**：

• 让 AI 和真人录音混在一起，让人来猜哪个是机器。Fish Audio S2 的得分非常高，甚至骗过了很多人。
• 在“听指令”的考试中，它比之前的冠军（S1 版本）和很多商业巨头（如 ElevenLabs、Google 等）都要强，特别是在处理复杂情绪和特殊指令时，胜率极高。

总结

Fish Audio S2 不仅仅是一个“读稿机器”，它是一个懂情感、能演戏、反应极快且完全开源的“数字声音艺术家”。

• 以前：你想让 AI 说话，得给它喂固定的模板，它像个机器人。
• 现在：你可以像给真人配音导演一样，用自然语言指挥它，它就能像真人一样，带着感情、语气和个性为你说话。

作者把它的大脑（模型权重）、**训练方法（代码）和表演舞台（推理引擎）**全部免费公开了，这意味着未来的有声书、游戏配音、虚拟人聊天，可能都会因为这项技术而变得既便宜又逼真。

技术摘要

以下是基于 Fish Audio S2 技术报告（Technical Report）的详细中文技术总结：

Fish Audio S2 技术报告总结

1. 研究背景与核心问题 (Problem)

尽管大型语言模型（LLM）在文本生成领域取得了巨大进展，但高质量、可控的文本转语音（TTS）系统仍面临以下关键瓶颈：

• 细粒度指令控制的缺失：现有的 TTS 系统难以通过自然语言描述（如“愤怒地”、“轻声细语”）在大规模数据上生成细粒度的语音特征（情感、韵律、说话人转换）。
• 数据与奖励分布的不一致：传统的 TTS 训练通常将预训练数据清洗与强化学习（RL）阶段的奖励模型分开，导致预训练数据分布与后训练目标之间存在分布偏移（Distribution Shift）。
• 长文本与多说话人生成的稳定性：生成连贯的长音频、多轮对话及多说话人交织内容时，容易出现音色漂移、幻觉或内容丢失。
• 推理延迟与吞吐量：生产环境需要极低的首字延迟（TTFA）和实时因子（RTF），而现有的两阶段架构（文本转离散 Token + 声学解码）往往难以兼顾长上下文与低延迟。

2. 核心方法论 (Methodology)

Fish Audio S2 采用了一种仅解码器（Decoder-only）的 Transformer 架构，结合了 RVQ 音频编解码器和双自回归（Dual-Autoregressive）生成策略，并引入了创新的数据与训练流程。

A. 模型架构 (Architecture)

• 音频分词器 (Audio Tokenizer)：基于 Descript Audio Codec (DAC) 改进，采用分层残差向量量化（RVQ, N=10）。
  • 流式优化：引入因果卷积和滑动窗口 Transformer，确保低延迟流式生成。
  • 语义蒸馏：在训练分词器时，通过辅助头预测预训练 w2v-BERT 的激活值，确保第一个码本（Codebook）包含丰富的语义和音素信息。
• 双自回归生成 (Dual-Autoregressive Generation)：
  • 慢速自回归 (Slow AR)：基于预训练的 Qwen3-4B，负责生成时间轴上的语义 Token（第一个码本），规划语言内容和粗粒度韵律。
  • 快速自回归 (Fast AR)：轻量级网络（4 层 Transformer），基于 Slow AR 生成的语义 Token，并行/深度自回归生成剩余的 9 个声学细节码本。
  • 多码本融合 (MCF)：将生成的 N 个码本 Token 聚合为连续向量，作为下一时刻 Slow AR 的输入，实现语义与声学的紧密耦合。

B. 数据管道 (Data Pipeline)
设计了一个多用途数据管道，解决了分布偏移问题：

• 核心组件：语音质量评估模型 + 富转录 ASR 模型。
• 三阶段处理：
  1. 源分离与分割：去除背景噪声，分割语音片段。
  2. 质量过滤：利用语音质量模型过滤低质量数据（如重叠语音、噪音）。
  3. 富转录 (Rich Transcription)：利用 ASR 模型不仅转录文本，还自动生成包含说话人转换、情感、韵律（如 [angry], [laugh]）的自然语言指令标签。
• 双重用途：上述模型在预训练阶段作为过滤器/标注器，在 RL 阶段直接复用为奖励模型，消除了分布偏移。

C. 训练策略 (Training)

• 预训练与 SFT：在 1000 万小时、80 种语言的音频数据上进行预训练，扩展词汇表以包含结构控制 Token。采用模态交错策略（文本与音频 Token 交错）增强发音稳定性。
• 基于 RL 的后训练 (RL-Based Post-Training)：
  • 采用改进的 GRPO 算法（无价值网络，基于组内统计估计优势），解决长序列 RL 训练成本高的问题。
  • 多奖励机制：构建正交且抗攻击的奖励系统，包含：
    1. 语义准确性 ($R_{STT}$)：基于 ASR 转录的置信度。
    2. 声学偏好 ($R_{Pref}$)：基于语音质量模型。
    3. 音色相似度 ($R_{SIM}$)：基于外部声纹模型。
  • 通过 LoRA 权重交换机制优化显存占用，实现高效训练。

D. 推理引擎 (Inference Engine)

• 基于 SGLang 构建，专为 LLM 优化的服务框架。
• 关键优化：
  • RadixAttention：支持语义和声学 Token 的混合索引缓存，极大提高参考音频的 KV Cache 命中率（平均 86.4%）。
  • MPS 协同调度：在 GPU 上同时调度 LLM 解码和 Vocoder 解码，最大化吞吐量。
  • 流式输出：支持超低延迟的流式音频生成。

3. 关键贡献 (Key Contributions)

1. 指令跟随能力突破：实现了通过自由文本描述（Free-form text）对语音生成进行细粒度控制（情感、语速、停顿、多说话人），无需专门的控制 Token。
2. 原生多说话人与多轮对话：支持单轮生成中自然交织多个不同说话人的对话，捕捉真实对话的动态。
3. 稳定的长文本合成：支持超长音频的连贯生成，保持音色一致性和内容准确性。
4. 全开源生态：公开了模型权重、微调代码以及基于 SGLang 的生产级推理引擎（RTF 0.195, TTFA <100ms）。
5. 新基准测试：提出了 Fish Audio Instruction Benchmark，专门评估细粒度指令跟随能力。

4. 实验结果 (Results)

• 客观指标 (Objective Metrics)：

  • Seed-TTS-Eval：在中文和英文测试集上取得了领先的 WER（字错误率），中文 0.54%，英文 0.99%。
  • 多语言表现：在 Minimax 多语言测试集（24 种语言）和 CV3-Eval（9 种语言）上，S2 在 11/24 种语言中 WER 最低，17/24 种语言中音色相似度（SIM）最高。
  • 长音频：在 Long-TTS-Eval 上，S2 的 WER/CER 最低，且音色标准差（SIM-Std）最小，表明长文本下音色最稳定。

• 主观与 LLM 评估 (LLM-as-a-Judge)：

  • Audio Turing Test (ATT)：S2 的后验均值为 0.483（人类难以区分），在指令重写后提升至 0.515，显著优于 S1 及其他 SOTA 模型（如 MiniMax, CosyVoice）。
  • Emergent TTS Eval：在包含情感、外语词、副语言等 6 个维度的测试中，S2 对基线模型（gpt-4o-mini-tts）的胜率高达 81.88%。
  • Fish Audio Instruction Benchmark：在中文和英文的细粒度标签激活率（TAR）上，S2 分别达到 98.4% 和 88.1%，显著优于 S1。

5. 意义与影响 (Significance)

• 推动开源 TTS 新范式：Fish Audio S2 证明了通过统一的数据管道和 RL 对齐，开源模型可以在指令跟随、多说话人控制和长文本稳定性上超越许多闭源商业模型。
• 生产级落地能力：通过 SGLang 引擎和 Dual-AR 架构，实现了工业级的低延迟（<100ms）和高吞吐，使得高质量 TTS 在实时交互场景（如聊天机器人、实时配音）中的应用成为可能。
• 解决分布偏移难题：提出的“数据管道即奖励模型”的设计理念，为 TTS 领域的强化学习对齐提供了可复用的最佳实践，有效解决了预训练与后训练目标不一致的问题。
• 生态建设：通过发布全套代码、权重和推理引擎，降低了高质量语音合成技术的门槛，促进了社区在个性化语音和可控语音生成领域的创新。

总结：Fish Audio S2 是一个集高保真、强可控、低延迟于一体的新一代 TTS 系统，其核心在于Dual-AR 架构、多用途数据管道以及多维度的 RL 对齐策略，为下一代生成式语音技术树立了新的标杆。