⚡ electrical engineering

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

OmniVoice 是一款基于扩散语言模型架构、利用预训练大语言模型初始化和全码本随机掩码策略，在开源数据上训练而成的支持超 600 种语言的零样本多语言文本转语音模型，实现了当前最广泛的语种覆盖和领先的性能表现。

原作者： Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OmniVoice 的超级语音合成模型。为了让你轻松理解，我们可以把它想象成一位**“拥有 600 多种方言的超级模仿大师”**。

以前，让电脑说话（Text-to-Speech, TTS）就像让一个只会说普通话的人去模仿广东话或藏语，要么学不会，要么听起来很生硬。而 OmniVoice 的出现，就像给这位大师装上了一个**“万能语言大脑”和“超级耳朵”**。

下面我用几个生活中的比喻来拆解它的核心亮点：

1. 核心架构：从“两步走”变成“一步到位”

以前的做法（两步走）： 就像让一个人先翻译文字成“意思”（语义），再根据“意思”去唱出声音。这就像先让厨师看菜谱（文字），再让他把菜谱翻译成“怎么做菜”（语义），最后才下锅炒菜（声音）。中间如果翻译错了，菜的味道（声音质量）就会大打折扣，而且容易把细节弄丢。
OmniVoice 的做法（一步到位）： 它直接把“文字”变成了“声音”。就像一位顶级大厨，看到菜单（文字），直接就能在脑子里构建出完美的菜肴（声音），不需要中间那个容易出错的“翻译员”。
技术术语对应： 论文中提到的“单阶段离散非自回归架构”，就是这种“直接映射”的魔法。

2. 两大独门秘籍

为了让这位“大厨”不仅快，而且好吃，作者用了两个关键技巧：

秘籍一：全码本随机掩码（Full-Codebook Random Masking）——“蒙眼猜词”的升级版
- 比喻： 想象你在玩“你画我猜”，以前的方法是每次只蒙住画的一小部分（比如只蒙住眼睛），让你猜。这样效率很低，而且容易猜偏。
- OmniVoice 的做法： 它把整张画（声音的所有细节）随机蒙住一大半，然后让你一次性把缺失的部分都补全。这种“大跨度”的练习方式，让模型学得非常快，而且补全后的画面（声音）非常完整、自然。
- 效果： 训练效率极高，生成的声音更流畅。
秘籍二：LLM 初始化（LLM Initialization）——“站在巨人的肩膀上”
- 比喻： 以前教机器说话，就像让一个婴儿从零开始学语言，要很久才能听懂人话。
- OmniVoice 的做法： 作者直接找来了一个已经读过万卷书、精通人类语言的**“超级大脑”（预训练的大语言模型，LLM）**，把它的知识直接“移植”到语音模型里。
- 效果： 这个模型一出生就“懂”人类的语言逻辑，所以它说出来的话不仅像人，而且非常清晰、 intelligible（可懂度高），不会像以前那样含糊不清。

3. 数据规模：真正的“全球通”

以前的局限： 大多数语音模型只能支持几十种语言，像是一个只会说几种外语的导游。
OmniVoice 的突破： 它吃掉了58.1 万小时的开源语音数据，涵盖了600 多种语言。
比喻： 这就像它去遍了世界上的每一个角落，听过了从繁华都市到偏远部落的每一种声音。哪怕是那些只有几千小时录音的“小语种”，它也能模仿得惟妙惟肖。
数据平衡术： 为了防止它只爱说大语种（如英语、中文），作者用了一种“加权”方法，强迫它多听那些“小语种”的录音，确保它不会偏科。

4. 强大的控制力：想怎么变就怎么变

OmniVoice 不仅仅会说话，它还是个**“百变声优”**：

降噪能力： 如果你给它一段嘈杂的录音（比如在菜市场录的），它能自动过滤掉背景噪音，还原出干净的声音。就像给照片去噪一样。
人设定制： 即使没有录音，你告诉它“我要一个 30 岁、声音低沉的北京大爷”，它就能凭空捏造出这个声音。
情感与发音控制： 它可以控制笑声、语气，甚至能纠正那些容易读错的字（比如中文的多音字），确保发音绝对准确。

5. 总结：它意味着什么？

OmniVoice 就像是为全球语言平等打开了一扇大门。

以前： 只有英语、中文等“大语种”才有高质量的语音助手。
现在： 无论你说的是哪种语言，哪怕是只有几千人的小语种，你都能拥有一个清晰、自然、能完美模仿你声音的 AI 助手。

一句话总结：
OmniVoice 是一个直接由文字生成声音的“超级模仿秀”，它利用大语言模型的知识和独特的训练方法，打破了语言壁垒，让世界上 600 多种语言都能拥有高质量、可定制的“声音克隆”能力。

(注：论文中提到的代码和模型已经开源，任何人都可以去 GitHub 上尝试使用。)

OmniVoice：面向 600+ 语言的零样本全语言文本转语音（TTS）模型

1. 研究背景与问题 (Problem)

现有的零样本文本转语音（Zero-shot TTS）模型虽然在高资源语言（如英语、中文）上表现优异，但普遍存在以下局限性：

语言覆盖狭窄：大多数模型仅支持几十种语言，难以覆盖全球数百种低资源语言。
架构瓶颈：
- 级联式（Two-stage）架构：主流的高性能离散 Token 模型通常采用“文本 $\to$ 语义 Token $\to$ 声学 Token"的两阶段级联方案。这种方案存在误差传播（语义预测不准导致音频质量下降）和信息瓶颈（低比特率语义表示丢失了细粒度的声学细节）。
- 单阶段（Single-stage）架构：虽然尝试绕过级联问题，但传统单阶段离散非自回归（NAR）模型在**可懂度（Intelligibility）**上往往不如级联模型或自回归（AR）模型。
数据匮乏：缺乏大规模、高质量且涵盖多语言的开源训练数据。

OmniVoice 的目标是构建一个支持 600+ 种语言的零样本 TTS 模型，在保持高可懂度和自然度的同时，突破语言覆盖和架构效率的限制。

2. 核心方法论 (Methodology)

OmniVoice 采用了一种基于扩散语言模型（Diffusion Language Model）风格的单阶段离散非自回归（NAR）架构。

2.1 架构设计

单阶段映射：摒弃了传统的“文本 $\to$ 语义 $\to$ 声学”级联流程，直接通过双向 Transformer 将文本 Token 映射到多码本（Multi-codebook）声学 Token。
输入与输出：
- 输入：文本 Token 序列（指令 + 转录文本）+ 声学 Prompt Token（包含提示音和掩码目标）。
- 输出：预测被掩码的声学 Token。
训练目标：离散扩散目标（Discrete Diffusion Objective），即通过预测被掩码的 Token 来恢复原始音频序列。

2.2 两大关键技术创新
为了解决单阶段离散 NAR 模型的可懂度差和训练效率低的问题，OmniVoice 提出了两项核心创新：

全码本随机掩码策略 (Full-Codebook Random Masking)
- 问题：传统方法（如 MaskGCT, SoundStorm）采用“逐层掩码”（Per-layer masking），即每次迭代只随机掩码一个码本层，导致训练效率低下且收敛慢。
- 方案：OmniVoice 对所有码本层（Codebooks）进行完全随机的独立掩码。在 $T \times C$ 的 Token 矩阵中，每个位置以一定概率被掩码。
- 效果：平均每次迭代利用 50% 的 Token 进行损失计算（是逐层掩码的 $C$ 倍），显著加速了训练收敛并提升了生成质量。
LLM 初始化 (LLM Initialization)
- 问题：单阶段离散 NAR 模型通常缺乏强大的语言先验知识，导致生成的语音可懂度（WER/CER）较差。
- 方案：使用预训练的**自回归大语言模型（AR LLM，如 Qwen3-0.6B）**的权重来初始化 OmniVoice 的骨干网络。
- 效果：尽管 LLM 原本是针对因果掩码训练的，但实验证明其语言知识能有效迁移到双向架构中。这使得 OmniVoice 成为首个成功利用 LLM 初始化显著提升可懂度的 NAR TTS 模型。

2.3 数据策略与可控性

大规模数据构建：构建了包含 581,000 小时音频、覆盖 600+ 种语言的开源数据集。
- 数据清洗：使用语音恢复模型去噪，并应用规则过滤无效转录。
- 重采样策略：针对长尾分布，采用语言级重采样（Upsampling），平衡高资源与低资源语言的学习机会（超参数 $\beta=0.8$ ）。
多维可控性：
- 提示去噪：通过注入噪声训练，使模型能从含噪 Prompt 中恢复纯净语音。
- 说话人属性控制：支持通过文本指令（性别、年龄、口音等）定制音色，无需音频 Prompt。
- 语言学控制：支持旁语（如笑声）控制，并提供拼音/音素覆盖功能以解决多音字或专业术语发音问题。

3. 关键贡献 (Key Contributions)

前所未有的语言覆盖：支持 646 种语言（包括大量低资源语言），是目前语言覆盖最广的零样本 TTS 模型。
架构革新：首次将扩散语言模型（Diffusion LM）成功应用于单阶段离散 TTS，通过全码本随机掩码和LLM 初始化解决了传统单阶段模型的可懂度和效率瓶颈。
性能突破：在中文、英文及多语言基准测试中，实现了 SOTA（State-of-the-Art）性能，特别是在**说话人相似度（SIM-o）和可懂度（WER/CER）**上超越了现有的 AR 和 NAR 模型。
开源与可复现：发布了模型代码、预训练权重以及构建的 581k 小时多语言数据集。

4. 实验结果 (Results)

4.1 英语与中文基准 (LibriSpeech-PC, Seed-TTS)

可懂度：OmniVoice 在 Seed-TTS 测试集上的 WER 为 0.84% (中文) 和 1.60% (英文)，优于 Qwen3-TTS、CosyVoice3 等 AR 模型及 MaskGCT 等 NAR 模型。
相似度：SIM-o 得分达到 0.777 (中文) 和 0.741 (英文)，表现最佳。
自然度：UTMOS 得分达到 4.28，接近地面真值（Ground-truth）。

4.2 多语言基准 (MiniMax-24, FLEURS-102)

MiniMax-24：在 24 种语言上，OmniVoice 的平均 WER (2.85%) 和 SIM-o (0.830) 均优于 ElevenLabs 和 MiniMax-Speech 等商业系统。
FLEURS-102：在 102 种语言上，平均 CER 为 4.00%（接近地面真值的 5.11%）。
- 低资源表现：即使在训练数据少于 10 小时的许多语言上，OmniVoice 仍能保持 CER < 5% 的高可懂度，展现了极强的泛化能力。

4.3 消融实验

掩码策略：全码本随机掩码比逐层掩码显著降低了 WER（从 2.04 降至 1.57）。
LLM 初始化：未初始化的模型 WER 显著更高（1.57 vs 2.79），证明了语言先验知识对可懂度的决定性作用。
推理速度：在 H20 GPU 上，16 步推理的 RTF 仅为 0.0319，优于 ZipVoice (0.0557)。

5. 意义与展望 (Significance)

技术范式转移：OmniVoice 证明了单阶段离散 NAR 架构在结合扩散模型思想和 LLM 初始化后，可以超越复杂的级联系统，为未来 TTS 架构设计提供了新方向。
普惠语音技术：通过支持 600+ 种语言，OmniVoice 极大地推动了语音合成技术向全球低资源语言的普及，有助于消除数字鸿沟。
应用潜力：其多维可控性（去噪、音色设计、发音控制）使其非常适合实时交互、有声书、无障碍辅助等实际应用场景。

局限性：

目前依赖开源数据，数据质量参差不齐限制了性能上限。
离散 NAR 模型的推理加速（如流蒸馏）尚不如连续空间模型成熟，未来需探索减少推理步数的方法。
对复杂数字序列和数学模式的处理仍需外部文本归一化模块辅助。

总结：OmniVoice 是语音合成领域的一个里程碑，它通过创新的架构设计和大规模数据工程，成功实现了高质量、高可懂度且覆盖全球绝大多数语言的零样本 TTS 生成。