⚡ electrical engineering

UniVoice: A Unified Model for Speech and Singing Voice Generation

UniVoice 是一个基于条件流匹配（conditional flow matching）的统一语音与歌唱生成框架，它将调节因素分解为内容、旋律和音色，并利用学习到的空旋律标记（null melody token）来实现对歌唱的显式旋律控制，同时允许语音具有自然的韵律推断。

原作者： Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人完成两项截然不同的工作：讲故事（说话）和表演歌剧（唱歌）。

通常情况下，你会制造两个不同的机器人。一个被设计成声音自然且具有对话感，它的节奏随文字内容的起伏而变化。另一个则被设计为遵循严格的乐谱，精准地击中每一个音符和节拍。

尝试只用一个机器人来完成这两项工作的难题在于，这两项工作的指令是相互矛盾的。

对于唱歌： 你需要强迫机器人遵循特定的旋律（就像火车行驶在轨道上）。
对于说话： 如果你强迫它遵循轨道，听起来会显得机械且不自然。它需要根据故事的情感自由地游走。

如果你只是把训练数据混合在一起，机器人就会感到困惑。它会在应该自由发挥时试图遵循轨道，又会在应该遵循轨道时试图自由发挥。结果通常是两项工作都做得糟糕。

解决方案：UniVoice

研究人员创建了 UniVoice，这是一个全新的“机器人”（计算机模型），它通过一种被称为**因子化条件控制（Factorized Conditioning）**的巧妙技巧解决了这个问题。你可以把它想象成给机器人三个独立的控制旋钮，而不是一个又大又乱的开关。

以下是这三个旋钮的工作原理：

内容旋钮（正在说什么）： 它读取歌词或文本。对于说话和唱歌，这部分是一样的。
音色旋钮（谁在说话）： 它通过一段简短的人声样本（例如 5 秒钟的片段）来复制某人独特的音色，无论是低声细语还是高亢歌唱。
旋律旋钮（曲调）： 这是最神奇的部分。
- 当唱歌时： 你输入一份特定的乐谱（MIDI 音符）。机器人必须遵循这条轨道。
- 当说话时： 你不是接入一条轨道，而是接入一个特殊的**“空标记”（Null Token）**。把它想象成一个“请勿打扰”的牌子。它告诉机器人：“忽略音乐轨道，只需倾听文字并自行确定节奏。”

引擎：共享的大脑

在底层，UniVoice 使用了一个强大的引擎，称为扩散 Transformer（Diffusion Transformer, DiT）。想象一下这是一个技艺精湛的艺术家，可以画出任何东西。

在过去，你可能需要两个不同的艺术家（一个负责说话，一个负责唱歌）。
UniVoice 使用的是同一个艺术家，他非常擅长倾听这三个控制旋钮。
当“旋律旋钮”设置为“空标记”时，艺术家知道要自然地即兴发挥节奏。当旋律旋钮设置为特定歌曲时，艺术家会完美地遵循乐谱。

为什么这很重要（结果）

研究人员在海量数据（30,000 小时语音和 35,000 小时歌唱）上对他们进行了测试。以下是他们的发现：

它是两项工作的专家： UniVoice 的说话水平几乎可以媲美最优秀的纯语音机器人（如 F5-TTS），并且唱歌水平远高于以往的“全能型”机器人。
它非常高效： 它能实现这一切，其参数规模相对较小（0.3 十亿参数），而旧的统一模型规模要大得多，性能却更差。
“空标记”有效： 他们证明了使用这个特殊的“请勿打扰”牌子来让模型忽略旋律，在数学上是让模型在稍后进行唱歌时仍能保持能力的正确方法。

新的测试：UNISINGING-EVAL

为了确保他们的机器人真正出色，团队构建了一个名为 UNISINGING-EVAL 的新测试。想象一场包含 12 种不同音乐流派（从流行到爵士再到嘻哈）的选秀比赛。他们测试了机器人在切换说话与唱歌时，是否能保持相同的声音并处理不同的风格。

核心结论

UniVoice 就像是一个全能的声音演员。它不需要重新训练，也不需要为说话和唱歌准备不同的“大脑”。它只需查看指令：

“这是文本，这是声音，还有一段歌曲” $\rightarrow$ 完美地歌唱。
“这是文本，这是声音，而且没有歌曲” $\rightarrow$ 自然地说话。

通过分离指令，他们阻止了机器人产生困惑，使其能够同时在两项工作中都表现卓越。

技术摘要：UniVoice

问题陈述

文本转语音（TTS）与歌唱语音合成（SVS）虽然都旨在从符号输入生成人类语音音频，但它们对生成过程提出了根本性冲突的要求。TTS 依赖于从语言语境中推断出的灵活且具有语言驱动性的韵律，而 SVS 则需要显式的旋律控制（例如 MIDI 音符）和精确的节奏对齐。

在混合数据上训练单一统一模型具有挑战性，因为其调节语义是不兼容的：旋律条件必须作为歌唱的强约束，但又不应限制语音中自然且依赖上下文的韵律。朴素的联合训练会迫使模型为旋el相关的条件分配冲突的含义，从而导致梯度干扰并降低两种模态的生成质量。

方法论

UniVoice 是一个基于 条件流匹配（Conditional Flow Matching, CFM） 和 扩散 Transformer（Diffusion Transformer, DiT） 主干网络的语音与歌唱统一生成框架。其核心创新在于 因子化调节（factorized conditioning） 和 学习到的空旋律标记（learned null melody token）。

1. 架构

该模型利用了一个共享的 DiT 主干网络（改编自 Wan-DiT），拥有 24 层、16 个注意力头，参数量约为 0.3 亿。它在 Song Bloom VAE 提取的 25 Hz 潜在特征上运行。

共享主干： 语音和歌唱都被视为同一连续流的不同条件模式。
自适应调制： 通过自适应层归一化（AdaLN）注入轻量级的 任务标记（Task Token）（指示“语音”或“歌唱”），从而在不引入单独的任务特定头的情况下对共享主干进行调制。

2. 因子化调节

为了解决表示冲突，UniVoice 将调节信号 $c$ 分解为四个正交轴：

内容 ( $c_{cnt}$ ): 由基于 ConvNeXt 的编码器编码的音素序列。
旋律 ( $c_{mel}$ ):
- 对于歌唱： 使用 Conformer 编码器编码为 MIDI 音符序列。
- 对于语音： 被替换为一个 学习到的空旋律标记 ( $e_\emptyset$ )。该标记指示模型从语言和声学语境中推断韵律，而非依赖显式的旋律约束。
音色 ( $c_{tmb}$ ): 源自 3–10 秒的参考音频提示，通过与目标音频相同的 VAE 进行编码。这实现了跨模态的零样本声音克隆。
任务标记 ( $c_{tsk}$ ): 用于区分生成模式的离散嵌入。

3. 理论依据

论文指出，学习到的空标记充当了 旋律边缘化（melody marginalization） 的高效摊销近似。在语音生成中，理想的向量场应当对所有可能的旋律实现进行边缘化。空标记允许模型学习最优的“无旋律”表示，而不受歌唱特定梯度的干扰，从而有效地执行轴向选择性的分类器自由引导（classifier-free guidance）。

4. 训练与推理

数据： 在包含 30,000 小时语音（来自 Emilia 数据集）和 35,000 小时歌唱（录音室及野外录音）的混合数据集上进行训练。
训练： 使用 8 张 A800 GPU，在 32,000 帧的批大小下训练 100 个 epoch。条件（文本、旋律、音频提示）以 10% 的概率被随机丢弃，以实现分类器自由引导。
推理： 使用 32 步的 Euler ODE 解算器生成音频。应用轴向特定的引导缩放系数（例如，文本 $w_{txt}=5$ ，旋律 $w_{mel}=1$ ）。

核心贡献

统一架构： 一个具有共享 DiT 主干的单一流匹配模型，无需任务特定头即可生成语音和歌唱。
因子化调节： 一种将内容、旋律和音色分离的方案，消除了语音韵律建模与歌唱旋律控制之间的梯度冲突。
学习到的空旋律标记： 一种用于语音生成的机制，用学习到的标记替换显式的旋律输入，在理论上是旋律变量的边缘化。
UNISINGING-EVAL 基准测试： 一个涵盖 12 种音乐风格的新评估基准，旨在测试跨多种风格、短语级时间戳和跨模态一致性的统一语音生成能力。

实验结果

在跨句子生成任务（10 秒片段）上进行评估：

语音生成： UniVoice 实现了 5.26% 的音素错误率（PER），尽管使用了显著更少的语音数据和统一架构，其表现仍与 F5-TTS (5.21%) 和 CosyVoice3 (5.30%) 等专用 TTS 系统相当。它在统一模型中实现了最高的语音自然度评分（S-MOS 3.76）。
歌唱生成： UniVoice 实现了 16.22% 的 PER 和 35.70% 的说话人相似度（SIM）。这显著优于统一基线模型 Vevo1.5（PER 45.07%）和专用歌唱模型 Soul-X-Singer（PER 26.22%）。
效率： 凭借仅 0.3B 的参数量和 65k 训练小时，UniVoice 优于规模更大的统一模型（Vevo1.5, 1B 参数）和专用歌唱模型，证明了因子化调节的效率。

消融实验 证实：

移除因子化调节会导致严重退化（语音 PER 上升至 12.31%；歌唱 PER 上升至 23.45%）。
学习到的空标记优于固定的零向量。
任务标记对于模态适配至关重要。
显式旋律调节对歌唱至关重要，但如果强加于语音则会产生负面影响。

重要性与局限性

重要性：
UniVoice 通过解耦相互冲突的调节需求，证明了单一模型可以有效弥合语音与歌唱之间的鸿沟。它为统一语音生成树立了新标准，在提供竞争性质量的同时，实现了跨模态的一致性身份。UNISINGING-EVAL 的引入解决了这一新兴领域缺乏全面基准测试的问题。

局限性：

说话人相似度： 与仅语音系统相比，在说话人相似度（SIM）方面仍存在差距，表明跨模态共享与声音克隆保真度之间存在权衡。
语言范围： 目前评估仅限于英语和中文。
延迟： 32 步 ODE 采样过程相比于少步数生成方法会带来更高的延迟。
风格覆盖： 未明确建模混合人声风格（如说唱或吟唱）。
伦理风险： 跨模态零样本声音克隆的能力引发了对深度伪造（deepfakes）和版权的担忧，需要采取负责任的部署措施，如水印技术和基于许可的注册。