⚡ electrical engineering

Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

该论文提出了 Locodec，一种局部编码编解码器，并将其与 MP-ELD 单标记自回归流匹配框架相结合，旨在不依赖外部预训练模型的情况下，通过低帧率、高维连续标记实现稳定、高保真且长时程的语音生成。

原作者： Yi Luo, Rongzhi Gu, Jixun Yao

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Luo, Rongzhi Gu, Jixun Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人唱歌。你希望机器人的声音听起来完全像人类，拥有声音中所有细微的颤动、气息的停顿以及完美的音高。但有一个限制：机器人一次只能学习一个音符，就像学生模仿老师的笔迹一样，一个字母一个字母地临摹。如果机器人在第一个字母上出了微小的差错，这个错误会被带到第二个字母，然后是第三个，很快整个单词就会变成一团乱涂乱画。这就是构建“自回归”（autoregressive）AI 的科学家们面临的大难题——这类 AI 会根据之前发生的一切来预测下一段声音。他们面临着一个棘手的“三角困境”：他们既想要声音具有极高的细节（高质量），又想要机器人学得快（短序列），还想要机器人保持稳定，不会在几分钟后就变得语无伦次（长时程稳定性）。通常情况下，你只能三选二。如果你给机器人太多的细节去记忆，它会感到困惑并跑调；如果你简化了音符，声音听起来就会显得机械且平淡。

这篇由字节跳动 Seed 研究人员撰写的论文提出了一个大胆的问题：我们能否构建一个兼具两者优点的系统？他们提出了一种新的方式来封装声音“标记”（tokens，即数据块），这种方式既能保持极低的数值数量，又能拥有巨大的细节量，并提出了一种新的学习方法来防止这些微小的错误不断累积。他们将这种新的分词器（tokenizer）称为“Locodec”，并将这种学习框架称为“MP-ELD”。他们并没有依赖预训练的专家模型来教机器人理解词义，而是通过塑造声音存在的数学“空间”，使其在本质上更容易被预测。他们的实验表明，通过仔细组织这些声音块，并通过不同的“高速公路”传输信息，他们可以生成能够稳定持续数分钟而不丢失人类质感的语音，而且无需借助其他大规模 AI 模型的外部帮助。

问题所在：漂移的机器人

把自回归语音生成器想象成一个人试图画一个完美的圆，但他只能看到自己刚刚画出的那一英寸线条。如果他画出了一个微小的波动，下一英寸的线条就必须从这个波动处开始。如果他一直画歪，圆最终会变成螺旋形或一团乱麻。在 AI 音频领域，这种“波动”被称为误差累积（error accumulation）。

长期以来，科学家们试图通过让 AI 预测的“音符”（tokens）变得更简单来解决这个问题。他们会将音频切分成细小且频繁的片段，但每个片段都非常简单。这降低了 AI 的工作难度，但生成的语音却显得平淡且缺乏细节。另一方面，如果他们让音符变得复杂且精细（高维），AI 就会感到不知所措，产生错误，并在几秒钟后导致声音偏离正常轨道。这就像是在走钢丝时背着一个沉重的背包；你携带的细节越多，就越难保持平衡。

解决方案：塑造游乐场

作者意识到，与其仅仅简化音符，不如改变音符生存的“游乐场”的形状。他们将这个新系统称为 Locodec。

想象一下声音生存的空间是一个巨大的多维球体（就像一个球，但拥有数百个方向，而不仅仅是上下左右）。通常，如果你尝试在这个球体上移动，很容易迷失方向。Locodec 通过两件聪明的事情让这个球体变得更容易导航：

核心流形（The Core Manifold）： 他们迫使 AI 将声音组织在那个大球体内部一个更小、更简单的“核心”周围。可以把它想象成一座山脉。AI 不需要猜测山上每一粒沙子的位置，它只需要知道山脉本身的形状。这使得预测变得更加稳定。
能量层级（The Energy Hierarchy）： 他们使用了一种叫做“后缀维度丢弃（postfix dimension dropout）”的技巧。想象声音是一条由 768 个灯光开关组成的长线。在训练期间，AI 有时会被迫关闭最后一半的开关。这教会了 AI，前方的开关（前缀）是最重要的，必须携带足够的能量才能被听到。这就像是在教学生，句子的前几个词对于理解含义至关重要。这创造了一个清晰的重要性顺序，使得 AI 很难产生困惑。

学习框架：MP-ELD

即便有了更好的游乐场，机器人仍然需要一种更好的学习方式。作者构建了一个名为 MP-ELD（多路径编码器-语言模型-解码器）的新型学习框架。

想象 AI 有三个不同的“大脑”或路径在协同工作：

局部大脑（The Local Brain）： 它只观察最后一个音符，以确保下一个音符流动顺畅（类似于保持节奏）。
自一致性大脑（The Self-Consistency Brain）： 它负责记住声音的风格（是耳语？还是呐喊？或者是某个特定的人？）并确保整个句子听起来像同一个人。
对齐大脑（The Alignment Brain）： 它观察文本或指令，确保机器人说出正确的词汇。

在旧系统中，这些大脑有时会产生冲突，导致机器人发生漂移。MP-ELD 将这些任务分离，以避免相互干扰。它使用一种被称为**无分类器指导（Classifier-Free Guidance, CFG）**的技术，就像一个音量旋钮。研究人员发现，如果在句子开始阶段过早调高“自一致性”旋钮，机器人会陷入循环。但如果等到句子进行到一定程度后再调高，声音就能保持更长时间的稳定和自然。

他们的发现

团队使用极其稀疏（每秒仅 8 个）但非常丰富（每个维度为 768 维）的标记对系统进行了测试。以下是实验结果：

稳定性： 该系统可以生成持续数分钟而不发生声音漂移或崩溃的语音，这比以往经常在几秒钟后失效的方法有了巨大的进步。
质量： 重建的语音非常清晰。他们使用 WER（词错率）等标准指标进行了测量，发现即使没有使用任何预训练的“专家”模型辅助，该系统的表现也足以与最先进的模型相媲美。
权衡（The Trade-off）： 论文提出了一个有趣的权衡关系。由于这些标记非常稀疏（低帧率），AI 非常擅长把握“内容”（词汇），但在模仿“说话人是谁”（说话人相似度）这类极其细微的细节方面，与使用更频繁、更详细标记的系统相比，有时会稍显吃力。这就像一位素描画家，虽然能完美勾勒出人物的姿态，但可能会忽略掉一个微小的雀斑。

总结

这篇论文表明，你不需要在“稳定的机器人”和“细腻的声音”之间做选择。通过精心塑造声音存在的数学空间，并赋予 AI 处理不同任务的独立“大脑”，你可以两者兼得。作者不仅找到了一个“魔法按钮”，更展示了如果能正确组织数据，AI 自然会学得更加稳定。虽然他们的系统在保持声音稳定和确保词汇正确方面表现出色，但他们也指出，在如何更完美地模仿特定人类声音方面仍有提升空间。但对于一个从零开始构建、无需外部帮助的系统来说，这在实现自然长对话的 AI 语音方面迈出了巨大的一步。

技术摘要：基于低帧率高维连续 Token 的稳定自回归语音生成

1. 问题陈述

本文探讨了自回归（AR）语音与音频生成中，**表示能力（Representational Capacity）与长程稳定性（Long-horizon Stability）**之间的根本张力。

权衡关系： 高带宽、高维度的表示能够保留信号细节并支持高保真重建，但难以预测。在 AR 系统中，微小的局部预测误差会随时间累积，导致分布漂移（例如在响度、音色或频谱质量方面），并最终导致生成崩溃。相反，低比特率或高度压缩的表示简化了 AR 建模，但会丢弃关键信息，从而限制了重建保真度。
空白领域： 现有方法通常依赖于外部预训练的自监督学习（SSL）或自动语音识别（ASR）模型来定义语义空间，或者使用离散 Token 层级（如 RVQ）来增加模型复杂度。作者探讨了是否可以通过一种低帧率、高维度、连续 Token 的形式化方案，并将其与流式生成框架进行协同设计，从而在不依赖外部预训练模型或后训练阶段的情况下，实现鲁棒的高保真重建、强单 Token 可预测性和稳定的长文本合成。

2. 方法论

提出的解决方案由两个耦合组件组成：用于塑造潜在空间几何结构的编解码器 Locodec，以及旨在减轻误差累积的生成框架 MP-ELD。

2.1 Locodec：局部编码编解码器（Locally Encoded Codec）

Locodec 旨在创建一个高维球形 Token 空间，该空间围绕一个低维、可插值的核心流形（Core Manifold）进行组织，同时保持用于可辨识性的能量层级。

球形 Token 空间： Token 被约束在高维球面（ $S^{D-1}$ ）上。这消除了预测任务中的径向自由度，使生成模型专注于角度差异。
低维核心流形： 一个可学习的正交投影将高维 Token 映射到一个低维核心流形（ $d_{core} \ll D$ ）。双向承诺损失（Bidirectional Commitment Loss）使高维 Token 与该核心对齐。在训练期间，核心流形会经历强烈的球面破坏（随机旋转），从而迫使它编码对重建最为关键的信息，并增强其可插值性。
后缀维度丢弃（Postfix Dimension Dropout, PDD）： 为了诱导可辨识性（Identifiability），编解码器采用了后缀维度丢弃机制。在训练期间，以特定概率从 Token 向量的末端丢弃维度。这创造了一种可用性偏差，使得较低索引的维度被保留得更频繁。因此，模型学会将更高的能量分配给这些“前缀”维度，从而创建了一个能量层级，使核心内容对破坏更具鲁棒性且更容易预测。
架构： 该编解码器使用基于 MDCT 系数的完全局部编码器（无跨 Token 交互）和堆叠的因果 ConvNeXt1D 解码器。它通过中/侧（Mid/Side）形式支持单声道和立体声音频。

2.2 MP-ELD：多路径编码器-语言模型-解码器（Multi-Path Encoder-LM-Decoder）

MP-ELD 是一个单 Token 自回归流匹配（Flow-matching）框架，旨在减轻由分类器自由引导（CFG）下不一致引导引起的误差累积。

多路径信息路由： MP-ELD 不仅使用单一的调节信号，而是构建了三条不同的调节路径：
1. 局部连续性（ $c_{lc}$ ）： 源自当前 Token，用以强化短程声学连续性。
2. 自一致性（ $c_{sc}$ ）： 源自 Token 历史，用以维持长程稳定性及内部属性一致性（如音色）。
3. 对齐一致性（ $c_{ac}$ ）： 源自外部控制信号（如文本），用以使生成过程与提示词对齐。
正交残差调节： 这些路径通过 Gram-Schmidt 变换进行正交化，以确保它们编码的是残差信息。
多路径残差 CFG： 在推理期间，模型运行三次独立的正向传播（或其组合）来为每条路径生成速度场。最终的速度是残差的线性组合：
$v_\tau = v_L + \lambda_{sc}(v_{LS} - v_L) + \lambda_{ac}(v_{LSA} - v_{LS})$
这实现了对声学一致性（ $\lambda_{sc}$ ）和内容对齐（ $\lambda_{ac}$ ）的独立控制。
时间依赖型引导： 为了防止早期阶段的不稳定性，自一致性引导权重 $\lambda_{sc}$ 会随桥接时间 $\tau$ 逐渐增加，避免在信号噪声极大的情况下进行激进的外推。
仅方向建模与灵活幅度： 模型预测一个球形终点以定义切向方向。至关重要的是，合并后的速度幅度并不会被重新归一化到固定的 SFM 极限。虽然方向是由终点导出的，但其幅度允许根据 CFG 残差而变化。这种灵活性允许引导轨迹拥有与标准测地线不同的路径长度，从而能够适应可能需要的曲线路径，而不是强制执行固定步长，从而避免出现步长不足或无法到达目标的情况。

3. 核心贡献

Locodec 编解码器： 一种新型编解码器，能够在没有外部 SSL/ASR 监督的情况下，塑造高维连续 Token 空间。它结合了球面归一化、低维核心流形约束和后缀维度丢弃策略，以提高可插值性和可辨识性。
MP-ELD 框架： 一种流匹配生成模型，显式地解耦了信息路径（局部、自一致和对齐），并使用多路径残差 CFG 来减轻 AR 误差累积。
联合设计原则： 本文证明了平衡 AR 稳定性与重建保真度需要对表示空间的几何结构和生成框架进行协同设计，而非仅仅依赖更大的模型或外部先验。
关于 Token 帧率的实证发现： 研究表明，低帧率（如 8 Hz）充当了“语义-声学分辨率旋钮”，自然地在更长的时间跨度内聚合内容（有利于 WER 和稳定性），但可能会降低对精细声学细节的敏感度（影响说话人相似度）。

4. 实验结果

实验在 Seed-TTS-eval 数据集（中文和英文）以及内部长文本测试集上进行。模型是在没有预训练文本 LM、SSL 或 ASR 的情况下从头开始训练的。

重建质量： 引入低维核心流形和 PDD 并未降低全维度重建质量。PDD 成功诱导了坐标维度的能量层级，其中前缀维度的能量显著高于后缀维度。
可预测性： 在使用具有适中核心维度（ $d_{core}=32$ ）和 PDD 的 Token 时，生成模型达到了最低的训练损失和最快的收敛速度，这表明这些 Token 是最易于预测的。
生成性能（短文本）： 在 Seed-TTS-eval 上，最佳配置 (32/✓) 实现了 0.95%（中文）和 1.87%（英文）的词错率（WER），与最先进的 AR 系统相当。
长文本稳定性：
- CFG 敏感度： 研究表明，对齐一致性引导（ $\lambda_{ac}$ ）主要控制内容对齐（WER），而自一致性引导（ $\lambda_{sc}$ ）则控制声学稳定性（说话人相似度）。
- 漂移缓解： $\lambda_{sc}$ 的时间依赖型调度对于长文本合成至关重要。恒定的高引导会导致严重的漂移（例如，分段说话人相似度从 0.74 降至 0.40）。延迟调度（ $\gamma > 0$ ）显著提升了长程稳定性。
- PDD 的影响： PDD 一致地提高了长文本稳定性。例如，将配置从 32/× 切换到 32/✓，使长文本 WER 从 20.80% 降至 9.73%，并将第 5 段的说话人相似度从 0.419 提升至 0.578。
对比： 所提系统在无需外部模型的情况下实现了具有竞争力的 WER。然而，与使用显式语义-声学分解或更高帧率的系统相比，其说话人相似度（SIM）较低，这支持了以下假设：低帧率 Token 倾向于内容聚合而非精细的声学细节。

5. 重要性与主张

本文声称，低帧率、高维度的连续 Token 是实现稳定 AR 语音生成的可行目标，前提是需要对表示空间和生成框架进行联合优化。

适度主张： 作者明确表示，他们并不声称拥有通用的缩放法则（Scaling Law），也不声称其设计在数据/模型规模上占据主导地位。相反，他们隔离了观察 Token 空间塑造和信息路由的效果。
核心洞察： 这项工作挑战了通过外部 SSL/ASR 监督来塑造 Token 空间的必要性，证明了通过具有几何约束的“重建优先”编解码器可以获得类似的稳定性收益。
局限性： 作者承认，虽然其系统实现了很强的内容对齐（低 WER）和稳定性，但在说话人相似度方面目前仍落后于最强的现有系统。他们将其归因于低帧率 Token 固有的“语义-声学权衡”——这类 Token 能有效聚合内容，但可能会平滑掉精细的声学变化。
未来方向： 论文建议未来的工作可以探索在无需外部监督的情况下，将语义-声学分解引入低速率连续空间，扩展解码器组件，并开发能够适应生成长度的动态 CFG 调度方案。