💬 NLP

On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

本文表明，生成式语音语言模型利用比传统设置具有更低比特率的离散语音表示，即可合成具有可理解性和自然度的语音，并保持稳定的延续质量，从而暗示标准配置可能存在冗余，同时也强调了改进自动评估指标的必要性。

原作者： Shunsuke Kando, Wataru Nakata, Shinnosuke Takamichi, Yusuke Miyao

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Shunsuke Kando, Wataru Nakata, Shinnosuke Takamichi, Yusuke Miyao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过听取人们说话的录音来教一个机器人说话，但你不能给它任何书面剧本。这就是生成式语音语言模型 (Generative Spoken Language Modeling, GSLM) 的世界。机器人必须直接学习声音的“语言”，而从未见过纸面上的文字。

为了实现这一点，机器人首先必须将连续的声音波形转化为一系列数字化的“构建模块”（离散单元），就像将一幅平滑的画作转化为像素网格一样。然后，它使用语言模型来预测序列中的下一个模块，最后由合成器将这些模块转回声音。

研究人员在这篇论文中提出了一个简单的问题：我们需要大量微小、精细的像素才能让机器人说话出色吗？还是说，用更少、更大的模块也能行得通？

他们通过以下日常类比来拆解这个问题：

1. “切分”声音的两种方式

研究人员更改了两个主要设置，以观察它们如何影响机器人的语音：

分割宽度（“时间块”）： 他们没有每 20 毫秒观察一次声音（极小的切片），而是尝试每 40、80 甚至 120 毫秒观察一次。这就像看电影：你可以逐帧观看（非常细腻，数据量大），或者你可以以 5 秒为一个片段来观看（细节较少，数据量较小）。
聚类大小（“词汇量大小”）： 在将声音转化为模块时，他们将相似的声音归为一类。较小的聚类大小意味着他们拥有海量的独特声音词汇（就像一本拥有 16,000 个单词的字典）。较大的聚类大小则意味着他们更广泛地对声音进行分组，使用较小的字典（就像只有 128 个单词）。

目标： 通过增大时间块并缩小词汇量，他们创建了一个“低比特率”系统。这就像将高清视频压缩成较小的文件体积。通常，如果压缩过度，质量会下降。研究人员想要观察语音是否能在这种压缩下依然保持完好。

2. 他们进行的两个测试

他们在两个不同的任务上测试了机器人：

任务 A：语音重构（“回声”测试）
- 设置： 他们给机器人一句话，将其转化为模块，然后要求它重新创造出完全相同的句子。
- 结果： 正如你所预料的那样，模块越详细（小的块，大的词汇量），机器人的声音就越好。然而，他们发现了一个平衡点。即使使用“更粗糙”的模块（低比特率），机器人说话依然足够清晰，可以被理解。它并不需要那些超精细的细节来实现可理解性。
任务 B：语音续写（“完成句子”测试）
- 设置： 他们播放了机器人句子的前半部分，并要求它生成剩下的故事。
- 结果： 这是最令人惊讶的地方。在许多计算机任务中，细节越少，结果越差。但在这种情况下，当使用“更粗糙”的、低比特率的设置时，机器人的表现实际上同样出色（有时甚至更好）。
- 类比： 想象你在尝试完成一个故事。如果你有一本拥有 16,000 个单词的字典，你可能会因为纠结于选择完美的词汇而卡住。但如果你只有 1,000 个单词的小字典，你反而可能说话更流利，因为你不会过度思考那些微小的细节。当数据被简化时，机器人似乎能更好地专注于句子的意义。

3. 他们是如何衡量成功的？

他们不仅是用耳朵听，还使用了三种不同的方式来给机器人评分：

传统指标： 检查单词拼写是否正确（可理解性）以及声音听起来是否自然。
LLM 作为评委： 他们使用了一个超级智能的 AI（就像一位数字老师）来聆听两个不同的机器人声音，并选出哪一个听起来更逻辑通顺、更流利。
人类评分： 真人进行聆听，并给声音的“意义感”打出 1 到 5 分。

关于评分的发现：
“数字老师”（LLM）实际上比传统的数学指标更能发现优秀的语音。然而，即使是这位数字老师也不完美；它并不总是与人类听众达成一致。这表明我们仍然需要一种更好的自动评估机器人语音的方法。

4. 核心结论

论文得出结论，我们目前教这些机器人说话的标准方式可能过剩了。

我们通常假设，为了获得好的语音，我们需要海量的数据和极其微小的精确细节。这篇论文表明，对于重复语音和完成句子，我们可以使用“压缩版”的数据（更少、更大的块），并获得同样高质量的结果。

简单来说： 你不需要一台 4K 分辨率的相机来拍摄一张美丽的日落照片；有时标准清晰度的相机同样能捕捉到那份美感，而且文件体积还要小得多。研究人员发现，语音生成可能也是如此：更少的数据，同样出色的声音。

技术摘要：关于分段宽度与聚类规模对生成式语音语言模型中语音重构与延续性的影响

问题陈述
生成式语音语言建模（GSLM）旨在在不依赖文本转录的情况下，在离散语音表示上训练语言模型（LM）。虽然这种范式为无文字语言和婴儿语言习得的应用提供了可能，但目前的 GSLM 方法面临效率挑战。将语音信号转换为离散单元序列（语音到单元，即 s2u）的过程通常会导致序列长度显著长于文本，从而导致基于 Transformer 的语言模型在计算成本上呈二次方增长。此外，现有文献表明，通过减少序列长度和增加聚类规模可以提高语音理解的表现，但目前尚不清楚这些发现是否同样适用于语音合成与延续性任务，而这些任务对于生成式应用至关重要。

方法论
作者通过操纵 s2u 流程中的两个关键参数，研究了不同比特率对 GSLM 性能的影响：

分段宽度 ( $N$ )： 将从自监督学习（SSL）模型（HuBERT-base）中提取的连续语音表示分割成固定长度的窗口，窗口长度为 $N$ 毫秒。
聚类规模 ( $K$ )： 使用 K-means 聚类对这些分段进行量化，聚类数量 $K$ 的范围从 $2^7$ (128) 到 $2^{14}$ (16,384) 不等。

通过结合八个 $N$ 值（20ms 至 280ms）和八个 $K$ 值，本研究创建了 64 种不同的比特率设置。基准设定为 $N=20$ （匹配原始 HuBERT 的帧移）并配合标准的聚类规模。

实验框架评估了两个主要任务：

语音重构（Speech Resynthesis）： 从离散单元中还原输入语音。
语音延续（Speech Continuation）： 在给定输入片段的条件下，生成语义和声学连贯的语音。

该系统采用标准的 GSLM 架构：一个 s2u 模块、一个基于 Transformer 的自回归单元语言模型（uLM，基于 OPT）以及一个单元到语音（u2s）合成模块。研究测试了两种不同的 u2s 模型以确保鲁棒性：带有 Parallel WaveGAN 声码器的 Tacotron2 以及端到端模型 VITS。

评估指标
本研究采用了多维度的评估策略：

重构任务： 用于衡量可懂度的词错误率（WER）、用于衡量自然度的 UTMOS，以及用于衡量声学特征重建质量的梅尔倒谱失真（MCD）和 LogF0 RMSE。
延续任务： 在一系列采样温度下计算困惑度（PPL）和多样性（VERT）。作者指出，由于 PPL/VERT 权衡中的“曲线下面积”指标通常因非单调行为而失效，因此他们使用经过 min-max 归一化后的到 Oracle 点的欧几里得距离。
高级评估： 使用 LLM-as-a-Judge（GPT-4.1-mini）进行的成对判断，以及使用意义平均意见得分（MMOS）的人类评估。

关键结果

语音重构： 虽然较小的分段宽度（ $N$ ）通常更受青睐，但中等大小的值（例如 $N=40$ 或 $80 $）可以在不显著降低可懂度或自然度的情况下，达到与基准（$ N=20$）相当的性能。这表明较低的比特率设置可以保持语音质量。
语音延续： 与重构任务中基准往往表现最佳的情况相反，若干具有较大 $N$ （较低比特率）的设置在延续任务中的表现与基准持平甚至略优。具体而言，针对 Tacotron2 的设置 $(N=120, K=2^{13})$ 和针对 VITS 的设置 $(N=80, K=2^{12})$ 展示了高性能。
模型依赖性： Tacotron2 在可懂度（WER）方面始终优于 VITS，而 VITS 在声学保真度（MCD, UTMOS）方面表现更佳。然而，u2s 模型的选择对延续性的语义内容质量影响有限，这从两个模型之间高度的 PPL 和 VERT 斯皮尔曼等级相关性中得到了证实。
评估指标： 基于 LLM 的成对判断显示出比传统指标（PPL, VERT）更高的与人类主观评分（MMOS）的相关性。然而，整体相关性仍然较低，表明目前的自动指标不足以可靠地评估语音的意义性。

意义与主张
本文声称，传统的 GSLM 设置（通常采用高分辨率离散单元，即小 $N$ 、长序列长度）可能包含了用于有效语音生成的冗余信息。作者证明，通过增加分段宽度并优化聚类规模，可以在大幅降低比特率的情况下，实现可懂且自然的语音重构以及高质量的语音延续。

这一发现为更高效的 GSLM 训练和推理提供了一条路径，有望在不牺牲输出质量的前提下降低计算成本。此外，本研究强调了评估方法中的一个关键差距：尽管基于 LLM 的指标较传统指标有所改进，但该领域仍缺乏用于语音延续性的、具有高相关性的稳健自动评估方法，这使得进一步的研究成为必要。

1. “切分”声音的两种方式

2. 他们进行的两个测试

3. 他们是如何衡量成功的？

4. 核心结论

类似论文