💬 NLP

DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion

本文介绍了 DiffuSpeech，这是一种统一的掩码扩散模型，它通过共同生成内部文本推理与口语回答，实现了“静默思考，开口回答”，在保持强大的语言理解能力的同时，在语音问答准确率和文本转语音质量方面达到了最先进的性能。

原作者： Yuxuan Lou, Ziming Wu, Yaochen Wang, Yong Liu, Yingxuan Ren, Fuming Lai, Shaobing Lian, Jie Tang, Yang You

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Lou, Ziming Wu, Yaochen Wang, Yong Liu, Yingxuan Ren, Fuming Lai, Shaobing Lian, Jie Tang, Yang You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“心中有数，口中有声”

想象一下，你在参加派对，有人问了你一个棘手的问题。如果你只是脱口而出脑子里蹦出的第一个念头，你可能会表现得很有自信，但内容却是错误的。但如果你在开口之前，花一秒钟思考、组织事实并规划好句式，你的回答通常会好得多。

目前的 AI 语音助手就像那个从不停顿思考的人。它们听到问题后，会立即从左到右生成音频标记（声音）。一旦开始说话，它们就无法停下来纠正错误。如果第一句话说错了事实，整个回答就全毁了。

DiffuSpeech 为 AI 引入了一种全新的说话方式：“心中有数，口中有声”（Silent Thought, Spoken Answer）。
AI 不再只是机械地吐出音频，而是先在脑海中生成一段“无声的思想”（基于文本的推理过程）。它利用这段内在的文本来规划答案，然后再开口说话。这使得 AI 能够在发出任何声音之前，先修正自己的逻辑。

工作原理：“去噪”魔法

大多数 AI 模型的工作方式就像一个正在逐字打字的作家（自回归模型）。如果你在第一个词上打错了，你就必须删除并重打整个句子。

DiffuSpeech 的工作方式不同。它使用的是**扩散（Diffusion）**模型。你可以把它想象成一位雕塑家，面对的是一块最初被浓雾笼罩的大理石。

迷雾： AI 从一个答案被完全隐藏（掩盖）的空白状态开始。
雕刻： AI 不是逐字书写，而是同时观察整个“迷雾”中的整体。它通过迭代的方式拨开迷雾，逐渐显现出越来越多的答案细节。
优势： 因为它能同时看到全局，所以如果它意识到句尾需要调整，它可以反过来修改句首。这就像是能够同时编辑整个段落，而不是线性地逐字输入。

在这篇论文中，AI 对文本（无声的思想）和音频（说出的答案）同时进行这种操作。它将两者视为一个巨大的拼图，同时解决“思考”部分和“说话”部分。

新的数据集：“思维对话”（ThinkingTalk）

为了教会 AI 这项新技能，研究人员不能只使用旧数据。他们需要那些 AI 在说话前真正经过“思考”的范例。

他们创建了一个名为 ThinkingTalk 的新数据集。

类比： 想象一下，你拿一本标准的问答教材进行改写。对于每一个问题，他们不仅写下了答案，还先写了一段“秘密日记”。这段日记解释了 AI 是如何得出答案的（例如：“用户想要一个简单的解释，所以我应该避免使用专业术语，并将内容拆解为三个步骤”）。
结果： 他们构建了 26,000 个示例（319 小时音频），其中每一个 spoken 答案都与其内在的文本推理过程相匹配。这教会了 AI “思考”是说话前必不可少的步骤。

他们取得了什么成就？

研究人员将 DiffuSpeech 与现有的顶尖语音 AI 模型（如 Moshi 和 MinMo）进行了对比测试。以下是他们的发现：

更准确的回答： 在处理难题时，DiffuSpeech 的准确率显著提高。在某些测试中，它大幅领先于最强的竞争对手（高出多达 9 个点）。“无声的思想”帮助它避免了事实性错误。
更清晰的语音： 尽管它在做额外的功课（思考），但它生成的语音质量非常高。听起来非常自然，且错误率极低（低词错率）。
依然聪明： 有时，当你教一个模型新技巧时，它会忘记旧的技能。但 DiffuSpeech 依然保持了与仅处理文本的模型一样优秀的通用知识水平（例如回答常识问题或理解复杂概念）。

“两阶段”训练过程

为了获得这样的结果，他们采用了类似学生升学的“两阶段”训练法：

第一阶段（基础课）： 他们教会 AI 如何理解语音以及如何将文本转化为语音。他们确保 AI 既能听懂声音，也能说出单词，反之亦然。
第二阶段（高级课）： 他们引入了 ThinkingTalk 数据集。在这里，AI 学习如何停顿、生成“无声思想”文本，并利用这些思想来引导其说出的答案。

总结

DiffuSpeech 是一项突破，因为它阻止了语音 AI 成为一个只顾冲向终点的“快嘴”。相反，它让 AI 变成了一个“深思熟虑的演说家”，在开口之前会在内心规划好措辞。通过使用这种特殊的“拨开迷雾”（扩散）方法，它可以同时处理思考与表达，从而产生不仅流畅，而且符合逻辑且事实正确的答案。

技术摘要：DiffuSpeech —— 通过统一的语音-文本扩散实现“静默思考，开口应答”

1. 问题陈述

目前的语音大语言模型（Speech LLMs）主要依赖自回归（AR）生成，即直接从输入产生语音响应，而没有显式的中间推理过程。这种架构存在两个关键局限性：

缺乏显式推理： 不同于利用思维链（CoT）来提高准确性的文本 LLM，现有的语音系统在没有暴露推理过程的情况下顺序生成 Token。这种不透明性使得用户无法验证答案是如何得出的，并限制了模型在生成音频之前纠正错误的能力。
语音的不可逆性： 一旦音频生成，错误无法在话语中途得到纠正。自回归模型由于是单向从左到右生成，缺乏双向上下文，难以利用推理过程与最终语音输出之间的全局依赖关系，这往往导致生成的语音虽然流畅但事实错误。

作者提出了一个新的范式——“静默思考，开口应答”（Silent Thought, Spoken Answer），即模型在生成语音响应的同时，生成内部的基于文本的推理轨迹（“静默思考”）。这种方法旨在模拟人类的认知过程，允许推理过程为最终的语音输出提供信息并提升其质量。

2. 方法论：DiffuSpeech

为了实现这一范式，作者引入了 DiffuSpeech，这是首个将离散文本和分词化语音统一在单一 掩码扩散（Masked Diffusion） 框架下的扩散式语音-文本语言模型。

2.1 统一表示

DiffuSpeech 使用统一的词表 $V = V_{text} \cup V_{special} \cup V_{speech}$ ：

语音分词： 原始音频波形通过冻结的 HuBERT 编码器和一个线性量化器进行处理，生成离散语音 Token（25Hz，500 个词表大小）。
序列结构： 多模态任务被结构化为 $x = [\tau, c, y]$ ，其中 $\tau$ 是任务 Token， $c$ 是条件输入， $y$ 是目标。对于核心任务（带有推理过程的语音到语音），序列包括输入语音、基于文本的推理轨迹以及输出语音。

2.2 掩码扩散框架

不同于顺序生成 Token 的自回归模型，DiffuSpeech 使用 掩码扩散语言模型（MDLMs）：

前向过程： 根据余弦调度方案，Token 被独立地进行掩码处理，概率为 $\gamma(t)$ 。
反向过程： Transformer 主干网络（ $f_\theta$ ）通过迭代去噪，从掩码序列中预测原始 Token。
联合生成： 模型联合生成推理轨迹和语音 Token。至关重要的是，它采用了特定模态的掩码调度方案，以适应文本和音频的不同特性，使思维轨迹和语音 Token 在生成过程中通过双向上下文相互启发。

2.3 两阶段训练流水线

模型通过课程学习方法进行训练：

第一阶段（语音-文本对齐）： 模型使用 ASR（语音 $\to$ 文本）、TTS（文本 $\to$ 语音）和文本语言建模任务来学习语音与文本之间的对应关系。此阶段将冻结的 HuBERT 编码器和 HiFi-GAN 声码器与 LLaDA 主干网络进行对齐。
第二阶段（指令遵循）： 模型在 THINKINGTALK 数据集上进行微调。这一阶段专门教导模型在处理如语音到语音问答（S2S）、语音到文本（S2T）和文本到文本（T2T）等任务时，生成内部推理轨迹及响应。

2.4 推理

在推理过程中，DiffuSpeech 执行单次扩散过程。它使用掩码 Token 初始化目标序列，并迭代地进行去噪。基于置信度的解掩码策略会在每一步选择置信度最高的 top- $k$ 个预测进行解掩码，从而允许模型先对容易的决策做出承诺，随后再优化较难的部分，有效地同时生成“静默思考”和“开口应答”。

3. 核心贡献

3.1 “静默思考，开口应答”范式

本文引入了一种新颖的框架，在该框架下，语音 LLM 生成内部文本推理轨迹来引导语音响应。这使得模型能够利用文本 LLM 强大的推理能力，同时产生自然的语音，通过在最终确定音频 Token 之前规划响应，解决了语音生成的“不可逆性”问题。

3.2 首个统一的语音-文本扩散架构

DiffuSpeech 将掩码扩散扩展到了语音-文本领域，证明了扩散是多模态语音建模中替代自回归生成的可行方案。它支持在单个模型内进行理解（ASR）和生成（TTS/S2S），弥补了以往仅支持语音到文本的扩散模型（如 DiFFA）留下的空白。

3.3 THINKINGTALK 数据集

作者构建了 THINKINGTALK，这是第一个包含配对文本推理轨迹的语音问答数据集。

规模： 包含 26,387 个样本，总计 319 小时音频。
构成： 源自 Smoltalk 和 SoundMind 数据集，经过重写以包含显式的“思考”步骤，并经过质量过滤和多样化声音合成。
意义： 它为“边说边思考”的能力提供了必要的训练资源，而这种能力在以往的语音 LLM 中是无法实现的。

4. 实验结果

4.1 语音问答 (QA)

DiffuSpeech 在语音到语音（S2S）问答任务中达到了最先进的性能：

LlamaQ： 68.5% 准确率（比最佳基线 Moshi 高出 4.3%）。
TriviaQA： 33.5% 准确率（比 Moshi 高出 3.0%）。
WebQ： 49.7% 准确率（比 Moshi 高出 9.0%）。
消融实验： 移除“思维轨迹”会导致性能显著下降（例如，DiffuSpeech 平均下降 13.4 个百分点），证实了推理轨迹对于准确性的关键作用。

4.2 语音处理 (ASR & TTS)

ASR： 取得了具有竞争力的词错率（WER），例如在 LibriSpeech-Clean 上为 3.0%。
TTS： 在所有测试的生成模型中取得了最佳 TTS 质量，在 LibriSpeech-Clean 上的 WER 为 6.2%，优于自回归基线模型 MinMo (6.7%) 和 Moshi (7.0%)。

4.3 语言理解

尽管增加了语音模态，DiffuSpeech 仍保持了强大的语言理解能力：

MMLU： 66.2%（与基础 LLaDA 模型持平）。
TriviaQA： 60.3%（比 LLaDA 高出 4.7%）。
GSM8K： 72.8%（比 LLaDA 高出 2.5%）。

4.4 效率与架构比较

扩散 vs. AR： 虽然自回归模型在初始学习阶段表现更快，但 DiffuSpeech 在中期到后期训练（约 10k 步后）超越了自回归模型，实现了更低的最终 WER。这表明扩散的双向建模对于长期的语音-文本对齐更为优越。
样本效率： 即使在较少的去噪步数下（例如 512 步对比 1024 步），DiffuSpeech 仍保持强劲性能，展示了相比于线性扩展的自回归生成，其具有更快的推理潜力。

5. 重要性与主张

论文声称 DiffuSpeech 证明了基于扩散的生成是多模态语音-文本建模的一种可行且有效的范式。其主要意义在于能够联合生成内部推理轨迹以及语音输出，这为构建更准确、更可靠的对话系统开辟了新的可能性。

通过引入“静默思考，开口应答”范式，这项工作解决了当前语音 LLM 的根本局限：即在说话之前无法进行显式推理。作者断言，这种方法不仅提高了问答任务中的事实准确性，还提升了整体语音生成的质量，这一点从优异的 TTS 指标中得到了证实。THINKINGTALK 数据集的创建被强调为未来研究增强型推理语音生成的重要基础资源。

论文结论较为谦逊，指出虽然目前的工作侧重于语音和文本，但未来的方向可以包括视觉模态和混合专家（MoE）架构，但并未对具体的社会影响进行推测，仅限于推动机器学习能力的进步。