技术摘要：通过 SPEECHCOMBINE 解锁语音-文本组合能力

问题陈述

语音语言模型（SLM）的指令微调面临着比基于文本的大语言模型（LLM）更为严峻的挑战。虽然文本 LLM 遵循标准的预训练加指令微调训练范式，但 SLM 必须在掌握新模态（语音）的同时，应对更广泛的指令谱系，包括语音理解（如情感检测）和语音生成（如表现力合成）。

目前的 SLM 训练方法在很大程度上复制了文本 LLM 的流水线：在海量语音语料库上进行预训练，随后在语音指令数据集上进行监督微调（SFT）或强化学习（RL）。这种策略面临两个关键瓶颈：

1. 数据膨胀： 语音序列显著长于文本序列（例如，一个 5 个 token 的文本句子会扩展为 60–200 个语音 token），这使得扩大有效数据集规模变得困难。
2. 灾难性遗忘： 在语音 token 上进行大规模训练往往会导致模型忘记其文本 LLM 基座的知识和推理能力，迫使模型在更难学习的语音表示中重新学习这些技能。

现有的缓解方案（如冻结文本 LLM 并仅训练适配器）通常无法支持语音特定指令（理解与生成），从而将模型局限于面向文本的任务。

方法论：SPEECHCOMBINE

本文提出了 SPEECHCOMBINE，这是一种无需迭代指令微调即可训练的指令遵循型 SLM。其核心假设是：受近期模型合并（model merging）进展的启发，编码在文本 LLM 中的指令遵循能力可以通过权重组合直接迁移到适配后的语音模型中。

1. 框架与权重组合

该方法在参数空间内分为三个阶段运行：

• 基座模型 ($\theta_{base}$): 一个预训练的文本 LLM。
• 指令微调模型 ($\theta_{inst}$): 经过指令遵循微调的文本 LLM。
• 语音适配模型 ($\theta_{speech}$): 对基座模型 ($\theta_{base}$) 进行单轮连续语音数据预训练后的模型。

最终的模型参数 ($\theta_{SC}$) 通过线性组合权重差异来构建：
$$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$$
其中：

• $\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ 编码了指令遵循行为。
• $\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ 捕捉了语音模态知识。
• $\lambda \in (0, 1]$ 是一个软权重，用于平衡语音知识的集成与文本能力的保留。

关键区别： 语音预训练必须从 $\theta_{base}$ 开始，而不是从 $\theta_{inst}$ 开始。从指令微调模型开始会破坏成功合并所需的组合结构。

2. 预训练数据结构

为了实现熟悉语音 token 序列并理解语音信息（内容与韵律）的双重目标，作者设计了一种特定的预训练数据结构：
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

• [cap]: 语音属性（内容、音高、速率、强调、情感）的自然语言描述。
• [text]: 语音的精确转录文本。
• [speech]: 代表语音发音的离散韵律 token。

在 [speech] 旁引入 [text] 对于锚定文本指令遵循能力的迁移至关重要。[cap] 部分是随机化的（出现在前、后或省略），用以教授生成、理解及多轮对话模式。

3. Tokenization 与推理

• Tokenization（分词）： 作者使用了一种基于 Qian 等人 (2025) 的韵律分词方案，该方案仅对韵律特征（音高、时长、能量）进行编码，而非完整的波形，从而显著降低了 token 长度和冗余度。
• 推理： 模型遵循类似于文本 LLM 的模板，但包含了 [speech] 部分。外部 ASR 系统将输入语音转录到 [text] 部分。采用“格式强制”（format forcing）技术来稳定语音 token 的生成，并确保模型遵循要求的输出结构。
• 长思考（Long Thinking）： 模型通过简单地修改答案模板以包含 <thought> 部分，即可继承文本 LLM 的“长思考”（思维链/CoT）能力，无需额外训练。

核心贡献

1. 指令无关的 SLM 训练： 证明了仅通过单轮预训练（3 万小时数据）和权重组合，即可构建出具有强大指令遵循能力（涵盖文本、语音理解和语音生成）的 SLM，消除了对大规模语音指令微调数据集的需求。
2. 组合泛化： 展示了指令遵循能力 ($\Delta\theta_{inst}$) 在结合语音适配 ($\Delta\theta_{speech}$) 后可以泛化到语音领域，使模型能够在无需针对这些任务进行显式训练的情况下，处理未见的语音特定任务（如情感检测、强调生成）。
3. 保留文本能力： 该策略成功保留了原始文本 LLM 的知识和推理技能，避免了标准 SLM 训练流水线中常见的灾难性遗忘。
4. 高效性： 使用不到现有 SLM（如 FUN-AUDIO-CHAT 训练了数百万小时）1% 的训练数据，实现了达到最先进水平或极具竞争力的性能。

实验结果

作者在两类任务上评估了 SPEECHCOMBINE：浅层组合（语音模态下的文本导向任务）和深层组合（语音特定任务）。

• 文本导向任务（问答、推理）： SPEECHCOMBINE 的表现与“ASR + 文本 LLM”基准线（该基准线不存在遗忘问题）持平或更好，并且显著优于使用海量数据集训练的其他 SLM（如 GLM-4-Voice, Step-Audio）。它在 OpenbookQA、GSM8k 和 MLC 等数据集上取得了顶尖或第二佳的结果。
• 语音理解（情感、强调）：
  • 情感： 表现适中，受限于预训练数据中情感描述的稀缺性。
  • 强调检测： 取得了领先于基准线的 SOTA 性能，证明了模型从韵律线索中推断强调的能力。
• 语音生成（表现力、强调）：
  • 表现力生成： 在情感生成方面取得了第二佳的表现。
  • 强调生成： 在同类模型中表现最佳。
  • 值得注意的是，这些能力是在没有针对特定任务训练的情况下涌现的，完全依赖于技能的组合迁移。
• 消融实验：
  • $\lambda$ 权重： 存在一个平衡文本保留与语音获取的最佳点（例如 $\lambda=0.85$）。
  • 数据结构： 移除 [cap] 或 [text] 会导致性能显著下降，证实了它们对于知识迁移和锚定的必要性。
  • 长思考： 启用思考模式提升了在复杂推理和语音任务上的表现。

重要性与主张

论文声称 SPEECHCOMBINE 提供了一个新的、可扩展的 SLM 训练方向，避免了“低效堆砌数据的无谓折磨”。通过利用模型合并，该方法允许 SLM 在无需大规模语音数据集重新训练的情况下，快速继承不断演进的文本 LLM 所展现的新兴能力。

作者承认了局限性，包括推理时对外部 ASR 的依赖、当前分词方案缺乏音色/音质编码，以及需要通过格式强制来确保输出稳定性。然而，他们认为这一范式为构建既能高效利用数据又能进行复杂推理的强大指令遵循型语音模型提供了坚实的基础。