💬 NLP

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

该论文提出了一种名为“多模态深度扩展”的新方法，通过在冻结的文本大语言模型中插入并仅训练新增的 E-Branchformer 层，成功在保持原有文本能力几乎不下降的前提下，实现了与全量微调相当甚至更优的语音识别性能。

原作者： Kazuki Yano, Jun Suzuki, Shinji Watanabe

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuki Yano, Jun Suzuki, Shinji Watanabe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让“文字大脑”学会“听懂说话”的新方法，而且最关键的是：它让大脑在学会说话后，依然能完美地保持原本的文字才华，不会变笨。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成给一位博学的“老教授”（预训练的大语言模型）装上一副“智能助听器”（语音处理能力）。

1. 遇到的难题：老教授“失忆”了

以前，如果我们想让这位只读过书的“老教授”学会听人说话（做语音识别），通常有两种笨办法：

全量微调（Full Fine-tuning）： 就像让老教授把以前读过的书全部扔掉，重新去上语言学校，把听和说一起学。结果是他确实学会了听，但忘了以前读过的书，连基本的文字理解能力都退化了。
LoRA（低秩适应）： 就像给老教授戴了一副很薄的“隐形眼镜”，试图在不改变他大脑结构的情况下让他学会听。但这副眼镜太薄了，对于“听”这种复杂的任务，能力不够，效果不好。

2. 核心创新：给老教授“加楼层”（深度扩展）

这篇论文提出的新方法叫**“多模态深度扩展”（Multimodal Depth Up-scaling）**。

想象一下，这位老教授住在一栋32 层的摩天大楼里（这就是原本的模型），每一层都充满了智慧。

传统做法是试图把整栋楼拆了重建，或者在墙上贴几张纸（LoRA）。
新做法是：我们完全不动老教授原来的 32 层楼（冻结原始参数），而是在他大楼的中间或特定位置，硬生生插进去几层新的“语音专用层”。

这就好比：
老教授依然住在原来的楼层里，处理文字任务时，他完全不受干扰，依然聪明绝顶。
但是，当需要处理“声音”时，声音信号会穿过这些新加的楼层。这些新楼层专门负责把“声音”翻译成老教授能懂的“文字”。

3. 最神奇的功能：随时可拆卸的“外挂”

这个方法最酷的地方在于**“可拆卸性”**。

当需要听写时： 声音信号流经新加的几层楼，老教授就能听懂了。
当需要写文章、翻译或总结时： 我们直接把新加的这几层楼拆掉（在推理时丢弃），老教授瞬间变回那个原本完美的、只读文字的 32 层大楼。
结果： 无论什么时候，老教授的文字能力都100% 保留，完全没有因为学说话而变笨。

4. 实验中的“黑科技”：E-Branchformer

论文还尝试了一种更聪明的“新楼层”设计，叫 E-Branchformer。

普通的“新楼层”像是一个单行道，只能一步步处理信息。
E-Branchformer 像是一个双车道高速公路：
- 一条车道负责看全局（就像听整段话的大意）。
- 另一条车道负责看局部细节（就像听具体的发音和节奏）。
- 最后把两条车道的信息合并。
效果： 这种设计让老教授听得更准了，甚至在模型变大（1.7B 参数）时，听写效果比“拆楼重建”（全量微调）还要好，而且文字能力依然保持得非常好。

5. 总结：为什么这很重要？

这就好比你给一位诺贝尔文学奖得主（强大的文字模型）装了一个顶级翻译耳机（语音能力）：

以前： 戴上耳机后，他可能连自己写的诗都忘了，或者变得语无伦次。
现在（本文方法）： 戴上耳机，他能流利地翻译外语；摘下耳机，他依然是那位才华横溢的作家，甚至能一边听你说话，一边帮你把听到的内容翻译成法语、简化成大白话，或者总结成一句话。

一句话总结：
这篇论文找到了一种“加层”而不是“改层”的方法，让大模型在学会听懂人类语言的同时，完美保留了它原本的智慧，而且这个“听力外挂”还能随时拆下来，让模型瞬间回归纯粹的“文字天才”。

以下是基于论文《Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling》（通过多模态深度扩展将文本大语言模型适配为语音模型）的详细技术总结：

1. 研究背景与问题 (Problem)

背景：预训练的大语言模型（LLM）在文本理解和生成方面表现卓越。将这种能力扩展到语音领域，构建“语音语言模型”（Speech LMs）是当前的研究热点。常见的做法是在语音数据上对文本 LLM 进行持续预训练（Continual Pre-training, CPT）。
核心痛点：
1. 灾难性遗忘（Catastrophic Forgetting）：直接在语音数据上微调（Full Fine-tuning）会导致模型原本强大的文本能力（如指令遵循、逻辑推理）严重退化。
2. 现有方案的局限性：
  - 文本回放（Text Replay）：在语音训练时混合文本数据以缓解遗忘，但这需要额外的文本数据且增加了训练成本。许多开源模型未公开预训练数据，使得“忠实回放”不可行。
  - 参数高效微调（如 LoRA）：虽然能减少遗忘，但论文实验表明，LoRA 提供的容量不足以让模型有效学习新的语音模态，特别是在小模型上表现不佳。

2. 方法论 (Methodology)

论文提出了一种名为**多模态深度扩展（Multimodal Depth Up-scaling）**的新策略。其核心思想是在冻结的文本 LLM 中插入新的 Transformer 层，仅训练这些新增层，从而在获得语音能力的同时保留原始文本能力。

关键步骤：

词汇表扩展：
- 将语音转换为离散令牌（结合语义和声学令牌），并将其添加到原始文本词汇表中。
- 扩展嵌入层（Embedding Layer）以容纳新令牌，仅训练新增的嵌入权重，冻结原始嵌入权重。
深度扩展（Depth Up-scaling）：
- 架构插入：在原本有 $n$ 层的模型中插入 $m$ 层新的 Transformer 层（ $m \approx 25\% n$ ）。
- 冻结机制：原始 $n$ 层完全冻结，仅训练新增的 $m$ 层。
- 函数保持初始化（Function Preserving Initialization）：
  - 为了确保训练开始时模型行为与原始模型一致，新增层的输出投影矩阵被初始化为零（Zero-initialization）。
  - 利用残差连接，使得初始状态下新增层表现为恒等函数（ $Y=X$ ），避免破坏预训练表征。
- 位置策略：研究了新增层在网络中的不同放置位置（交错式 INTERLEAVED、底部 BOTTOM、中间 MIDDLE、顶部 TOP、三明治 SANDWICH）。
架构创新：E-Branchformer：
- 除了标准 Transformer 层，论文还尝试使用专为语音识别设计的 E-Branchformer 作为新增层。
- E-Branchformer 包含两个并行分支：全局提取器（MHSA 捕捉长距离依赖）和局部提取器（卷积门控单元 CSGU 捕捉局部声学模式）。
- 初始化策略：针对 E-Branchformer 的合并模块（Merge Module），设计了特殊的 $[I; 0]$ 初始化方式，确保初始输出为恒等映射。
推理时的层丢弃（Layer Dropping）：
- 这是该方法的最大优势之一。在推理阶段，如果只需要文本能力，可以直接移除所有新增的语音层，模型将完全恢复到原始预训练 LLM 的状态，保证文本任务零退化。
- 如果需要语音能力，则保留新增层。

3. 实验设置 (Experimental Setup)

基座模型：SmolLM2-360M 和 SmolLM2-1.7B。
训练数据：OWSM v3.2 套件中的 48,000 小时英语自动语音识别（ASR）数据。
对比基线：
- 全量微调（Full Fine-tuning）。
- LoRA（低秩适应，调整秩数以匹配深度扩展的可训练参数量）。
评估指标：
- ASR 性能：LibriSpeech 测试集上的词错误率（WER）。
- 文本能力：8 个基准测试（如 ARC, MMLU, BoolQ 等）的平均准确率。
- 零样本指令遵循：评估模型在仅接收语音输入时，能否执行翻译、简化、总结等文本指令。

4. 关键结果 (Key Results)

ASR 性能：
- 深度扩展（交错式放置） 的 ASR 性能与全量微调相当，且显著优于 LoRA。
- 在 1.7B 大模型上，使用 E-Branchformer 作为新增层的深度扩展方法，其 ASR 性能甚至超越了全量微调。
- LoRA 在小模型（360M）上表现较差，说明其容量不足以学习新模态。
文本能力保留：
- 全量微调导致文本能力严重退化（1.7B 模型文本准确率下降约 32.6%）。
- LoRA 虽然比全量微调好，但仍有显著退化（下降约 35.7%）。
- 深度扩展：
  - 即使保留新增层，文本能力退化也远小于基线（1.7B 模型仅下降约 6.8% - 8.3%）。
  - 层丢弃机制：在推理时移除新增层，文本性能可100% 恢复至预训练水平（ $\Delta = 0.0$ ）。
架构与位置的影响：
- 位置：交错式（INTERLEAVED） 放置新增层在 ASR 上表现最好，但对文本能力的保护略弱于顶部（TOP）放置；顶部放置最保护文本但 ASR 较差。
- E-Branchformer：相比标准 Transformer，E-Branchformer 能更好地捕捉声学局部模式，在保持文本能力的同时进一步提升了 ASR 性能。
定性分析（指令遵循）：
- 全量微调后的模型在语音指令任务中完全失效（输出重复 token 等）。
- 深度扩展模型即使仅用语音数据训练且无文本回放，仍能通过语音条件提示直接生成高质量的翻译、简化和总结文本，证明了其保留了强大的指令遵循能力。

5. 主要贡献与意义 (Contributions & Significance)

提出多模态深度扩展策略：创造性地将“深度扩展”应用于跨模态适配，通过冻结原始层、仅训练新增层，解决了语音适配中的灾难性遗忘问题。
实现“可逆”的语音适配：通过推理时的层丢弃机制，实现了语音能力与文本能力的动态切换，且文本能力可无损恢复。这对于需要同时处理文本和语音的多模态应用极具价值。
超越 LoRA 的容量瓶颈：证明了在参数效率相当的情况下，增加网络深度（容量）比低秩适应（LoRA）更能有效学习新的语音模态。
E-Branchformer 的有效性：验证了将专为语音设计的架构（E-Branchformer）作为“适配器”插入文本 LLM 是提升 ASR 性能的有效途径。
无需文本回放：在完全不使用文本数据回放的情况下，依然实现了优异的文本能力保留，降低了训练成本和对私有数据的依赖。

总结：该论文提供了一种高效、灵活且低成本的方案，使得预训练文本 LLM 能够无缝适配语音任务，同时完美保留其原有的文本智能，为构建通用的多模态语言模型提供了新的技术路径。