⚡ electrical engineering

Closing the Gap Between Text and Speech Understanding in LLMs

本文提出了名为 SALAD 的新方法，通过结合跨模态蒸馏与主动选择的合成数据，在大幅减少公开语料训练需求的同时，有效解决了语音适配大语言模型在理解任务中相对于文本模型的“文本 - 语音理解差距”问题。

原作者： Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个大模型领域的“尴尬”现象：让大模型听懂人话（语音），结果它变“笨”了。

想象一下，你有一个博古通今、逻辑严密的天才图书管理员（这是原本的文本大模型）。他读过万卷书，回答问题如鱼得水。现在，你想让他升级，不仅能看文字，还能直接听你说话。

1. 问题：为什么“听”了反而变笨了？

当你给这位图书管理员装上“耳朵”后，发现他虽然能听懂你说话，但回答问题时却经常出错，甚至不如那个只靠“文字转语音”再转文字的笨办法（先让机器把语音转成文字，再给图书管理员看）。

作者把这种现象称为**“文语理解鸿沟”**（Text-Speech Understanding Gap）。

为什么会这样？作者发现主要有两个原因：

原因一：忘本（遗忘）
就像一个人为了学一门新方言，把原本精通的母语给忘了。模型在适应语音数据的过程中，把原本在文本上学到的丰富知识“忘”掉了。
原因二：水土不服（跨模态错位）
语音和文字虽然意思一样，但“味道”不同。模型在处理语音时，就像让一个习惯在图书馆安静阅读的人，突然被扔进了嘈杂的菜市场。它不知道该怎么把“听到的声音”和“脑子里的知识”对上号，导致反应迟钝或答非所问。

2. 别人的做法 vs. 我们的做法

别人的做法（笨办法）：
为了填补这个鸿沟，以前的方法通常是**“人海战术”**。

要么花巨资把海量的文字书全部用机器读出来（合成语音），试图让模型听够几百万小时。这就像为了教孩子学说话，把全世界的书都录成音频，既贵又慢，而且机器读出来的声音缺乏真人的情感。
要么依赖那些不公开的、拥有海量真实录音的私有数据。这就像只有少数人拥有“秘密教材”，别人根本学不到。

我们的做法（SALAD 方法）：
作者提出了一种叫 SALAD（听起来像沙拉，寓意“混合搭配”）的新方法。它的核心思想是：少花钱，多办事，精准打击。

SALAD 分为两步走：

第一步：交叉蒸馏（请老师当陪练）
我们不让模型自己去瞎猜，而是让它**“照猫画虎”**。
- 比喻：让那个博学的“文本图书管理员”（老师）在旁边看着。当模型听到语音时，老师会悄悄告诉它：“这段语音对应的标准答案应该是这样的，你要模仿我的思路。”
- 这样，模型在学听语音的同时，紧紧抓住了原本的知识，既没忘本，又学会了怎么把声音和知识对应起来。
第二步：主动选择（精准补漏）
光听自然界的录音（比如图书馆、日常对话）还不够，因为自然录音里缺少很多“高深”的内容（比如科学、法律、学术讨论）。
- 比喻：模型在学完自然录音后，作者发现它在“生物”或“物理”这些领域还是有点懵。于是，SALAD 像一个精明的采购员，它不盲目地买所有录音，而是专门挑那些模型最不懂的领域，只合成这一小部分内容的语音。
- 这就好比：你不需要把整个百科全书都录下来，只需要把模型不会的那几章录下来给它听，效率极高。

3. 成果如何？

用这个方法训练出来的模型（SALAD-3B 和 SALAD-7B）：

效果惊人：在理解语音、逻辑推理和知识问答上，表现非常接近甚至超越了那些用海量数据训练出来的顶尖模型。
极度省钱：它使用的语音训练数据量，比那些竞争对手少了一个数量级（也就是少用了 10 倍以上的数据）。
不忘本：它没有因为学语音而忘记原本的文字能力，甚至表现得更好。

总结

这就好比，以前为了教一个天才学会“听”，我们不得不给他灌下几吨的录音带，结果把他撑坏了还学不好。

而 SALAD 就像是给这位天才请了一位聪明的私教：

私教时刻盯着他，确保他听的时候不忘本（蒸馏）。
私教只在他最薄弱的环节（比如科学领域）进行针对性特训（主动选择）。

最终，这位天才不仅学会了听，而且学得更快、更准，还省下了巨额的“录音带”费用。这为未来让 AI 真正像人一样自然交流，提供了一条高效、低成本的新路径。

这是一篇发表于 ICLR 2026 的会议论文，题为 《Closing the Gap Between Text and Speech Understanding in LLMs》（缩小大语言模型中文本与语音理解之间的差距）。该论文由来自法国图卢兹大学（Université de Toulon）和 Apple 的研究人员共同完成。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心问题：文本 - 语音理解差距 (Text-Speech Understanding Gap)
尽管大语言模型 (LLM) 在文本任务上表现卓越，但当将其适配到语音输入时（Speech-adapted LLMs），其在语言理解任务上的表现往往显著低于原始文本 LLM，甚至不如“语音转文本 (ASR) + 文本 LLM"的级联管道。这种性能下降被称为“文本 - 语音理解差距”。
现有方法的局限性：
- 级联管道 (Cascaded Pipelines)： 虽然能保留文本能力，但丢失了说话人特征和副语言线索（paralinguistic cues），不利于自然交互。
- 端到端适配 (End-to-End)： 现有方法通常依赖两种策略：
  1. 大规模合成数据： 将文本语料库合成语音，成本高昂且依赖合成数据。
  2. 私有大规模数据集： 依赖数百万小时的私有语音数据（如 Kimi, Qwen2.5-Omni 等），不可复现且数据效率低。
- 结果： 现有开源模型在广泛领域的基准测试中，与文本基座模型相比仍有巨大差距，且训练数据需求巨大。

2. 核心分析 (Analysis)

作者深入分析了导致这一差距的两个主要因素，并量化了它们：

能力遗忘 (Forgetting)： 在适配语音的过程中，模型丢失了预训练文本 LLM 原有的知识能力。
- 量化指标： 语音适配模型 $P_\theta$ 与原始文本模型 $Q_\phi$ 在纯文本输入上的分布差异（KL 散度）。
跨模态错位 (Cross-modal Misalignment)： 语义等价的语音输入和文本输入导致模型产生不一致的输出。
- 量化指标： 模型在文本输入 $w$ 和等价的多模态上下文 $c$ （包含语音）下预测下一个 token 的分布差异。

关键发现：

跨模态错位与语音理解性能呈强负相关（错位越大，性能越差）。
遗忘与文本性能保留呈强负相关。
仅在狭窄领域（如 LibriHeavy, Emilia）的语音数据上训练，随着数据量增加，错位和遗忘都会加剧。
仅靠数据领域的匹配（Domain Matching）不足以解决错位问题，必须结合特定的训练目标。

3. 方法论：SALAD (Methodology)

为了解决上述问题，作者提出了 SALAD (Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation)，一种样本高效的对齐方法。该方法包含两个阶段：

阶段 I：基于自然语音的跨模态蒸馏 (Distillation on Natural Speech)

目标： 利用跨模态知识蒸馏（Cross-modal Distillation）来缓解错位和遗忘。
机制： 训练目标函数 $\mathcal{L}$ 是标准最大似然估计 (NLL) 和蒸馏损失 (Distillation) 的加权组合：
$\mathcal{L} = \alpha \mathcal{L}_{DIST} + (1-\alpha) \mathcal{L}_{NLL}$
其中， $\mathcal{L}_{DIST}$ 让语音适配模型 $P_\theta$ 模仿文本教师模型 $Q_\phi$ 的输出分布。
发现： 当 $\alpha=1$ （纯蒸馏）时，错位随训练规模迅速下降并趋于饱和，且能有效防止遗忘。

阶段 II：基于主动选择的领域扩展 (Active Selection for Domain Expansion)

动机： 仅靠自然语音数据（领域狭窄）进行蒸馏，仍会在某些特定领域（如科学、学术）存在残留的错位。全量合成语音数据成本太高。
机制： 引入主动学习 (Active Learning) 策略，智能地选择少量需要合成的文本样本。
1. 聚类： 将广域文本语料库（FineWeb-Edu）聚类。
2. 重要性采样： 计算每个簇的“错位信号”（即模型在该簇上的蒸馏损失 $M^{(c)}$ ）。
3. 加权采样： 根据错位程度对簇进行重加权（ $w^{(c)} \propto (M^{(c)})^\gamma$ ），优先选择错位最大的领域进行语音合成。
4. 训练： 仅合成这些高错位领域的语音数据，与原始自然语音数据混合进行第二阶段训练。
优势： 用极少量的合成数据（仅占总预算的 1%）填补了领域空白，实现了样本高效。

4. 实验设置与结果 (Results)

模型规模： 在 Qwen2.5-3B 和 7B 基座模型上进行了实验。
数据对比：
- 基线模型（如 Qwen2-Audio, DiVA, GLM-4-Voice, Qwen2.5-Omni）通常依赖数百万小时的数据或私有数据。
- SALAD 仅使用了 14 万小时 的自然语音数据（Emilia + LibriHeavy）加上 极少量 的主动合成数据（约 1% 的自然数据量）。
基准测试： 在 6 个广泛领域的基准测试上进行评估（StoryCloze, MMSU, OpenBookQA, HellaSwag, ARC-Challenge, PIQA）。

关键结果：

性能竞争力： SALAD-7B 在语音理解任务上表现与最强的闭源模型（Qwen2.5-Omni-7B）相当，甚至在某些任务上更优。SALAD-3B 的表现超过了大多数更大的端到端基线模型。
缩小差距： SALAD 显著缩小了文本 - 语音理解差距。例如，在平均准确率上，SALAD-7B 的差距仅为 6.2%，而许多基线模型的差距超过 20%。
数据效率： SALAD 使用的训练语音数据量比现有最强模型少 一个数量级以上（Over an order of magnitude less）。
保留文本能力： 与基线模型相比，SALAD 在语音训练后几乎完全保留了原始文本 LLM 的能力（遗忘程度极低，甚至在某些指标上略优于原始文本模型）。
主动选择的有效性： 消融实验表明，主动选择策略（针对高错位领域）比随机采样能带来显著的性能提升，特别是在科学和技术类问题（如 MMSU, ARC-C）上。

5. 主要贡献 (Key Contributions)

量化分析： 首次将文本 - 语音理解差距明确分解为“能力遗忘”和“跨模态错位”两个可量化的统计距离，并证明它们是预测下游性能的关键指标。
提出 SALAD 方法： 结合跨模态蒸馏（解决错位和遗忘）和主动数据选择（解决领域不匹配），提出了一种无需大规模合成数据的高效训练范式。
实证突破： 证明了在 3B-7B 参数规模下，通过精心设计的目标函数和数据策略，可以以极低的成本达到与依赖海量私有数据的最强模型相当的性能。
开源与复现性： 提供了基于公开数据集（Emilia, LibriHeavy, FineWeb-Edu）的训练方案，解决了现有 SOTA 模型不可复现的问题。

6. 意义与影响 (Significance)

降低门槛： 该研究证明了构建高性能语音 LLM 不再依赖于昂贵的私有数据或大规模合成数据，使得学术界和中小型企业也能训练出具备强大语音理解能力的模型。
理论指导： 揭示了“领域匹配”必须与“跨模态蒸馏”结合才能生效，为未来的语音 LLM 训练提供了理论依据。
实际应用： 提出的方法特别适用于低延迟、流式语音交互场景（因为使用了轻量级编码器），为构建真正自然的语音 AI 助手铺平了道路。

总结：
这篇论文通过深入分析语音 LLM 性能下降的根源，提出了一种**“蒸馏 + 主动选择”**的高效训练策略。它成功地在大幅减少训练数据需求的同时，显著缩小了语音与文本理解之间的差距，并保持了模型原有的文本能力，是迈向高效、自然语音交互的重要一步。