技术摘要：SpeechMapper

问题陈述

目前将语音基础模型（SFM）与大语言模型（LLM）集成的方案面临着显著的计算与泛化挑战。最先进的方法通常涉及对 SFM 编码器和 LLM 进行大规模语音指令微调（IT）。这种策略计算强度极高，需要高端 GPU 和海量数据集，并且容易对特定任务或提示词产生过拟过拟合，从而降低了模型对未知场景的泛化能力。其他方法（如 ASR 级联 LLM）会丢失宝贵的声学线索并引入延迟，而将语音映射到离散标记（tokens）的方法则面临量化敏感度和速度问题。因此，需要一种资源高效的方法来连接 SFM 和 LLM，既能保留声学信息，又能最小化过拟合，并在无需进行全规模联合训练的情况下实现有效扩展。

方法论

作者提出了 SpeechMapper，这是一种成本高效的两阶段训练方法，旨在将语音嵌入直接映射到目标 LLM 的嵌入空间中。该方法将学习“语音到文本”映射的繁重任务与 LLM 的前向计算解耦。

架构

SpeechMapper 投影器位于冻结的 SFM（具体为 seamless-m4t-v2-large）与冻结合 LLM（如 Llama-3.1-8B-Instruct 或 EuroLLM-9B-Instruct）之间。

• 输入： 语音由冻结的 SFM 进行编码。
• 处理： 投影器由两个连续的模块组成。每个模块包含一个卷积层（卷积核大小为 6，步长为 2）用于压缩序列，随后是六个 Transformer 注意力层和一个前馈层。
• 输出： 该架构逐步压缩长语音序列，并将其映射到更高维度的 LLM 嵌入空间（4096 维）。

训练流程

训练分为两个截然不同的阶段：

第一阶段：预训练（任务无关）

• 目标： 仅使用自动语音识别（ASR）数据（LibriSpeech）学习将 SFM 嵌入映射到 LLM 文本嵌入。
• 机制： LLM 的前向传播被冻结且不执行。相反，模型最小化投影器输出与预计算的对应转录文本 LLM 嵌入之间的均方误差（MSE）。
• 处理长度不匹配： 由于语音序列比文本长，目标文本嵌入会使用特殊的填充标记（pad token）进行填充，以匹配投影器的输出长度。
• 损失函数： 损失函数是单词及第一个填充标记的 MSE（$MSE_{word}$）与剩余填充标记（$MSE_{pad}$）的加权组合，外加一个余弦嵌入损失以强调关键维度。这迫使模型将语义信息转移到序列的起始部分。
• 硬件： 由于不需要 LLM 推理，此阶段可以在价格合理的硬件（如 V100 GPU）上运行。

第二阶段：快速适配（指令微调）

• 目标： 为特定任务（语音翻译、口语问答）优化预训练的投影器，或保持其零样本能力。
• 机制： 将预训练的投影器连接到完整的、冻结的 LLM 上。系统经历一个简短的指令微调（IT）阶段（1,000 步），使用单块 A100 GPU。
• 损失函数： 结合了交叉熵（CE）损失（标准 LLM 生成损失）和第一阶段定义的 MSE 损失。
  • $L_{stage2} = (1 - \sigma)L_{CE} + \sigma L_{MSE}$
• 适配策略：
  • 任务特定型： $\sigma = 0$（仅使用标准 CE）。
  • 任务无关型（零样本）： $\sigma > 0.8$（高权重 MSE）。这防止了投影器对特定提示词或任务产生过拟合，使其能够在无需进一步训练的情况下泛化到未见的任务。

核心贡献

1. 解耦训练： SpeechMapper 将语音到文本映射的学习与 LLM 的前向计算分离，使得昂贵的预训练阶段可以在更便宜的硬件上运行，并能独立于 LLM 的规模进行扩展。
2. 缓解过拟合： 通过在简短的适配阶段使用高权重的 MSE 项，模型避免了联合训练语音 LLM 中常见的提示词和任务过拟合问题，从而实现了更鲁棒的零样本泛化。
3. 高效性： 该方法仅通过 1,000 步适配（在 A100 上约 1.5 小时）和显著少于最先进基准模型的数据，即可达到极具竞争力的性能。
4. 多功能性： 单个预训练模块即可作为既有零样本语音 LLM 又有任务专用模型的基石，展示了在语音翻译（ST）和口语问答（SQA）方面的灵活性。

实验结果

作者在语音翻译（EuroParlST, CoVoST2）和口语问答（SpokenSQUAD, LibriSQA）上对 SpeechMapper 进行了评估，并将其与在 IWSLT 2025 竞赛中表现强劲的基准模型 BEST-IWSLT25-IF（基于 2,000 小时数据训练）进行了对比。

• 语音翻译 (ST)：

  • 零样本： 仅靠第一阶段预训练的模型就取得了强劲的表现。第二阶段零样本模型（ASR CE+MSE）在多个语言对（如 en-fr, en-de）上优于 Seamless ST 基准，尽管从未在 ST 数据上进行过训练。
  • 领域内： 经过极少量的任务特定适配，SpeechMapper 缩小了与 BEST-IWSLT25-IF 的差距，取得了与之相当的 COMET 分数，且消耗资源更少。
  • 语言遵循度： 与仅使用 CE 的目标相比，CE+MSE 目标显著提高了目标语言的遵循度，减少了零样本设置下非预期的英语输出。

• 口语问答 (SQA)：

  • 零样本： 最优的零样本 SpeechMapper（以 EuroLLM 为骨干）的表现足以媲美专家级模型 BEST-IWSLT25-IF，甚至在 LibriSQA Part II 上超越了后者。
  • 领域内： 经过 1,000 步的任务特定 IT，SpeechMapper 在所有测试集上都超越了专家级基准模型，并达到了与流水线系统（ASR + LLM）相当的水平。

• 资源效率： SpeechMapper 使用仅 960 小时的 LibriSpeech 进行预训练，以及极小部分的任务数据进行适配便取得了这些结果，相比之下，基准模型需要 2,000+ 小时的数据和多 GPU 训练。

意义与主张

论文声称 SpeechMapper 为将语音能力集成到 LLM 中提供了一条实用且可扩展的路径。通过规避联合训练的计算瓶颈和标准指令微调的过拟合风险，它能够以极低的数据和计算需求，构建出鲁棒且具有泛化能力的语音 LLM。作者将其定位为一种成本效益极高的解决方案，可以媲美那些依赖大量资源和专业化训练的模型，使得先进的语音-LLM 集成在无需大规模指令微调数据集或高端 GPU 集群的情况下变得触手可及。