💬 NLP

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

本文针对 2026 年共享任务，对 NAVER LABS IWSWT 2025 指令遵循流水线进行了重新实现，通过适配强制要求的 SeamlessM4T-v2-large 和 Qwen3-4B-Instruct 组件，并引入 10 万条合成训练样本，以在语音翻译和口语问答基准测试中取得强劲性能。

原作者： Anand Kamble, Aniket Tathe

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anand Kamble, Aniket Tathe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即 LLM，大语言模型），他知道如何完美地写作和回答问题。然而，这位图书管理员是“聋”的——他听不见音频文件，只能阅读文本。

另一方面，你有一个专门的音频录制器（语音编码器/Speech Encoder），它非常擅长倾听声音并将其转化为数字化的“声音地图”，但它并不知道如何说话或进行推理。

本论文的目标是为这位“聋”图书管理员和音频录制器之间建立一座翻译桥梁，使他们能够作为一个团队协同工作。这个团队旨在遵循诸如“翻译这段语音”、“总结这段音频”或“回答关于你所听到内容的问题”之类的指令。

以下是作者如何构建这个团队的，使用了简单的类比：

1. 团队成员

图书管理员 (Qwen3-4B)： 一个已经具备通过文本遵循指令能力的强大 AI。
录制器 (SeamlessM4T-v2-large)： 一个将人类语音转换为数字数据的最先进工具。
桥梁 (投影器/Projector)： 一个全新的、可训练的组件，负责将录制器的“声音地图”翻译成图书管理员能够理解的语言。

2. 三阶段训练过程

作者并没有简单地将两者粘合在一起；而是通过三个特定步骤对他们进行了训练，就像培训一名新员工一样：

阶段 1：学习倾听（投影器对齐）
- 发生了什么： 图书管理员和录制器都被冻结（锁定状态）。只有“桥梁”在接受训练。
- 类比： 想象图书管理员坐在一间隔音室里。桥梁学习如何接收来自录制器的原始声波，并将其转化为图书管理员可以阅读的书面笔记。他们使用数以千计的语音和文本示例（如演讲的转录文本）进行练习，以便桥梁学会描述声音的正确“词汇”。
阶段 2：图书管理员的文本集训营（纯文本 LoRA）
- 发生了什么： 音频被关闭了。图书管理员被给予了海量的文本数据来练习回答问题和翻译语言，但这一次，他们被允许对大脑进行微小的、高效的调整（使用一种称为 LoRA 的技术）。
- 类比： 图书管理员现在身处一个安静的图书馆，在纸上练习他们的翻译和问答技能。他们还没有在听音频；他们只是在磨练自己的逻辑和语言能力，以便为应对现实世界做好准备。作者测试了不同的“调整规模”（秩/ranks），以观察哪种方式能在不破坏记忆的情况下让图书管理员变得更聪明。
阶段 3：全员彩排（多模态融合）
- 发生了什么： 音频重新开启。现在，桥梁和图书管理员开始共同练习。
- 类比： 图书管理员和录制器终于在同一个房间里了。他们练习听一段演讲，由桥梁翻译声音，然后由图书管理员做出回应。为了确保图书管理员在学习倾听时不会忘记他们的文本技能，他们在倾听练习和纯文本练习之间交替进行。这确保了他们不会产生“混乱”（即所谓的“灾难性遗忘”问题）。

3. “伪造”练习数据

该论文的一个独特贡献是创建了 100,000 个合成示例。

类比： 由于现实世界中针对每种可能任务（如“描述说话者的语调”或“提取关键词”）的数据都非常稀缺，作者使用另一种 AI（Gemma）为 10 种不同类型的任务发明了 10,000 个虚构的练习场景。
他们创建了虚构的转录文本和虚构的音频描述，用于训练团队完成诸如以下任务：
- 关键词提取： 提取最重要的词汇。
- 声音描述： 仅通过听觉描述说话者是显得“自信”、“缓慢”还是“响亮”。
- 摘要生成： 将一段长篇演讲浓缩成一句话。

4. 结果

当他们在官方“考试”（MCIF 基准测试）上测试最终团队时：

翻译： 他们在英语到中文、德语和意大利语的翻译方面表现得非常出色。
问答： 他们在根据所听到的英文内容回答问题方面有了显著提高。
权衡（Trade-off）： 有趣的是，虽然他们在理解语音的“含义”（翻译和问答）方面做得更好，但与原始录制器相比，他们写下所听到的“精确文字”（转录）的能力略有下降。这是在教导系统理解“意义”而非仅仅是“声音”时常见的权衡。

总结

这篇论文本质上是一份关于如何构建多语言、具备音频感知能力的 AI 助手的“指南”。他们将一位“聋”的文本专家和一个“能听见但并不聪明”的录制器结合在一起，在他们之间搭建了一座定制的桥梁，通过三个细致的阶段对他们进行训练，并向他们喂养了大量的练习数据（包括真实的及 AI 生成的数据）。其结果是一个可以倾听短音频片段并像人类一样遵循复杂指令的系统。

提到的局限性：

该系统目前难以处理超过 15 秒的音频（它会耗尽“精神能量”或内存）。
对于非英语问题，他们必须使用机器翻译后的练习数据，这可能会引入一些“噪声”或错误。

技术摘要：针对 IWSLT 2026 指令遵循任务的 NAVER LABS 系统重实现

问题陈述

本文旨在解决开发统一多模态语音大语言模型（LLM）的挑战，这类模型需具备处理多样化任务（包括自动语音识别 (ASR)、多语言语音翻译 (ST) 和口语问答 (SQA)）的指令遵循能力。虽然之前的系统（如 Lee 等人，2构2025年的 NAVER LABS 提交方案）展示了极具竞争力的性能，但并未公开开源。此外，IWSLT 2026 共享任务引入了特定的约束条件，要求使用 SeamlessM4T-v2-large 作为语音编码器，并使用 Qwen3-4B-Instruct 作为 LLM 主干，这取代了 2025 年迭代版本中所使用的组件（LLaMA-3.1-8B）。本研究的目标是提供该流水线的第一个开源重实现版本，并将其适配于这些新的约束条件，同时通过合成数据生成和超参数消融实验来提升性能。

方法论

架构

该系统遵循一个三阶段训练流水线，通过一个轻量级连接器将冻结的语音编码器与经过指令微调的 LLM 相耦合：

语音编码器： 一个冻结的 SeamlessM4T-v2-large 编码器产生 1024 维的帧表示。
投影器 (Projector)： 一个可训练模块，通过平均法将帧下采样 3 倍，通过一个 4 层 Transformer 编码器进行处理，并将输出投影至 LLM 的隐藏层维度。
LLM 主干： 一个通过 LoRA（低秩自适应）进行适配的 Qwen3-4B-Instruct 模型。语音嵌入被添加在 <|speech|> 占位符处。

训练流水线

训练过程分为三个不同的阶段：

阶段 1：投影器对齐 (Projector Alignment)
- 编码器和 LLM 均处于冻结状态；仅训练投影器。
- 数据： 用于 ASR 和 ST 任务的 CoVoST 2 和 EuroParlST。
- 配置： 探索了两个变体：
  - A.1： 专注于 ASR 和 ST（英 $\rightarrow$ 德、意、中）。
  - A.2： 加入了用于 SQA 任务的 LibriSQA。
- 超参数： 4 个 epoch，恒定学习率 ( $1\times10^{-4}$ )，AdamW 优化器。
阶段 2：纯文本 LoRA 预训练 (Text-Only LoRA Pre-training)
- 投影器被冻结；LLM 通过 LoRA 进行适配，不输入音频。
- 数据： 来自 CoVoST 2/EuroParlST（60%）和 LibriSQA（40%）的机器翻译转录文本。
- 消融实验： 测试了三种 LoRA 配置（V1, V2, V3），其变量包括秩 ( $r$ $r$ )、 $\alpha$ $α$ 、学习率以及层选择（注意力层+前馈网络层 vs. 所有线性层）。
  - V1： $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF)。
  - V2： $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, 余弦衰减)。
  - V3： $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, 余弦衰减)。
阶段 3：多模态合并 (Multimodal Merging)
- 阶段 1 的投影器和选定的阶段 2 LoRA 适配器进行联合微调；编码器保持冻结。
- 数据： ASR、ST、SQA（英文及多语言）、语音转文本摘要 (NUTSHELL) 和音频章节检测 (YTSeg) 的平衡混合数据集。
- 策略： 为防止灾难性遗忘，每个语音批次后会立即紧跟一个配对的纯文本批次。
- 超参数： 在 4×H100 GPU 上进行 2 个 epoch 的训练。投影器使用恒定 $lr=1\times10^{-5}$ ；LoRA 使用余弦衰减 $lr=3\times10^{-4}$ 。

合成数据构建

为了支持阶段 3 的微调，作者使用开源权重模型 Gemma 构建了 10 万个合成指令遵循示例（每种任务 1 万个）：

文本驱动型任务 (T1–T7)： 使用 Gemma-4-31B 根据参考转录文本生成。任务包括关键词提取、命名实体识别 (NER)、大意摘要（英、德、中）、主题标记和数值问答。
音频驱动型任务 (T8–T10)： 直接使用 Gemma-4-E4B-it 从音频生成。任务涉及描述英语、德语和中文中的发音风格、语调和表达方式。

关键结果

主要评估 (MCIF 基准测试)

在 IWSLT 2026 共享任务的受限短音频轨道上进行评估：

语音翻译 (ST)： 阶段 3 模型（A.1 投影器 + V1 LoRA）在英 $\rightarrow$ 中任务中实现了 0.781 的 COMET 分数，优于基础的 SeamlessM4T-v2-large (0.638) 和阶段 1 仅含投影器的基线模型。
口语问答 (SQA)： 该模型在英文 SQA 上达到了 0.346 的 BERTScore-F1，较基础模型 (0.153) 和阶段 1 A.1 (0.186) 有显著提升。
ASR： 虽然阶段 1 A.2 显示出比基础模型退化的字错率 (WER)，但阶段 3 将性能恢复至 23.49 WER，超过了基础模型的 21.49，但在该流水线语境下仍具竞争力。

消融研究

LoRA 配置： 在阶段 2 纯文本评估中，V1 (rank 8) 取得了最佳的 SQA F1 分数 (0.652)，优于 V2 (0.650) 和 V3 (0.600)，尽管 V3 获得了更高的机器翻译 BLEU 分数。因此，最终阶段 3 的合并选择了 V1。
数据影响： 在阶段 1 中加入 SQA 数据 (A.2) 提升了英文 SQA 性能，但降低了 ASR 指标，这体现了通过最终阶段 3 联合微调所管理的权衡。

重要性与贡献

本文声称以下贡献：

开源重现： 提供了第一个针对 IWSLT 2026 约束条件（SeamlessM4T-v2-large 和 Qwen3-4B-Instruct）定制的 NAVER LABS 指令遵循流水线的开源重实现。
合成数据集： 发布了涵盖十种语音中心任务类型的 10 万个合成指令遵循示例，旨在促进进一步的微调和未来研究。
实证验证： 研究验证了当切换到新的模型主干时，三阶段方法（投影器对齐、纯文本 LoRA 预训练、多模态合并）仍然有效，并在英 $\rightarrow$ 中翻译和英文 SQA 方面取得了强劲表现。
未来用途： 作者建议发布的这些数据可作为更丰富的阶段 3 微调或利用特定任务奖励和 LLM-as-judge 标准进行未来强化学习的基础。

局限性

作者承认存在以下限制：

音频长度： 由于 GPU 显存限制，排除了长度超过 15 秒的音频，这可能会影响在长语音上的表现。
多语言 SQA： 跨语言 SQA 依赖于机器翻译的问答对，这可能会引入噪声。
评估范围： 阶段 2 的消融结果是基于纯文本子集的，不能直接与完整的 MCIF 基准测试结果进行比较。