技术摘要：Qwen3-ASR 技术报告

问题陈述

自动语音识别（ASR）领域已从传统的端到端范式（如 Transducer、AED）转向大语言音频模型（LALM）方法。虽然 LALM 在长文本转录、噪声鲁棒性和世界知识集成方面提供了卓越的能力，但现有解决方案在实际部署中仍面临诸多局限性：

1. 基准测试饱和： 尽管在复杂、真实的场景（如方言、老年人语音、歌唱）中存在显著的质量差距，但开源 ASR 模型在标准公开基准测试上的表现往往差异微小。
2. 工具链碎片化： 时间戳（强制对齐）通常是使用独立工具（如 CTC、CIF、MFA）进行的后处理步骤，这些工具缺乏多语言统一性和时间粒度的灵活性。
3. 效率与准确率的权衡： 需要能够在低延迟（适用于端侧或高并发工业应用）与高准确率之间取得平衡的模型。
4. 特定场景： 通用 ASR 系统在处理歌唱语音、带有背景音乐的歌曲以及多样化方言时的鲁棒识别仍具有挑战性。

方法论

1. 模型架构

Qwen3-ASR 系列基于 Qwen3-Omni 基础模型构建，利用了其强大的音频理解能力。该架构由以下部分组成：

• AuT 编码器： 一个基于注意力编码器-解码器（AED）的预训练编码器。它将 Fbank 特征（100Hz）下采样 8 倍以生成 12.5Hz 的 token。它利用动态闪速注意力窗口（1s–8s）来支持流式和离线推理。
• 投影器与 LLM： 投影器将编码器输出映射到 LLM 空间。
  • Qwen3-ASR-1.7B： 基于 Qwen3-1.7B 构建，配备 300M 参数的 AuT 编码器（隐藏层大小 1024）。
  • Qwen3-ASR-0.6B： 基于 Qwen3-0.6B 构建，配备 180M 参数的 AuT 编码器（隐藏层大小 896），针对效率进行了优化。
• Qwen3-ForcedAligner-0.6B： 一种新型非自回归（NAR）模型，将强制对齐重新定义为槽位填充任务。它使用预训练的 AuT 编码器和 Qwen3-0.6B LLM 来预测插入到转录文本中的特殊 [time] token 的离散时间戳索引。

2. 训练策略

训练流程包含四个不同的阶段：

1. AuT 预训练： 在约 4000 万小时的伪标签 ASR 数据（主要是中文和英文）上进行训练，以建立通用的音频表示。
2. Omni 预训练： 利用在 3 万亿 token 的多模态（音频、视觉、文本）数据上训练的 Qwen3-Omni 基础模型。
3. ASR 有监督微调（SFT）：
   • 使用较小的、不相交的多语言数据集。
   • 结合非语音数据、流式增强数据和上下文偏置。
   • 指令缓解： 模型被训练为仅执行 ASR 任务，忽略提示词中的自然语言指令，以防止指令注入失败。
   • 输出格式： 生成指示语言和文本的结构化输出（例如 language English<asr_text>...）或在未检测到语音时输出 None。
4. ASR 强化学习（RL）： 在约 5 万条语料（包括噪声、多语言和功能性数据）上采用组序列策略优化（GSPO），以增强噪声鲁棒性和转录稳定性。

3. 强制对齐训练

• 伪标签： 使用 Montreal Forced Aligner (MFA) 的输出作为伪标签，随后由模型进行蒸馏和平滑，以减少系统性偏移。
• 因果训练： 与标准的下一 token 预测不同，该模型使用不带序列偏移的因果训练，以显式识别并填充时间戳槽位。
• 动态槽位插入： 在训练期间随机插入起始/结束时间戳槽位，以提高泛化能力。

核心贡献

1. 全能型 SOTA ASR：

   • 支持 52 种语言和方言（30 种语言 + 22 种中文方言）。
   • 在开源模型中达到 SOTA 性能，并能与顶尖的商业 API（如 GPT-4o, Gemini-2.5-Pro, Doubao-ASR）相媲美。
   • 在复杂场景（歌唱语音、带背景音乐的歌曲、老年人/儿童语音以及极端噪声）中展现出极强的鲁棒性。

2. 新型非自回归强制对齐：

   • 引入了 Qwen3-ForcedAligner-0.6B，这是首个基于 LLM 的多语言强制对齐器。
   • 支持跨 11 种语言 的灵活粒度（单词、句子、段落）。
   • 以非自回归方式运行，同时预测所有时间戳，显著提高了推理速度。

3. 效率与可扩展性：

   • Qwen3-ASR-0.6B 的平均首字时间（TTFT）低至 92ms，在 128 并发下的吞吐量为 每秒 2,000 秒音频。
   • 支持统一的离线和流式推理，最大单次推理时长为 1,200 秒（20 分钟）。

4. 开源生态系统：

   • 根据 Apache 2.0 许可证 发布了三个模型的权重。
   • 提供了一个全面的推理和微调框架，支持多粒度对齐、流式处理和多语言处理。

实验结果

ASR 性能

• 公开基准测试： 在英文和中文基准测试（LibriSpeech, WenestSpeech, Fleurs 等）上，Qwen3-ASR-1.7B 持续优于开源基准模型（Whisper-large-v3, FunASR），并与商业 API 保持竞争力。
• 内部鲁棒性测试： 在涉及 16 种英文口音、22 种中文方言以及困难条件（老年人语音、绕口令、极端噪声）的压力测试中，Qwen3-ASR-1.7B 在所有子集上均实现了最低的词错误率（WER），超越了商业 API。
• 多语言与 LID： 模型在语言识别（LID）方面表现出高准确率（例如 1.7B 在 Fleurs 上为 98.7%），并在 30 种语言中保持强劲性能。
• 歌唱语音： Qwen3-ASR-1.7B 在纯歌唱基准测试（M4Singer, MIR-1k-vocal）上取得了最佳结果，并且在其他模型经常失败的长篇带背景音乐歌曲转录任务中，显著优于基准模型。

强制对齐性能

• 准确率： 与现有方法（Monotonic-Aligner, NFA, WhisperX）相比，Qwen3-ForcedAligner-0.6B 在人工标注数据集上降低了 67%–77% 的累积平均偏移（AAS）。
• 鲁棒性： 不同于在长文本中性能下降的基准模型，该模型即使在 300 秒的拼接片段和跨语言场景下也能保持较低的 AAS。
• 效率： 实现了接近 0.001 的实时因子（RTF），每秒可处理 1,000 秒音频。

重要性与主张

论文声称 Qwen3-ASR 系列代表了使高性能、多语言且鲁棒的语音识别技术面向社区开放的重要一步。通过利用 LALM 范式，这些模型解决了传统 ASR 难以应对的挑战，如长文本转录、方言变化和歌唱语音识别。

Qwen3-ForcedAligner-0.6B 的引入被强调为一个关键的功能组件，它通过提供一个统一、多语言且高效的时间戳解决方案，填补了语音技术栈中的空白，在准确性和通用性方面均优于专门的工具。作者强调，通过开源协议发布这些模型并附带可复现的框架，旨在加速自动语音识别和音频理解领域的研究与开发。