Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

本文提出了 Uni-ASR，一种基于大语言模型的统一自动语音识别框架，通过联合训练范式实现非流式与流式模式的无缝切换，并借助上下文感知训练和协同设计的 fallback 解码策略，在无需增加延迟的前提下显著提升了流式识别的准确性。

要点

这篇论文介绍了一个名为 Uni-ASR 的新系统，它的核心目标是解决一个语音识别领域的“两难”问题：如何既让机器听得准（非流式），又让机器反应快（流式）？

为了让你更容易理解，我们可以把语音识别想象成**“听写员”**的工作。

1. 以前的困境：慢工出细活 vs. 快刀斩乱麻

在 Uni-ASR 出现之前，市面上的听写员主要有两种流派：

• 流派 A（非流式/精听派）：
  • 工作方式： 等对方把一整段话（比如一个故事）全部说完，录音结束后，他再从头到尾仔细听一遍，结合上下文，把每个字都写对。
  • 优点： 准确率极高，因为能听到结尾，知道前面说错了可以回头改。
  • 缺点： 太慢了！ 就像你等朋友说完整个故事才开始记笔记，根本没法做实时字幕。
• 流派 B（流式/速记派）：
  • 工作方式： 对方说一个字，他就记一个字。为了快，他必须“边听边写”。
  • 优点： 反应极快，适合直播字幕。
  • 缺点： 容易出错。因为不知道后面要说什么，经常“断章取义”。比如对方说“我想吃苹果...（停顿）...派”，速记员可能听到“苹果”就赶紧写“苹果”，结果后面是“派”，他就得回头改，或者干脆写错。

以前的解决方案很笨：
要么给“精听派”强行加个“边听边写”的补丁（但这就像让一个习惯慢工出细活的人突然去跑马拉松，效率低且容易乱）；要么专门训练一个“速记员”（但这需要重新造轮子，而且往往不如精听派聪明）。

2. Uni-ASR 的妙招：一个“全能听写员”

Uni-ASR 提出了一种**“统一架构”。想象一下，他们训练了一个超级听写员（基于大语言模型 LLM），这个听写员拥有“双重人格”，而且可以在两种模式间无缝切换**，不需要换人，也不需要重新培训。

核心创新点（用比喻解释）：

创新一：联合训练（Joint Training）—— “一鱼两吃”的练习法

• 传统做法： 精听员和速记员是分开训练的，互不干扰。
• Uni-ASR 做法： 让同一个听写员在训练时，一半时间练“听完再写”（非流式），另一半时间练“边听边写”（流式）。
• 效果： 这个听写员既保留了精听的高智商，又练就了速记的快手。无论用户是想要“等结果”还是“要实时”，他都能完美胜任。

创新二：上下文感知训练（Context-aware Training）—— “故意留白”的预演

• 问题： 在“边听边写”时，最大的问题是**“边界效应”**。比如一段话切分成小块，听写员在切分点（Chunk boundary）容易因为信息不全而猜错。
• Uni-ASR 的绝招： 在训练“速记模式”时，他们故意**“捣乱”**。
  • 他们把每一小段话的最后一个字故意遮住（变成空白），强迫听写员不能只靠这一小段猜，而必须回头看上一段话的结尾，或者等下一段话来了再修正。
  • 这就好比老师教学生做速记时，故意把题目遮住最后一行，逼学生学会“根据上下文猜谜”和“随时准备修正”。
• 效果： 这种训练让听写员在真正工作时，遇到不确定的地方，能自动触发“回头检查”的机制，大大减少了错误，而且不需要额外的等待时间。

创新三：最新令牌回退策略（Latest-Token Fallback）—— “后悔药”机制

• 工作方式： 当听写员写下一个字，发现下一段话来了，如果新信息证明刚才写的字可能不对，他立刻把刚才那个字“擦掉”（回退），重新结合新信息写。
• 比喻： 就像你在发微信，刚打完“苹果”，发现对方其实是想说“苹果派”，你立刻把“果”字删了，补上“派”。Uni-ASR 把这个“删改”过程做得极快，用户几乎感觉不到延迟。

3. 实验结果：既快又准

论文通过大量测试证明：

• 在“精听模式”下： Uni-ASR 的准确率和其他最顶尖的系统一样好（甚至更好）。
• 在“速记模式”下： 它比那些专门设计的速记系统更聪明，错误率更低。
• 最重要的是： 它不需要为了追求速度而牺牲太多准确度，也不需要为了追求准确度而牺牲速度。它在一个模型里搞定了所有事。

总结

Uni-ASR 就像是一个“全能型听写员”：
他平时是个慢条斯理的学者，能写出最完美的文章；一旦你需要他做现场直播，他瞬间就能切换成反应敏捷的速记员，而且因为受过特殊的“故意留白”训练，他即使在高速运转中，也能通过“回头检查”来保证极高的准确率。

这项技术让未来的语音助手、实时字幕、会议记录系统，既能秒级响应，又能一字不差，真正实现了“鱼和熊掌兼得”。

技术摘要

Uni-ASR 技术总结报告

1. 研究背景与问题 (Problem)

近年来，自动语音识别（ASR）系统通过与大语言模型（LLM）的深度集成，在识别准确率、语义消歧和转录流畅度方面取得了显著突破。然而，将此类基于 LLM 的高性能 ASR 系统部署到低延迟的流式（Streaming）场景（如实时字幕）中仍面临巨大挑战。现有的解决方案主要分为两类，但均存在局限性：

1. 非流式模型的流式推理适配：通过 Hold-n、Wait-k 等策略对非流式模型进行增量推理。
   • 缺陷：存在训练与推理的不匹配（Training-Inference Mismatch），导致解码过程重复初始化带来计算冗余，且假设选择过程引发不可预测的延迟尖峰。
2. 原生流式 ASR 模型：构建专门支持流式处理的模型（如 Transducer-Llama, MoCha-ASR 等）。
   • 缺陷：部分方法仅将 LLM 作为辅助组件，缺乏深度的模态融合；部分方法仅在小模型上验证，难以扩展到 LLM；部分方法（如 MoCha-ASR）引入了复杂的推理流水线，增加了系统复杂度。

核心痛点：缺乏一个能够在单一架构下同时原生支持非流式（高准确率）和流式（低延迟）推理的统一框架，且能解决流式场景下的上下文依赖建模与训练推理不一致问题。

2. 方法论 (Methodology)

Uni-ASR 提出了一种基于 LLM 的统一框架，通过联合训练范式（Joint Training Paradigm）和专用解码策略，在单一架构中无缝融合非流式与流式能力。

2.1 模型架构

Uni-ASR 遵循主流 LLM 基 ASR 架构，包含三个核心组件（如图 1 所示）：

• 音频编码器 (Audio Encoder)：采用 Conformer 架构提取高层语音表征。
• 音频适配器 (Audio Adapter)：包含两层线性层和 ReLU 激活，将语音表征投影到与 LLM 兼容的嵌入空间。
• 解码器 (Decoder)：基于预训练的 Qwen3-1.7B 语言模型，根据语音表征和用户文本提示自回归生成转录文本。

2.2 联合训练范式 (Joint Training Paradigm)

Uni-ASR 在一个端到端架构中统一了三种训练模式，无需修改架构即可切换：

1. 非流式范式 (Non-streaming, NS)：
   • 输入：完整语音表征 + <sos> + 真实文本。
   • 目标：移位后的真实文本 + <eos>。
   • 特点：最大化全上下文准确率。
2. 标准流式范式 (Standard Streaming, SS)：
   • 利用外部强制对齐工具将语音切分为固定块（Chunk），文本按 N:M 比例与语音交错。
   • 将流式过程建模为多轮对话，利用 KV Cache 的增量累积和复用，保持上下文连续性并消除冗余计算。
3. 上下文感知流式范式 (Context-aware Streaming, CS)：
   • 核心创新：针对流式边界模糊和上下文缺失问题，引入“最新 Token 回退”策略的模拟训练。
   • 训练技巧：
     • 输入序列：将每个语音块对应的最后一个文本 Token 替换为 <pad>。
     • 目标序列：移除每个文本块末尾的 <eos>。
   • 目的：强制模型学习跨块的上下文依赖，使其在推理时能够识别并补充缺失的 Token，从而解决训练与推理的不一致问题。

2.3 最新 Token 回退解码策略 (Latest-Token Fallback Decoding)

• 机制：在流式推理中，当接收到新的语音块时，LLM 丢弃上一轮解码的 KV Cache，将输出序列的最后一个文本 Token 替换为 <pad>，然后结合当前语音表征重新进行预填充（Prefill）和解码。
• 优势：利用上下文感知重解码机制修正边界错误，同时严格控制在当前推理窗口内，引入的额外计算开销极小，不增加显著延迟。

2.4 训练流程

采用五阶段监督微调（SFT）：

• 前四阶段专注于非流式微调，逐步解冻和微调编码器、适配器和 LLM。
• 第五阶段为联合微调，以 1:1:1 的比例混合采样非流式、标准流式和上下文感知流式数据，确保模型同时具备两种模式的能力。

3. 关键贡献 (Key Contributions)

1. 统一架构设计：提出了 Uni-ASR，首个在单一 LLM 架构中同时原生支持非流式和流式推理的框架，消除了维护多套模型的成本。
2. 上下文感知训练范式：设计了 CS 训练策略，通过人为制造“缺失 Token"的训练场景，使模型学会在流式推理中进行上下文感知的重解码，显著提升了流式准确率。
3. 低延迟回退解码策略：提出 Latest-Token Fallback 策略，在不引入额外延迟的前提下，有效解决了流式边界模糊和跨块依赖建模问题。
4. 训练 - 推理一致性：通过联合训练和专用解码策略，确保了训练动态与推理行为的高度一致，解决了传统流式方法中常见的效率与精度权衡难题。

4. 实验结果 (Results)

在 AISHELL、LibriSpeech、FLEURS 和 WeNetSpeech 等多个公开基准测试中进行了评估：

• 非流式性能：Uni-ASR 在非流式模式下达到了与 SOTA 系统（如 Qwen3-ASR, FireRedASR）竞争的准确率（例如在 AISHELL-1 上 CER 为 1.44%，LibriSpeech test-clean 上 WER 为 1.93%）。
• 流式性能：
  • 在 1000ms 块长下，Uni-ASR 的流式表现优于 Speech ReaLLM、SpeechLLM-XL 和 MoCha-ASR 等原生流式框架。
  • 相比 Qwen3-ASR-1.7B（依赖迭代非流式解码，计算开销大），Uni-ASR 在保持低延迟的同时实现了更优的流式准确率。
• 消融实验：
  • 块长影响：随着块长从 1000ms 减少到 320ms，流式性能自然下降，但 Uni-ASR 的下降幅度可控。
  • 解码策略：引入“最新 Token 回退”策略（†）后，在 320ms 短块长下，平均 WER 相对标准贪婪解码降低了 19.88%，证明了该策略在低延迟场景下的巨大提升潜力。

5. 意义与价值 (Significance)

• 部署效率：为实时语音应用提供了一种资源高效、部署简单的解决方案，无需为流式和非流式场景分别训练和部署模型。
• 性能突破：打破了流式识别中“低延迟”与“高准确率”难以兼得的僵局，特别是在短块长（低延迟）场景下，通过上下文感知训练显著提升了鲁棒性。
• 方法论推广：提出的联合训练范式和上下文感知策略为未来 LLM 驱动的流式多模态系统提供了重要的设计参考，推动了 ASR 技术向统一化、智能化方向发展。

总结：Uni-ASR 通过创新的联合训练架构和解码策略，成功实现了 LLM 基 ASR 系统在非流式和流式场景下的统一，既保留了 LLM 的高精度语义理解能力，又满足了实时交互的低延迟需求，是迈向通用语音识别系统的重要一步。