技术摘要：MURMUR —— 一种高效的长文本 ASR 推理系统

问题陈述

长文本自动语音识别（ASR）面临着准确率与延迟之间的根本权衡。现有方法分为两类，且各有显著局限性：

1. 基于分块的流水线（例如 WhisperX）： 这些系统通过处理固定的短窗口（例如 30 秒）来实现并行推理和低延迟。然而，它们存在上下文碎片化问题，导致在分块边界处出现说话人归属和时间戳生成的错误。这些系统依赖于脆弱的启发式算法和外部模块（如独立的 diarization 模块）来拼接片段，往往导致在时间约束词错率（tcpWER）等指标上表现下降。
2. 长上下文单次通过模型（例如 VibeVoice-ASR）： 这些模型在单次自回归过程中处理整个录音，通过维持跨分块上下文来实现卓越的准确度，并具备原生的说话人及时间戳输出。然而，它们的计算成本极高，由于二次方级注意力缩放（quadratic attention scaling）和 KV 缓存管理成本，导致推理延迟很高。此外，它们容易发生灾难性故障，例如重复循环，这会导致整个推理请求失败。

核心挑战在于：如何在保持单次通过模型的高准确率和鲁棒的说话人/时间戳对齐的同时，保留基于分块系统的低延迟和鲁棒性。

方法论

作者提出了 MURMUR，这是一个在两个粒度上运行的推理系统，旨在克服这一权衡：

1. 分块间优化：可调的分块大小

MURMUR 并非遵循固定的短窗口或一次性处理整个录音，而是将分块大小视为一个可调的超参数。

• 分析： 作者分析了分块大小与 AMI-IHM 数据集性能之间的关系。他们发现，当上下文长度超过一定程度后，准确率会进入平台期；而在噪声条件下，过长的上下文会因为累积的声学混淆而导致性能下降。
• 策略： MURMUR 采用了 300 秒 的中间分块大小。这个尺寸达到了平衡：既能匹配甚至超过单次通过模型的准确率（在各种条件下），又能实现批处理并行推理。
• 拼接： 系统使用语音活动检测（VAD）来识别语音边界，将片段合并为 300 秒的块并进行并行处理。推理完成后，它执行跨块重对齐。至关重要的一点是，它并不强制使用外部 diarization 标签，而是将模型在块内的内部说话人分配视为基准真相（ground truth），仅利用 diarization 来协调跨块边界的说话人身份。

2. 块内优化：滑动窗口 KV 缓存驱逐

为了进一步降低 300 秒分块内的延迟，MURMUR 利用自定义的 KV 缓存驱逐策略来利用注意力的稀疏性。

• 观察： 分析显示，语音 token 表现出极端的注意力稀疏性。在 VibeVoice-ASR 中，在大多数层中，不足 25% 的语音 token 占据了总注意力权重的 99%。此外，注意力模式呈现出随解码进程移动的对角线稀疏性。
• 策略： 系统实现了一种分别应用于输出 token 和语音 token 的滑动窗口驱逐策略：
  • 输出 Token： 遵循 StreamingLLM 式的方法，保留“汇聚（sink）”token 和最近的滑动窗口 token。
  • 语音 Token： 引入了“延迟与偏移（delay-and-shift）”策略。最初保留一个固定的语音 token 窗口，以允许模型关注早期的音频上下文。随着解码的进行，窗口向前移动，驱逐掉落在活跃注意力带之外的旧语音 token。
• 实现： 这需要自定义 KV 缓存管理，以处理预填充语音 token 与生成的文本 token 之间不同的驱逐逻辑。

核心贡献

1. 分块大小的系统性分析： 本文详细刻画了分块大小作为长上下文 ASR 超参数的特性，证明了中间尺寸（300s）可以优化转录准确率、说话人归属、时间对齐与延迟之间的权衡。
2. MURMUR 架构： 设计了一个结合了 VAD 引导的分块并行推理与块内 KV 缓存驱逐的推理系统。该系统能够生成带有时间戳和说话人标签的端到端转录，无需依赖外部对齐模块。
3. 利用语音 Token 的稀疏性： 识别并利用了长上下文 ASR 模型中语音 token 极端的注意力稀疏性，从而实现了一种新型驱逐策略，在保持极小准确率损失的前提下降低了推理成本。

结果

在 AMI-IHM、AMI-SDM、Tedlium3 和 Earnings21 数据集上对 VibeVoice-ASR 模型进行了评估：

• 准确率 vs. 延迟： 在 AMI-IHM 数据集上，MURMUR 匹配了单次通过模型的准确率（使用语音 token 驱逐后的 tcpWER 为 ~25.29%，基准为 25.68%），同时将延迟降低了 4.2 倍（从 370.7s 降至 88.43s）。
• 鲁棒性： 与单次通过推理不同（后者在 14 个 AMI-IHM 录音中有 2 个发生了灾难性的重复循环故障），MURMUR 将故障限制在单个分块内，确保了整个请求不会失败。
• 驱逐影响：
  • 仅使用输出 token 驱逐可实现 3.85 倍加速。
  • 仅使用语音 token 驱逐可实现 4.20 倍加速。
  • 结合两者使用时，实现了 3.79 倍加速（由于管理开销，略低于前两者）。
  • 语音 token 驱逐策略相比于无驱逐基准，其 tcpWER 的相对下降不到 1%。
• 对比： MURMUR 在 tcpWER 上显著优于像 WhisperX 这样的基于分块的基准（25.73% vs. 35.54%），同时保持了相当的延迟水平。

意义与主张

本文声称，语音识别具有一个“尖锐且定义明确的最优上下文长度”（约 300 秒），这是由声学噪声和说话人复杂度的复合效应驱动的。这与文本 LLM 不同，在文本 LLM 中，更长的上下文通常总是更有利的。

MURMUR 的意义在于证明了单次通过推理对于实现单次通过的准确率并非必要。通过确定分块大小的最佳运行点并利用语音 token 特有的注意力稀疏模式，MURMUR 实现了两全其美：既拥有长上下文模型的高保真度，又具备分块流水线的高效率。作者将这项工作定位为迈向上下文感知推理策略的一步，并指出随着端到端长上下文 ASR 模型变得更加普遍，未来的系统可以借鉴这些发现。

论文也谦虚地指出了局限性，包括目前仅适用于原生生成说话人归属转录的模型，以及评估仅限于英语。它并未声称解决了所有长文本 ASR 的挑战，而是为新兴的长上下文 ASR 模型类别提供了一种特定的、高效的推理架构。