💬 NLP

An Exploration of Mamba for Speech Self-Supervised Models

该论文探索了基于 Mamba 架构的 HuBERT 自监督语音模型，发现其在线性时间复杂度和低算力需求下，不仅优于 Transformer 模型在长上下文和流式自动语音识别中的表现，还在量化表征质量与说话人特征捕捉方面展现出显著优势。

原作者： Tzu-Quan Lin, Heng-Cheng Kuo, Tzu-Chieh Wei, Hsi-Chun Cheng, Chun Wei Chen, Hsien-Fu Hsiao, Yu Tsao, Hung-yi Lee

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Tzu-Quan Lin, Heng-Cheng Kuo, Tzu-Chieh Wei, Hsi-Chun Cheng, Chun Wei Chen, Hsien-Fu Hsiao, Yu Tsao, Hung-yi Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在探索语音识别领域的“新引擎”。为了让你轻松理解，我们可以把语音识别模型想象成一位正在学习听写和说话的“超级学生”。

以前，这位学生主要靠一种叫 Transformer 的“超级大脑”来学习。这种大脑很聪明，但有个大缺点：它记东西太费脑子了。如果让它听一段很短的对话，它还能应付；但如果让它听一整场长达一小时的演讲，它的“大脑内存”就会爆炸，直接死机（Out-of-Memory），而且处理速度会随着内容变长而急剧变慢。

这篇论文的主角是 Mamba，它被比作一种**“线性记忆大师”**。

1. 核心发现：换了一个更聪明的“大脑”

研究人员把这位“超级学生”的大脑从 Transformer 换成了 Mamba（基于 HuBERT 架构，我们叫它"Mamba-HuBERT"）。

Transformer（旧大脑）： 就像是一个死记硬背的学生。每多听一句话，他都要把之前所有的话重新在脑子里过一遍，还要和现在的这句话做对比。听的时间越长，他要做的工作量就呈平方级增长（比如时间翻倍，工作量变成四倍）。所以，听长文章时，他累得喘不过气，甚至直接晕倒。
Mamba（新大脑）： 就像一个拥有“智能摘要”能力的学生。无论听多长的内容，他都能保持线性的工作量（时间翻倍，工作量只翻倍）。他不需要把过去每一秒都重新翻出来对比，而是像流水一样，一边听一边把关键信息“压缩”进自己的状态里。

2. 三大超能力

A. 能处理“超长电影” (长上下文 ASR)

场景： 想象要听写一本 20 分钟的有声书。
旧大脑 (Transformer)： 听到第 80 秒时，内存就爆了，直接崩溃，根本听不完。
新大脑 (Mamba)： 轻松听完 20 分钟，而且因为能同时看到整篇文章的上下文，它猜错词的概率更低。就像你读文章时，如果能看到前后文，就能更准确地猜出那个生僻字是什么。
结果： Mamba 模型在听写长文档时，错误率从 13.37% 降到了 11.08%，而旧模型根本跑不起来。

B. 直播流媒体的“快手” (流式 ASR)

场景： 就像直播字幕，必须听到声音的瞬间就打出字，不能等整句话说完。
旧大脑： 为了猜对当前的字，它需要“回头看”很多信息，导致反应慢，或者为了快而牺牲准确度。
新大脑： 它天生就是为“只看过去”设计的（因果架构）。它用更少的参数（相当于更轻便的装备），在直播场景下比旧模型更准、更快。
结果： 用更少参数的 Mamba 模型，直播听写错误率更低（15.77% vs 16.66%）。

C. 更清晰的“语音指纹” (特征提取)

比喻： 语音模型不仅要听懂字，还要能分辨“谁在说话”以及“说话的情绪”。
发现： 研究人员发现，Mamba 大脑提取出的“语音指纹”（量化表示）比旧大脑更清晰。
- 它能把不同的发音（比如“啊”和“哦”）分得更开，不容易混淆。
- 它能把不同人的声音特征抓得更准。
意义： 这就像 Mamba 画出的素描，线条更清晰，更容易让下游任务（比如识别说话人是谁）一眼看穿。这对于构建未来的“语音大模型”（让 AI 直接基于语音单位说话）非常有帮助。

3. 也有小缺点：双向互动的“短板”

虽然 Mamba 在“单向听写”（只看过去）和“长文档”上表现神勇，但在双向互动（既能看过去也能看未来，像做阅读理解一样）的场景下，它目前还有点“水土不服”。

比喻： 如果让 Mamba 做那种需要“前后反复推敲”的复杂阅读理解题（双向设置），它在大规模模型上表现不如 Transformer 稳定。就像它擅长“单线程”的高速处理，但在需要“多线程”深度思考的某些任务上，还需要进一步调优。
现状： 在小规模模型上，Mamba 甚至能打败 Transformer；但在大规模模型上，它还需要更多训练技巧来克服不稳定性。

总结

这篇论文告诉我们：Mamba 是语音处理领域的一匹黑马。

如果你需要听长文章、做实时直播字幕，或者需要提取清晰的语音特征，Mamba 是比传统 Transformer 更好、更省资源的选择。
它证明了不需要像 Transformer 那样“烧钱”烧算力，也能实现强大的语音理解能力。
虽然它在某些复杂的双向任务上还需要打磨，但它为未来的语音 AI 提供了一个更高效、更轻量的新方向。

简单来说，Mamba 让语音 AI 从“笨重的大象”变成了“灵活的猎豹”，既能跑得快，又能跑得远。

这是一份关于《Mamba 在语音自监督模型中的探索》（An Exploration of Mamba for Speech Self-Supervised Models）论文的详细技术总结。

1. 研究背景与问题 (Problem)

Transformer 的局限性：尽管基于 Transformer 的自监督学习（SSL）模型（如 HuBERT）在语音领域取得了巨大成功，但其自注意力机制（Self-Attention）具有二次方计算复杂度（ $O(N^2)$ ）。随着序列长度增加，计算成本和显存需求急剧上升，导致在处理长上下文（Long-context）音频时面临高昂的部署成本和显存溢出（OOM）风险。
Mamba 的潜力与未解之谜：Mamba 作为一种基于选择性状态空间模型（Selective State Space Models, SSMs）的架构，具有线性时间复杂度（ $O(N)$ ）和高效的推理能力，在语言建模中表现优异。然而，其在语音 SSL 领域的潜力尚未被充分探索。现有研究多局限于单一下游任务，且往往表现不如 Transformer，或者为了恢复精度而牺牲了线性扩展性。
核心问题：Mamba 能否作为一种替代 Transformer 的语音基础模型？它在长上下文建模、流式语音识别（Streaming ASR）以及特征提取质量方面表现如何？

2. 方法论 (Methodology)

模型构建：
- 作者提出了 Mamba-based HuBERT，将 HuBERT 架构中的 Transformer 块替换为 Mamba 块，同时保留原有的特征提取模块（7 层 CNN 和位置编码）。
- 训练流程：遵循 HuBERT 的两阶段预训练策略。第一阶段使用 MFCC 作为目标，第二阶段使用第一阶段第六层的输出作为伪标签进行迭代训练。
- 架构变体：
  - 因果设置 (Causal)：仅使用过去信息，适用于流式任务。
  - 双向设置 (Bidirectional)：引入了 ExtBiMamba（外部双向，两个完全独立的 Mamba 分支）和 InnBiMamba（内部双向，共享投影层）来模拟双向上下文。
实验设置：
- 数据集：在 960 小时的 LibriSpeech 上进行预训练。
- 评估任务：
  1. 自动语音识别 (ASR)：包括长上下文（整文档）和流式（因果）场景。
  2. 表征分析：通过量化表征的音素纯度（Phone Purity）和典型相关分析（CCA）评估特征质量。
  3. SUPERB 基准测试：在音素识别、说话人识别、情感识别和意图分类等任务上进行探测（Probing）。
- 资源限制：为了可复现性，实验主要在单卡 NVIDIA V100 上进行，Batch Size 较小，但对比了同等设置下的 Transformer 基线。

3. 关键贡献 (Key Contributions)

系统性的探索：这是首次对 Mamba-based HuBERT 作为语音基础模型和特征提取器进行的全面研究，涵盖了预训练、微调、表征分析和下游任务。
长上下文与流式优势：证明了 Mamba 架构在处理长序列时的线性扩展优势，以及在流式 ASR 中能以更少的参数量超越 Transformer。
表征质量发现：发现 Mamba-based 模型生成的量化表征具有更高的音素纯度，且能更清晰地捕捉说话人特征，这对口语语言模型（Spoken Language Models）至关重要。
架构设计洞察：揭示了双向 Mamba 架构在不同模型规模下的表现差异（小模型 ExtBiMamba 表现好，大模型 InnBiMamba 表现好），指出了双向扩展性的挑战。

4. 主要实验结果 (Key Results)

A. 计算效率与长上下文 ASR

线性扩展：随着输入序列从 5 秒增加到 320 秒，Mamba 模型的 MACs（每秒乘加运算）和实时因子（RTF）保持几乎恒定。相比之下，Transformer 的计算量和显存需求随序列长度急剧增长，在 80 秒以上即发生显存溢出（OOM）。
长文档识别：在 TEDLIUM3 数据集上进行整文档（Document-level）微调时，Mamba-based ExtBiMamba 的词错率（WER）降至 11.08%，而同规模的 Transformer 因显存限制无法运行。这证明了 Mamba 在利用全局上下文方面的巨大优势。

B. 流式 ASR (Causal ASR)

小参数高性能：在仅使用过去信息的流式设置下，78M 参数的 Mamba-based HuBERT 达到了 15.77% 的 WER，优于 94.7M 参数的 Causal Transformer (16.66%)。这意味着 Mamba 在减少约 17% 参数的情况下实现了更高的精度。

C. 表征分析 (Representation Analysis)

音素纯度 (Phone Purity)：Mamba 模型生成的量化表征在因果设置下具有更高的峰值音素纯度，表明其对音素信息的编码更优。
说话人特征：CCA 分析显示，Mamba-based 模型在早期和中期层对说话人嵌入（Speaker Embeddings）的相似度更高，说明其能更清晰地捕捉说话人相关特征。

D. SUPERB 探测任务

因果设置：Mamba-based 模型在音素识别（PR）和整体 SUPERB 得分上普遍优于 Causal Transformer，尤其是在小模型规模下。
双向设置：
- 小模型：ExtBiMamba (23.2M) 在 PR、SID、ER 等任务上全面超越同规模 Transformer。
- 大模型：Base 规模下，ExtBiMamba 表现不如 Transformer。但消融实验发现，InnBiMamba（内部双向）在大模型规模下表现优异（PR 9.62%，SUPERB 832.31），甚至超过了 ExtBiMamba 和 Transformer。这表明双向 Mamba 的架构设计对扩展性至关重要。

5. 意义与结论 (Significance & Conclusion)

长序列建模的新范式：Mamba 为长上下文语音处理提供了一种高效、低成本的替代方案，解决了 Transformer 在长序列上的显存瓶颈。
流式应用潜力：Mamba 的因果特性使其成为低延迟流式 ASR 的理想选择，能在减少计算资源的同时保持高精度。
特征提取器价值：Mamba 生成的表征在音素和说话人特征上质量更高，特别适合作为口语语言模型（SLM）的输入单元。
未来方向：虽然双向 Mamba 在大模型规模下仍面临扩展性挑战（可能源于训练不稳定性），但通过改进架构（如 InnBiMamba）和训练策略，Mamba-based SSL 模型有望成为语音领域的重要基石。

总结：该论文有力地证明了 Mamba 架构在语音自监督学习中的巨大潜力，特别是在长上下文处理和流式识别场景下，它不仅提供了计算效率的飞跃，还在特征表示质量上展现了超越 Transformer 的竞争力。