⚡ electrical engineering

Fast-ULCNet: A fast and ultra low complexity network for single-channel speech enhancement

本文介绍了 Fast-ULCNet，这是一种优化的单通道语音增强模型，它用 FastGRNN 替代了 ULCNet 中的 GRU 层，并采用可训练互补滤波器以减轻状态漂移，在将模型规模缩减一半以上、延迟降低 34% 的同时实现了与最先进方法相当的性能。

原作者： Nicolás Arrieta Larraza, Niels de Koeijer

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicolás Arrieta Larraza, Niels de Koeijer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在非常嘈杂的房间里听朋友说话。你的大脑正在出色地过滤掉背景噪音，专注于对方的声音。这篇论文讲述的是如何让计算机做到同样的事情，但有一个特定目标：使其足够快速和轻量，能够在助听器或智能音箱等小型电池供电设备上运行，而无需依赖庞大的超级计算机。

以下是他们提出的解决方案Fast-ULCNet的故事，分解为几个简单的概念：

1. 起点："ULCNet"

研究人员从一个名为ULCNet的模型开始。可以把 ULCNet 想象成一个非常高效、紧凑的“降噪机器人”，它在其同类中原本就是最优秀的。它在清理语音方面表现良好，但研究人员希望让它变得更快、更小，以便能在更微小的芯片上运行。

2. 问题：“疲惫的工人”

为了让机器人更快，他们将其主要大脑组件之一（称为 GRU）替换为一个更新、更轻的版本，称为FastGRNN。

类比：想象一位在分拣包裹方面极其迅速的工人。如果这位工人只需分拣 10 秒钟的包裹，他表现极佳。但如果他必须连续分拣 90 秒钟，他开始变得“漂移”。他会迷失方向，内部记录变得混乱，并开始犯错。
发现：研究人员发现，虽然新的"FastGRNN"工人速度极快，但它存在状态漂移的问题。当聆听长音频片段（如长时间的对话）时，模型的内部记忆会缓慢偏离，导致音频质量随着播放时间延长而下降。

3. 修复：“互补滤波器”（Comfi-FastGRNN）

为了修复这位“疲惫的工人”，团队发明了一种新工具，称为Comfi-FastGRNN。

类比：这就像智能手机中的陀螺仪或导航罗盘。如果你绕圈行走，罗盘可能会缓慢漂移并指向错误的方向。为了解决这个问题，你使用第二个传感器（如陀螺仪）来不断检查并校正罗盘。
解决方案：他们在模型中添加了一个“可训练的互补滤波器”。这就像一个持续的监督者，检查模型的内部记忆。如果记忆在长时间对话中开始漂移或变得混乱，监督者会 gently 将其推回正轨。这使得模型无论音频时长是 10 秒还是 90 秒都能保持稳定。

4. 结果：更精简、更快的机器

通过将旧的大脑部件替换为新的"FastGRNN"，并添加"Comfi"监督者，他们创建了Fast-ULCNet。

根据他们的测试，他们实现了以下成果：

相同的质量：它清理噪音的效果与原始顶级模型（ULCNet）一样好。
一半的体积：该模型的体积（在内存和参数方面）现在不到原始模型的一半。
快得多：它平均处理音频的速度提高了34%。
稳定：与未校正的版本不同，它不会在长时间对话中变得“疲惫”或犯错。

总结

这篇论文本质上是将一个高性能的降噪算法，通过使用一种新型“脑细胞”使其更轻量、更快，然后添加一个智能的“安全网”，以确保它在长时间任务中不会失去焦点。其结果是一个工具，完美适用于那些需要即时、可靠工作的小型资源受限设备。

以下是论文《FAST-ULCNET：一种用于单通道语音增强的快速超低复杂度网络》的详细技术总结。

1. 问题陈述

单通道语音增强对于语音识别和助听系统至关重要，特别是在部署于资源受限的嵌入式设备时。这些环境要求：

低延迟：具备实时处理能力。
低复杂度：最小的内存占用和计算成本。

虽然深度学习模型（如最先进的ULLCNet）相比传统信号处理提供了更优越的音频质量，但它们往往难以满足严格的延迟和内存约束。此外，现有的轻量级循环神经网络（RNN）架构（如FastGRNN）被观察到在推理过程中，由于内部状态漂移，会在长音频序列上出现性能下降，而这一现象在 prior 文献中尚未得到充分解决。

2. 方法论

作者提出了Fast-ULCNet，这是对 ULCNet 架构的改进，旨在降低计算开销的同时保持性能。该方法包含三个核心组件：

A. 架构替换（GRU $\to$ FastGRNN）

原始 ULCNet 在其循环层中使用门控循环单元（GRU）。Fast-ULCNet 将其替换为FastGRNN层。

FastGRNN：一种轻量级 RNN 设计，使用加权残差连接，并复用权重矩阵以同时更新隐藏状态和门控。与标准 RNN 相比，其在保持高精度的同时将参数量减少了 2–4 倍。
集成：FastGRNN 层被集成到 ULCNet 流程中，该流程包括幂律压缩、通道级特征重定向、深度可分离卷积以及用于相位精修的复数比率掩膜（CRM）。

B. 解决状态漂移：Comfi-FastGRNN

作者发现了一个关键缺陷：虽然 FastGRNN 在训练期间是稳定的，但其内部状态在长推理会话（例如 >60 秒）中会发生漂移，导致性能衰减。

原因：状态更新方程缺乏收缩保证，导致隐藏状态幅度随时间累积。
解决方案：作者引入了Comfi-FastGRNN（互补滤波器 FastGRNN）。通过在 FastGRNN 状态更新方程中添加一个可训练的互补滤波器来扩展该方程。
- 它包含两个可训练的标量参数（ $\gamma$ 和 $\lambda$ ）。
- $\lambda$ 作为调制因子以补偿漂移。
- $\gamma$ 控制原始隐藏状态与漂移校正项之间的平衡。
- 该机制在不显著增加复杂度的情况下，稳定了长序列上的平均 RNN 状态。

C. 模型架构

网络遵循两阶段设计：

幅度估计：输入特征经过幂律压缩和重定向。一系列深度可分离卷积和双向 FastGRNN（或 Comfi-FastGRNN）层沿频率和子带时间轴处理数据。全连接堆栈预测实值幅度掩膜。
相位精修：CNN 利用估计的幅度掩膜和噪声相位来精修相位，通过复数比率掩膜（CRM）输出复数掩膜，以重建增强后的语谱图。

3. 主要贡献

Fast-ULCNet：首次将 FastGRNN 层应用于单通道语音增强，成功将 ULCNet 架构适配为超低复杂度模型。
状态漂移的经验发现：该论文提供了经验证据，表明 FastGRNN 性能会因内部状态漂移而在长音频序列上衰减，这是此前在语音增强背景下未报道的局限性。
Comfi-FastGRNN：提出了一种新颖的可训练互补滤波器，以减轻 RNN 状态漂移。这是首个专门设计用于处理长序列推理中 RNN 状态累积的此类滤波器的实现。
开源：作者发布了代码和在线演示，促进了可复现性和进一步研究。

4. 实验结果

实验使用了Interspeech 2020 深度噪声抑制（DNS）挑战数据集。

客观性能（质量）

短序列（10 秒）：Fast-ULCNet（标准版和 Comfi 版）在 DNSMOS（OVRLMOS、SIGMOS、BAKMOS）、PESQ 和 SI-SDR 等指标上取得了与原始 ULCNet相当的性能。
长序列（90 秒）：
- 标准Fast-ULCNet显示出显著的性能下降（例如，OVRLMOS 从 3.09 降至 2.93；SI-SDR 从 16.89 降至 13.58）。
- 带有Comfi-FastGRNN 的 Fast-ULCNet成功缓解了这种漂移，将性能恢复至与原始 ULCNet 相匹配的水平（OVRLMOS：3.10；SI-SDR：16.48）。

计算效率

模型在嵌入式平台（Raspberry Pi 3 B+ 和 Arm Cortex-A53）上进行了测试：

参数量：减少了**>50%**（从 0.685M 降至 0.338M）。
MACs（乘加运算）：减少了约 18%（从 2.057M 降至 1.691M）。
延迟（RTF）：处理时间平均实现了34% 的降低。
- Raspberry Pi 3 B+：RTF 从 0.976 提升至 0.657。
- Arm Cortex-A53：RTF 从 0.927 提升至 0.604。

5. 意义

这项工作弥合了高性能深度学习语音增强与嵌入式硬件严格约束之间的差距。通过证明FastGRNN在管理状态漂移的情况下可以有效地用于语音增强，该论文为在低功耗设备上部署高质量、实时的语音处理提供了一条可行路径。引入Comfi-FastGRNN机制提供了一种可推广的解决方案，用于稳定轻量级 RNN 在长持续时间推理任务中的表现，其适用范围超越了单纯的语音增强。