SUBARU: A Practical Approach to Power Saving in Hearables Using SUB-Nyquist Audio Resolution Upsampling

本文提出了名为 SUBARU 的框架，通过在助听设备中联合采用亚奈奎斯特采样率和低比特分辨率模数转换，并结合宽带重建方法，在显著降低功耗的同时实现了嘈杂环境下的高效多模态语音增强。

要点

这篇论文介绍了一种名为 SUBARU 的新技术，旨在解决智能耳机（Hearables，如 AirPods 等）在嘈杂环境中“省电”与“听清”之间的矛盾。

为了让你更容易理解，我们可以把整个过程想象成**“在嘈杂的菜市场里，用低分辨率的草图还原高清名画”**的故事。

1. 核心问题：耳机的“两难困境”

现在的智能耳机通常有两个麦克风：

• 空气麦克风 (ACM)：像普通耳朵一样听声音，但容易把周围的噪音（如车流、人声）也录进去。
• 骨传导麦克风 (BCM)：贴在耳骨上，主要听你说话时的骨骼震动，噪音少，但声音听起来闷闷的，像在水下说话。

目前的痛点：
为了在嘈杂环境中听清，耳机需要把这两个麦克风的声音都高质量地传回手机处理。但这就像让耳机一直开着“高清直播”，非常耗电，导致耳机电池很快就没电了。

2. SUBARU 的创意方案：先“草图”，后“精修”

SUBARU 提出了一种**“分步走”**的策略，把任务拆分成耳机和手机两部分：

第一步：耳机端（画草图）—— 极度省电

• 传统做法：耳机把声音像拍 4K 电影一样，用很高的采样率和精度记录下来，然后传给手机。这很费电。
• SUBARU 做法：耳机故意把声音“降级”。它只记录声音的骨架（低频部分）和大概轮廓（低采样率、低精度）。
  • 比喻：就像画家在草稿纸上用几笔简单的线条勾勒出人物的轮廓，而不是直接画满细节。
  • 效果：因为数据量变得非常小，耳机的耗电量降低了 3.31 倍！这意味着你的耳机电池能多撑很久。

第二步：手机端（精修画）—— 智能还原

• 传输：耳机把这个“简陋的草图”通过蓝牙传给手机。
• 处理：手机（比如你的 iPhone 或安卓机）拥有强大的算力和大电池。它接收到草图后，利用 SUBARU 这个**“超级 AI 修复师”**，结合骨传导麦克风提供的“纯净骨架”，把草图瞬间还原成高清、无噪音的“名画”。
  • 比喻：手机里的 AI 就像一位经验丰富的老画家，它看着草稿，能脑补出缺失的高音细节（比如清脆的鸟叫声），并擦除背景里的杂音，最终呈现出一幅完美的画作。

3. 为什么 SUBARU 这么厉害？（四大法宝）

为了让这个“草图变名画”的过程既快又好，SUBARU 用了四个巧妙的技巧：

1. 分工明确（拆分架构）：

   • 耳机只负责“偷懒”（只录草图），手机负责“出力”（负责精修）。这样耳机就能轻装上阵，省电省力。

2. 取长补短（混合架构）：

   • 以前的 AI 要么擅长处理整体结构（像 U-Net），要么擅长处理细节质感（像 GAN）。SUBARU 把两者结合了，既保留了结构的稳定性，又拥有了生成细腻声音的能力，而且模型很小，手机跑起来不卡顿。

3. 多尺度学习（多视角观察）：

   • 它不像以前那样只盯着一个角度看问题。它同时从“宏观”（整体波形）和“微观”（频谱细节）两个角度去修复声音，确保还原出来的声音既自然又清晰。

4. 相位修复（给声音“对位”）：

   • 声音不仅有音量，还有“相位”（就像乐队的节奏同步）。在嘈杂环境下，节奏容易乱。SUBARU 特别擅长把乱掉的节奏重新对齐，让声音听起来不模糊、不刺耳。

4. 实际效果：快、省、清

• 省电：耳机端的功耗降低了 3.31 倍。想象一下，以前耳机只能用 4 小时，现在能用 13 小时以上。
• 速度快：在手机端处理声音只需要 1.74 毫秒（在电脑上）或 71 毫秒（在手机上）。这比人说话的速度快得多，完全支持实时通话，没有延迟感。
• 听感好：在嘈杂的公交车、教室或车里，它能有效去除背景噪音，还原出清晰的人声，甚至能处理音乐。

总结

SUBARU 就像是一个聪明的“外包团队”：
它让耳机只干最省力的活（录个大概），把最费脑子的活（去噪、高清还原）交给手机去干。

通过这种“低分辨率采集 + 手机端智能超分”的策略，它成功打破了“想要听清就得耗电”的魔咒，让未来的智能耳机既能全天候续航，又能让你在任何嘈杂环境下都能清晰通话。

技术摘要

这是一份关于论文《SUBARU: A Practical Approach to Power Saving in Hearables Using Sub-Nyquist Audio Resolution Upsampling》（SUBARU：一种利用亚奈奎斯特音频分辨率上采样实现听戴设备节能的实用方法）的详细技术总结。

1. 研究背景与问题 (Problem)

听戴设备（Hearables）的能源与性能瓶颈：

• 现状： 现有的听戴设备（如智能耳机）通常使用空气传导麦克风（ACM）和骨传导麦克风（BCM）进行多模态语音增强（SE），以在嘈杂环境中提升语音质量。
• 痛点：
  1. 高功耗： 传统的模拟 - 数字转换器（ADC）需要在高采样率（>16 kHz）和高位深（>12-bit）下运行以捕获宽带音频，这导致设备功耗巨大，严重限制了电池寿命。
  2. 现有算法的局限性： 现有的语音增强算法大多假设输入是高质量的全频带信号，未探索如何在降低采样率和位深（即亚奈奎斯特采样和低比特分辨率）的同时保持语音质量。
  3. 模型复杂度过高： 最先进的（SOTA）多模态语音增强模型（如基于 GAN 的模型）参数量巨大（数亿级），难以在资源受限的移动平台或听戴设备上高效运行。
  4. 缺乏宽带重建能力： 现有框架缺乏从窄带（亚奈奎斯特）信号重建宽带信号的有效方法，导致无法在降低采样率后恢复高频信息。

2. 方法论 (Methodology)

作者提出了 SUBARU (Sub-Nyquist Audio Resolution Upsampling)，一种采用**拆分架构（Split Architecture）**的解决方案：

• 听戴端（Hearables）： 仅执行低采样率（亚奈奎斯特，如 4 kHz）和低比特分辨率（如 8-bit）的采样。这大幅降低了 ADC 的功耗。
• 移动端（Mobile Platforms）： 接收低分辨率音频流，利用 SUBARU 模型进行联合的带宽扩展（BWE）和多模态语音增强（SE），重建出高保真、无噪声的宽带音频。

SUBARU 的四大核心设计要素：

1. 混合架构（Hybrid Architecture）：

   • 结合了**波形域（Waveform-based）和频谱域（Spectrum-based）**方法的优势。
   • 频谱增强网络 (SEN)： 基于 U-Net，输入低分辨率噪声频谱，使用 Mamba 模块作为瓶颈层（相比 Transformer 参数量减少约 2/3），提取全局相关性。
   • 上采样网络 (Upsampling Network)： 受 HiFi-GAN 启发，通过转置卷积将频谱转换为原始波形，实现 256 倍上采样。
   • 时域增强网络 (Time Enhancement Network)： 融合 ACM（声学）和 BCM（振动/加速度计）信号，利用 Mamba 处理 1D 序列，进一步去噪。
   • 幅相增强网络 (Amplitude-Phase Enhancement Network)： 专门处理幅度和相位，利用 STFT 分离，通过互耦合网络重建纯净相位，解决噪声环境下的相位混叠问题。

2. 多域联合训练与损失函数：

   • 在时域、频域和相位域进行联合训练。
   • 多尺度损失 (Multi-scale Loss)： 基于不同下采样倍数的波形 MAE。
   • 多周期损失 (Multi-period Loss)： 基于不同周期（p=5, 7）的波形能量损失。
   • 相位谱损失 (Phase-spectrum Loss)： 包含瞬时相位和群延迟的抗混叠损失（Anti-wrapping losses），确保相位重建质量。
   • 多分辨率 STFT 损失： 在三个不同分辨率下计算频谱收敛度和对数幅度损失。

3. 轻量化设计：

   • 使用 U-Net 替代复杂的 GAN，大幅减少参数量（仅约 361 万参数，比 HiFi++ 少 20 倍）。
   • 引入 Mamba 架构替代 Transformer，在保持性能的同时显著降低计算量和显存占用。

4. 流式操作支持：

   • 模型推理时间极短，支持逐帧（Frame-by-frame）实时流式处理，满足通信延迟要求（<150ms）。

3. 主要贡献 (Key Contributions)

1. 首次探索联合降采样与降位深： 系统性地研究了在听戴设备上同时降低采样频率和 ADC 位深对功耗和语音质量的影响，并提出了相应的重建方案。
2. 显著的节能效果： 通过将采样率从 24 kHz/12-bit 降至 4 kHz/8-bit，听戴端的 ADC 功耗降低了 3.31 倍，理论上可将电池寿命延长 3.31 倍。
3. 高性能与低延迟：
   • 在桌面端（GPU）推理时间仅为 1.74 ms。
   • 在移动端（Google Pixel 7）推理时间为 71 ms，远低于 ITU 规定的 150ms 通信延迟阈值，支持实时流式增强。
   • 在嘈杂环境下，性能优于现有的 SOTA GAN 模型（如 HiFi++, AERO）和 U-Net 模型。
4. 多模态与多场景适应性： 支持 ACM 和 BCM（振动传感器 + 加速度计）的多模态输入，并在真实世界噪声（如公交车、教室、车内）及音乐数据上进行了广泛验证。

4. 实验结果 (Results)

• 功耗对比： 在 NRF52840 芯片上，{4 kHz, 8-bit} 配置相比 {24 kHz, 12-bit} 功耗从 2.325 mW 降至 0.702 mW（3.31x 节省）。
• 语音质量指标：
  • 在 VCTK 语音数据集和 MagnaTagATune 音乐数据集上，SUBARU 在 LSD（对数谱距离）、PESQ（感知语音质量）、STOI（短时客观可懂度）等指标上均优于或持平于 SOTA 模型。
  • 例如，在 4-16 kHz 上采样任务中，SUBARU 的 LSD 为 0.84，优于 HiFi++ (0.89) 和 AERO (0.97)。
• 推理效率：
  • 相比 HiFi++ 和 AERO，SUBARU 的推理时间分别减少了 3.61 倍 和 20.68 倍。
  • 在 Pixel 7 上，SUBARU 是唯一能在 150ms 延迟限制内完成流式处理的模型。
• 真实场景测试： 在实验室外（公交车、教室、车内）的实时噪声测试中，SUBARU 显著降低了字符错误率（CER），证明了其在复杂环境下的鲁棒性。
• 主观评价 (MOS)： 听感测试显示，SUBARU 重建语音的平均意见得分（MOS）约为 4.55，接近纯净参考语音（4.65），远优于未处理信号（1.3）。

5. 意义与影响 (Significance)

• 填补了低功耗与高性能之间的鸿沟： SUBARU 证明了通过“端侧低采样 + 云端/手机端重建”的拆分架构，可以在不牺牲语音质量的前提下，极大地延长听戴设备的电池寿命。
• 推动了边缘 AI 的发展： 该工作展示了如何在资源受限的移动设备上部署复杂的音频生成模型，为未来的智能耳机、AR 眼镜等可穿戴设备提供了可行的技术路径。
• 实用性强： 不仅关注理论指标，还考虑了实际部署中的流式传输、延迟、真实噪声环境以及不同硬件平台（Pixel 7, S21）的兼容性，具有极高的落地价值。
• 多模态融合的新范式： 展示了如何利用骨传导信号辅助空气传导信号，在极低采样率下依然能实现高质量的语音增强。

总结： SUBARU 是一项针对听戴设备能源效率的突破性工作，它通过创新的亚奈奎斯特采样策略和高效的混合深度学习架构，成功解决了低功耗与高保真语音增强之间的矛盾，为下一代智能可穿戴音频设备奠定了坚实基础。