⚡ electrical engineering

Throat and acoustic paired speech dataset for deep learning-based speech enhancement

本文针对嘈杂环境下喉部麦克风录音高频信息缺失的问题，发布了包含 60 名韩语母语者配对语音数据的 TAPS 数据集，提出了解决信号失配的最优对齐方法，并验证了基于映射的深度学习模型在提升语音质量方面的优越性。

原作者： Yunsik Kim, Yonghun Song, Yoonyoung Chung

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunsik Kim, Yonghun Song, Yoonyoung Chung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TAPS 的新数据集，它就像是为“喉头麦克风”（一种贴在脖子上的麦克风）和“普通麦克风”（我们手机里用的那种）之间搭建的一座超级桥梁。

为了让你更容易理解，我们可以把这项技术想象成**“给失语者找回声音”或者“修复被迷雾遮挡的画作”**。

1. 背景：为什么我们需要这个？

想象一下，你正站在一个超级嘈杂的工厂里，或者挤在喧闹的地铁中。

普通麦克风（空气麦克风）：就像是一个站在远处的人，试图听清你说话。但在噪音中，它听到的全是杂音，根本分不清你在说什么。
喉头麦克风（身体传导麦克风）：就像是一个把耳朵贴在你喉咙上的人。它能直接感受到你声带的震动，完全不受外界噪音干扰。

但是，喉头麦克风有个大毛病：
它虽然听不到外面的噪音，但它也**“听不清”**很多细节。

比喻：想象喉头麦克风是一个**“低通滤波器”**（就像给声音加了一层厚厚的毛玻璃）。它能听清你说话的低沉基调（元音），但把你说话时那些清脆的“嘶嘶”声（如 s, sh, f 等辅音）全都过滤掉了。
后果：用喉头麦克风录下的声音，听起来就像是一个人在**“含着一块热土豆说话”，或者像是一个“闷在棉花里的声音”**，虽然知道你在说话，但完全听不清具体说了什么词，尤其是那些没有声带震动的辅音（比如“哈”、“嘶”）。

2. 核心问题：以前为什么难解决？

以前，科学家们想用人工智能（深度学习）来修复这些“含混不清”的声音，把它们变回清晰的声音。但这就像让一个画家去“补全一幅被撕掉一半的画”。

难点：AI 需要看到“原画”（清晰的声音）和“残画”（喉头麦克风的声音）来学习如何修补。
过去的困境：以前没有标准的“原画”和“残画”配对数据。大家各自为战，有的用这个麦克风，有的用那个，数据对不齐，AI 学得很慢，而且没法互相比较谁的方法更好。

3. 解决方案：TAPS 数据集（超级配对库）

这篇论文的作者们（来自韩国浦项科技大学）做了一件大事：他们建立了一个标准化的“声音配对库”，叫 TAPS。

怎么做到的？
他们找了 60 位韩国人，让他们同时戴着喉头麦克风（贴在脖子上）和普通麦克风（放在嘴边 30 厘米处）说话。
比喻：这就像给每个人同时配了一个**“贴身保镖”（喉头麦克风，只听内部震动）和一个“远观记者”**（普通麦克风，听完整的声音）。
关键创新：
1. 精准对齐：因为声音传到喉咙和传到嘴边需要的时间不同，就像**“回声”一样有延迟。作者开发了一种聪明的算法，像“对表”**一样，把这两个声音完美地同步对齐，确保 AI 学习时不会搞错时间。
2. 数据量大：包含了 6000 句不同的话，覆盖了各种发音，就像给 AI 提供了一本**“百科全书”**。

4. 实验结果：AI 学会了什么？

作者用这个新数据集训练了三种不同的 AI 模型，看看谁能把“含混的声音”变回“清晰的声音”。

比赛结果：
- 旧方法（掩码法）：就像试图从一张破纸上**“修补”原来的字迹。它只能把现有的声音修得稍微好点，但变不出**那些原本丢失的“嘶嘶”声。
- 新方法（映射法）：就像一位**“天才画家”。它看着“残画”（喉头声音），能凭空想象并画出**那些丢失的细节（高频辅音）。
结论：那些能“无中生有”生成丢失声音的模型（如 SE-conformer 和 Demucs）表现最好。它们不仅让声音变清晰了，还让机器能听懂人话（识别率大幅提升）。

5. 这项技术的意义

对普通人：想象一下，未来在极度嘈杂的工地、战场或地铁里，你戴上一个小小的喉头麦克风，AI 就能实时把你的声音“翻译”成清晰、自然的语音，别人听起来就像你在安静的房间里说话一样。
对科技界：这个数据集就像是一个**“标准考卷”**。以前大家各自出题考 AI，现在有了统一的试卷，全世界的科学家都可以用同样的数据来测试和改进他们的 AI 模型，加速整个领域的进步。

总结

简单来说，这篇论文就是**“造了一把万能钥匙”（TAPS 数据集），解决了喉头麦克风“听得见但听不清”的难题。通过让 AI 学习如何把“闷在棉花里的声音”还原成“清脆的真人声”，它让未来的抗噪通讯设备**变得更加聪明和实用。

以下是基于论文《Throat and Acoustic Paired Speech dataset for deep learning-based speech enhancement》（用于基于深度学习的语音增强的喉部与声学配对语音数据集）的详细技术总结：

1. 研究背景与问题 (Problem)

高噪环境下的语音采集难题：在工厂、地铁等嘈杂环境中，传统声学麦克风难以捕捉清晰语音。
喉部麦克风（BCM）的局限性：喉部麦克风（Body-Conducted Microphones）通过皮肤振动传声，具有天然的降噪能力。然而，声波穿过皮肤和组织时会产生低通滤波效应，导致高频信息衰减。
- 具体缺陷：高频非周期性成分（如摩擦音 /s/, /z/ 和送气音 /h/）丢失，严重影响语音音色和清晰度；口腔内产生的无声阻塞音（如清辅音）往往无法被有效捕捉。
现有研究的瓶颈：虽然深度学习（如 BLSTM、Transformer）在增强喉部语音方面展现出潜力，但缺乏大规模、标准化且经过精确对齐的配对数据集。现有数据集通常规模小、采集设备不统一，且未解决喉部信号与声学信号之间的**时间错位（Temporal Misalignment）**问题，导致模型难以复现和泛化。

2. 方法论 (Methodology)

本研究提出了一套完整的硬件系统、数据采集流程及数据处理管道，构建了 TAPS (Throat and Acoustic Paired Speech) 数据集。

A. 硬件与采集系统

硬件配置：
- 喉部麦克风：基于 MEMS 惯性测量单元（IMU，TDK IIM-42652）配置为加速度计，置于甲状软骨上方的声带区域（声门上区），采样率 8 kHz，仅记录 Z 轴振动。
- 声学麦克风：MEMS 麦克风（CUI Devices），置于嘴前 30cm，采样率 16 kHz。
- 同步控制：使用 MCU (STM32) 通过 SPI 和 I²S 接口同步采集，硬件延迟控制在 0.75-0.88ms 之间。
实验环境：在 POSTECH 的声学处理录音室进行，背景噪声极低（NC ≤ 25-30），使用防喷罩和反射板。
数据采集：
- 参与者：60 名母语为韩语的志愿者（30 男/30 女，平均年龄 27.1 岁）。
- 语料：从韩国语料库中精选 6000 个句子（40-80 字符），每位参与者随机分配 100 句。
- 流程：佩戴喉部麦克风，固定头部位置，同时录制喉部振动和声学语音。

B. 数据处理与后处理

信号预处理：
- 去除重力加速度（50Hz 高通滤波器）。
- 声学信号降噪：使用预训练的 Demucs 模型去除声学麦克风的本底噪声。
- 重采样：喉部信号从 8 kHz 上采样至 16 kHz 以匹配声学信号。
- 静音修剪：基于能量阈值去除首尾非语音部分。
关键创新：时间对齐 (Temporal Alignment)
- 问题分析：喉部与声学信号存在时间差，受说话人距离、声道结构差异及音素共振位置影响。
- 对齐策略：通过互相关函数计算最佳时间偏移量 $\delta$ $δ$ 。研究对比了三种对齐策略：
  1. 全局平均对齐（Global Mean）：使用所有说话人的平均偏移量。
  2. 说话人平均对齐（Per-Speaker Mean）：针对每个说话人计算平均偏移。
  3. 逐句对齐（Per-Utterance）：针对每句话单独计算偏移。
- 结论：实验表明，**全局平均偏移量（Overall Mean Mismatch Correction）**策略在提升模型性能（PESQ, STOI, CER）方面最为稳健。最终数据集应用了 13 个样本（1.625ms）的全局偏移校正。

C. 数据集划分

Train (训练集)：40 名说话人，4000 条配对语音，10.2 小时。
Dev (开发集)：10 名说话人，1000 条，2.5 小时（用于超参数调整）。
Test (测试集)：10 名说话人，1000 条，2.6 小时（用于最终评估）。
分布：性别平衡，音素分布（元音、辅音、音节结构）在三个子集中保持一致。

3. 关键贡献 (Key Contributions)

TAPS 数据集发布：首个包含声门上区（supraglottic area）喉部麦克风与声学麦克风精确配对的大规模韩语语音数据集，填补了该领域标准化资源的空白。
标准化对齐流程：深入分析了导致信号时间错位的因素，并提出并验证了最优的时间对齐策略（全局平均法），解决了多模态数据训练中的关键同步问题。
基准模型评估：在 TAPS 上评估了三种主流深度学习架构（TSTNN, Demucs, SE-conformer），为后续研究提供了性能基准。
开源生态：公开了硬件设计文件、固件、预处理脚本、训练代码及数据集（Hugging Face 和 Zenodo），促进了可复现性研究。

4. 实验结果 (Results)

在 TAPS 数据集上对三个基线模型进行了训练和评估：

模型表现：
- SE-conformer 表现最佳，PESQ 达到 1.971，STOI 达到 0.892，CER（字符错误率）降至 24.4%。
- Demucs 表现次之，但在生成缺失的高频和无声成分方面略逊于 SE-conformer。
- TSTNN（基于掩码的方法）在客观语音质量指标上与 Demucs 相当，但在**语音内容恢复（CER/WER）**方面显著较差。
核心发现：
- 映射型方法（Mapping-based）（如 Demucs, SE-conformer）优于掩码型方法（Masking-based）（如 TSTNN）。
- 原因：喉部语音缺失了高频和无声辅音信息，掩码方法只能修改现有频谱，无法“生成”缺失信息；而映射型方法能够基于上下文推断并重建缺失的频谱成分，从而显著改善语音可懂度。
对齐策略影响：使用全局平均对齐策略训练的模型，其 CER 相比未校正数据显著降低（例如 SE-conformer 降低了约 4.94%），证明了精确对齐对深度学习训练的重要性。

5. 意义与影响 (Significance)

推动喉部语音增强技术：TAPS 数据集为训练能够恢复高频和无声辅音的生成式模型提供了坚实基础，使得喉部麦克风在极端噪声环境下的实际应用成为可能。
标准化与可复现性：解决了以往研究因数据不统一、对齐不精确导致的难以横向比较的问题，确立了该领域的评估标准。
广泛应用前景：不仅适用于语音增强，还可扩展至自动语音识别 (ASR)、无声语音接口、辅助通信设备以及人机交互领域。
方法论推广：文中提出的数据采集和对齐框架可推广至其他语言和其他类型的身体传导语音研究。

总结：该论文通过构建高质量的 TAPS 数据集和验证最优的数据处理流程，证明了基于深度学习的映射模型能有效克服喉部麦克风的物理局限，为下一代抗噪通信设备的发展提供了关键的数据支持和理论依据。