NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction

NasoVoce 是一种安装在眼镜鼻托处的新型语音交互界面，它通过融合麦克风与振动传感器的互补信号，在嘈杂环境中实现了对低音量及耳语的高鲁棒性、隐蔽且持续的语音识别。

要点

这篇论文介绍了一个名为 NasoVoce（鼻语）的有趣发明。简单来说，它是一款戴在眼镜鼻托上的“隐形麦克风”，能让你在嘈杂的公共场合，甚至完全不出声的情况下，和 AI 进行私密的语音对话。

为了让你更容易理解，我们可以把这项技术想象成给眼镜装上了一个“超级耳朵”和“震动感应器”的混合体。

1. 为什么要发明它？（解决什么痛点）

想象一下你在拥挤的地铁或嘈杂的咖啡馆里，想问 AI 一个私人问题，或者想让它帮你记个笔记：

• 大声说话：不行，太吵了，而且泄露隐私。
• 悄悄话（耳语）：虽然小声了，但在嘈杂环境里，普通麦克风根本听不清，全是背景噪音。
• 完全不出声（读唇语或动嘴型）：现在的技术要么需要摄像头对着你的脸（侵犯隐私），要么只能识别几个简单的指令，没法进行流畅的聊天。

NasoVoce 的目标就是： 让你能像平时一样自然说话（或者轻轻耳语），AI 能听得清清楚楚，而且别人完全听不到，设备戴起来也不显眼。

2. 它是如何工作的？（核心黑科技）

NasoVoce 的核心在于它同时使用了两种“耳朵”，就像一个人既有“顺风耳”又有“震感觉”：

• 耳朵 A：微型麦克风（空气传导）
  • 作用：它像普通麦克风一样，捕捉你嘴巴发出的声音。
  • 优点：声音很清晰，音质好。
  • 缺点：太容易受干扰了。就像你在暴风雨里听别人说话，风一吹就听不见了。
• 耳朵 B：震动传感器（骨/皮肤传导）
  • 作用：它贴在鼻子上，感受你说话时鼻子和面部骨骼产生的微弱震动。
  • 优点：非常抗干扰！不管外面多吵，它只感受你身体内部的震动，就像你在水下听自己说话，外面的噪音进不来。
  • 缺点：声音听起来有点“闷”，像隔着墙听，不够清晰。

🌟 神奇的“混音师”（AI 模型）：
NasoVoce 最厉害的地方在于，它不是二选一，而是把这两个信号融合在一起。
想象一下，你在嘈杂的派对上（麦克风信号），同时手里拿着一个能感受地板震动的仪器（震动信号）。AI 就像一个超级混音师，它利用“震动信号”来过滤掉噪音，再利用“麦克风信号”来修补声音的细节。

• 结果：它生成了一种既清晰（像麦克风）又抗噪（像震动传感器）的完美声音。

3. 为什么戴在鼻子上？（位置的秘密）

为什么要把设备放在眼镜的鼻托上，而不是耳朵或喉咙？

• 离嘴巴近：鼻子离嘴巴很近，能捕捉到说话时产生的气流和声音（哪怕是轻轻的耳语）。
• 独特的震动：当你说话（甚至只是耳语）时，鼻腔和面部骨骼会产生独特的震动。以前的技术（比如贴在喉咙上）主要靠声带震动，但耳语时声带是不震动的，所以喉咙传感器听不到耳语。而鼻子不同，耳语时的气流和面部肌肉运动依然会让鼻子产生震动，这让 NasoVoce 能捕捉到别人听不到的“悄悄话”。
• 隐蔽性：把它藏在眼镜鼻托上，就像眼镜的一部分，别人根本看不出来你在“说话”。

4. 实际效果怎么样？

研究人员做了很多测试，结果很令人兴奋：

• 抗噪能力：在嘈杂的咖啡馆、火车上，普通的耳机（比如 AirPods）的“降噪模式”会把你的耳语当成噪音直接过滤掉，导致 AI 听不到。但 NasoVoce 依然能听清。
• 识别率：即使在噪音很大的情况下，它的识别准确率也比单独用麦克风或单独用震动传感器要高得多。
• 隐私保护：你可以用手捂住嘴巴和鼻子说话，这样别人既听不到声音，也看不到你的嘴唇动作（防唇语），完全私密。

5. 总结：这就像什么？

如果把现在的语音助手比作一个在闹市里大声喊话的人，那么 NasoVoce 就像是给这个人发了一副特制的“隐形眼镜”：

• 这副眼镜让他能在喧闹的集市中，用只有对方能听到的音量说话。
• 对方（AI）不仅能听到，还能自动屏蔽掉周围所有的叫卖声和喇叭声。
• 最重要的是，旁观者完全不知道他在说话，感觉他就像在发呆一样。

这项技术让“随时随地、私密、安静”地与 AI 对话成为可能，是未来智能眼镜和可穿戴设备的一大突破。

技术摘要

NasoVoce 技术总结

1. 研究背景与问题定义 (Problem)

随着生成式 AI 在日常生活中的普及，用户需要一种**全天候可用（Always-Available）**的语音交互界面。然而，现有的语音交互方案面临以下核心挑战：

• 社会接受度与隐私：在公共场合大声说话会打扰他人或泄露隐私。
• 噪音鲁棒性：环境噪音会严重干扰语音识别（ASR），导致误识。
• 佩戴舒适度：许多方案（如耳塞、面部摄像头、口腔传感器）不适合长时间连续佩戴。
• 现有技术的局限性：
  • 静默语音（Silent Speech）：通常词汇量受限，难以支持开放式对话。
  • 唇读：需要摄像头，存在隐私问题且受光照影响大。
  • 耳语（Whispered Speech）：虽然词汇量无限制且安静，但音量极低，极易受环境噪音干扰。
  • 现有降噪耳机：如 AirPods Pro 的“语音隔离”功能，对正常语音有效，但几乎完全过滤掉了耳语信号。

核心目标：开发一种既能支持正常语音和耳语，又具备高噪音鲁棒性、高词汇量且佩戴舒适的语音输入接口。

2. 方法论 (Methodology)

2.1 硬件设计：NasoVoce 传感器配置

NasoVoce 是一种安装在**鼻梁（Nasal Bridge）**处的传感器接口，通常集成在智能眼镜的鼻托上。

• 双传感器融合：
  1. MEMS 麦克风 (Mic)：捕捉空气传导的声音。虽然音质高，但极易受环境噪音影响。
  2. MEMS 振动传感器 (Vib)：捕捉骨骼/皮肤传导的振动信号。虽然信号质量较低，但对环境噪音具有极强的鲁棒性。
• 解剖学优势：鼻梁位置靠近声源（口腔）和鼻腔。
  • 能有效捕捉正常语音和耳语的空气传导信号。
  • 独特之处在于，即使在无声带振动的耳语状态下，鼻腔气流产生的湍流和腔体共振也能在鼻梁处产生可检测的振动信号（这是传统喉部或颅骨传感器难以捕捉的）。
• 隐私保护：用户用手遮挡口鼻时，既防止了声音外泄，也阻断了唇读，同时作为一种社交信号表明正在与设备交互。

2.2 算法模型：D-DCCRN (Dual-DCCRN)

为了融合两种互补的输入信号，研究团队提出了一种基于深度学习的音频增强模型 D-DCCRN。

• 架构基础：基于 DCCRN（深度复数卷积循环网络），该网络擅长处理复数域的幅度和相位信息。
• 创新点：
  • 双输入机制：将麦克风信号（Mic）和振动传感器信号（Vib）作为复合输入，共同处理实部和虚部。
  • 相位信息利用：耳语产生的近场湍流相位结构与远场环境噪音显著不同，利用复数网络保留相位信息对于从噪音中分离耳语至关重要。
• 训练策略：
  • 数据集：45 名参与者朗读文本，同时录制 Mic 和 Vib 信号，共 104 小时。使用 DEMAND 数据集模拟不同信噪比（-10dB 到 10dB）的噪音环境。
  • 损失函数：
    1. 音频增强损失 ($L_{ae}$)：最小化增强音频与纯净音频之间的均方误差（MSE）和尺度不变信噪比（SI-SDR）。
    2. 知识蒸馏损失 ($L_{kd}$)：利用 OpenAI Whisper Large-v2 作为“教师模型”，通过硬损失（Hard Loss）和软损失（Soft Loss）引导 D-DCCRN 的输出在 ASR 层面与纯净语音的识别结果保持一致。

2.3 系统集成

• 传感器通过 TDM 接口同步输出，左声道为振动信号，右声道为麦克风信号，兼容现有音频接口。
• 处理延迟约为 136.9ms，远快于 Whisper Large-v2 的 429.96ms。

3. 关键贡献 (Key Contributions)

1. 新型输入机制：首次将麦克风和振动传感器集成在智能眼镜的鼻托上，利用鼻梁独特的声学特性，实现了对正常语音和耳语的同时有效捕捉。
2. D-DCCRN 模型：提出了一种专门针对双模态输入（空气传导 + 骨/皮肤传导）的深度学习音频增强模型，利用复数网络处理相位信息，显著提升了耳语在噪音环境下的识别率。
3. 全面评估：构建了包含 104 小时的双模态数据集，并通过 ASR 准确率、客观音质指标（PESQ, STOI）和主观评分（MUSHRA）验证了系统的有效性。
4. 实际应用验证：在真实世界场景（咖啡馆、路边、火车等）中验证了系统的鲁棒性，并证明其优于现有的商业降噪方案（如 AirPods Pro）。

4. 实验结果 (Results)

4.1 语音识别准确率 (ASR)

• 测试指标：词错误率 (WER) 和字符错误率 (CER)。
• 结果：
  • 耳语场景：在噪音环境下，仅靠麦克风（Mic）识别率急剧下降；仅靠振动传感器（Vib）识别率较低；**融合增强（Enhanced）**方案表现最佳，即使在 0dB 信噪比下，其识别准确率仍优于纯麦克风输入。
  • 正常语音：在低噪音下，增强方案与纯麦克风相当；在高噪音下，增强方案显著优于纯麦克风。
  • 结论：NasoVoce 能在嘈杂环境中可靠地识别耳语。

4.2 音质评估

• 客观指标：
  • PESQ (感知语音质量) 和 STOI (短时可懂度)：在所有噪音水平下，增强后的语音质量均优于纯麦克风输入。
  • 在极强噪音（10dB）下，纯振动信号（Vib）的指标略优于增强模型，表明此时麦克风信号可能引入了过多伪影。
• 主观指标 (MUSHRA)：
  • 50 名参与者的评分显示，增强语音在噪音低于 0dB 时显著优于其他方案。
  • 在 10dB 高噪环境下，振动传感器（Vib）的评分略高于增强语音，再次印证了极端噪音下麦克风信号可能产生负面干扰。

4.3 真实场景测试 (In-the-Wild)

• 在咖啡馆、路边、步行和火车四种场景中，NasoVoce 均能稳定捕捉耳语并抑制环境噪音。
• 对比 AirPods Pro：AirPods 的语音隔离功能在正常语音下有效，但几乎完全过滤掉了耳语（将其视为背景噪音）；而 NasoVoce 在所有场景下均成功捕捉了耳语。

5. 意义与未来展望 (Significance & Future Work)

5.1 意义

• 填补空白：NasoVoce 是目前唯一能同时满足高词汇量、全天候可用、高隐私性、高噪音鲁棒性且佩戴舒适的语音交互方案。
• 技术突破：证明了鼻梁位置作为骨传导/皮肤传导传感器的独特价值，特别是其对耳语中气流湍流的捕捉能力。
• 应用前景：为智能眼镜赋予了真正的“静默 AI 助手”能力，使用户可以在任何公共场合进行私密、连续的语音对话。

5.2 讨论与未来工作

• 自适应融合策略：研究发现，在极端噪音下（如 10dB），仅使用振动传感器可能比融合模型效果更好。未来应开发SNR 自适应门控机制，根据环境噪音水平动态切换或调整融合权重（Mic+Vib 或仅 Vib）。
• 生理差异：鼻部通气性（如感冒、鼻炎）可能影响振动信号的采集，未来需引入用户校准和在线适应机制。
• 扩展应用：该双传感器架构也可应用于人中（Philtrum）或喉部，作为非穿戴式语音备忘录或改进的喉部麦克风。

总结：NasoVoce 通过巧妙的硬件布局（鼻梁双传感器）和先进的深度学习融合算法（D-DCCRN），成功解决了耳语识别中的噪音鲁棒性难题，为下一代可穿戴 AI 交互设备提供了极具潜力的解决方案。