技术摘要：MindVoice

问题陈述

从非侵入性神经记录（如 EEG 和 MEG）中重建连续且可理解的语音，仍然是听觉神经科学和脑机接口（BCI）研究中的一个根本性挑战。虽然侵入式方法已取得了显著成功，但非侵入性信号面临着信噪比低、空间模糊和信息保存不全的问题。现有的非侵入性方法通常将神经活动直接映射到纠缠在一起的语音表示（例如梅尔频谱图），并使用神经声码器合成波形。然而，这些方法往往产生在频谱上相似但无法理解的结果，因为它们未能恢复自然语音所需的精细语义和声学结构。核心难点在于解决一个欠定问题：如何在不完全依赖神经数据的情况下，从稀疏且多噪的神经观测中恢复信息密集且具有时间敏感性的语音。

方法论：MindVoice 框架

为了应对这些局限性，作者提出了 MindVoice，这是一个利用预训练先验来补偿神经信号中不完整信息的神经到语音重建框架。受语音感知双流理论的启发，MindVoice 采用了双流架构，将重建过程解耦为两个互补的路径，随后进行合成阶段。

1. 语义级重建流

该流专注于恢复高层语义内容，这对于理解能力至关重要。

• 架构： 它由一个神经信号嵌入器（将 EEG/MEG 处理为通过 CNN 和 Transformer 处理的单通道图像）、一个语音向量量化自编码器（VQ-AE）以及一个神经到语义对齐器组成。
• 机制： VQ-AE 通过对连续梅尔频谱图潜变量进行量化，学习紧凑的离散语音标记（tokens），从而有效地创建了一个语音词汇表。对齐器将神经嵌入映射到这种预量化的语音嵌入空间中。
• 预训练先验： 由对齐器生成的离散标记被输入到一个冻结的、预训练的自动语音识别（ASR）模型（Whisper-base）中。ASR 模型的语言建模能力作为先验，用于精炼和补全从嘈杂神经信号中解码出的语义信息，生成重建的文本标记 ($\hat{T}$)。

2. 声学级重建流

该流针对精细的声学属性，如音高、音色和情感，这些属性在仅基于语义的方法中往往会丢失。

• 架构： 它利用了一个预训练的语音编解码器（FishSpeech-s1-mini）和一个平行的神经信号嵌入器。
• 机制： 编解码器将语音编码为潜嵌入，随后进行量化。神经嵌入器则从神经信号中预测这些嵌入。
• 预训练先验： 系统将神经信号与预训练编解码器的深度语音特征进行对齐。量化过程将预测的连续嵌入映射到学习到的离散单元，从而注入声学先验以增强音高和音色线索的可辨识度。

3. 语音重建分支

最后阶段通过融合两个流的输出来合成自然语音波形。

• 过程： 来自语义流的重建文本标记 ($\hat{T}$) 和来自声学流的声学嵌入 ($\hat{A}$) 作为预训练文本转语音（TTS）模型的约束条件。
• 上下文语音克隆： 声学嵌入作为上下文语音克隆的提示（prompts），引导 TTS 模型进行自回归生成语音潜变量。TTS 模型利用其自身的先验从文本中推断韵律和时间结构，同时使用声学嵌入来约束音色和音高。
• 训练策略： 至关重要的是，ASR 和 TTS 模型在训练期间是冻结的。该框架依赖于它们现有的先验，而不是在有限的神经数据上对其进行微调，作者认为这样做会以牺牲理解能力为代价来换取单纯的频谱相似性。

核心贡献

• 双流解耦： 本文引入了一种新颖的架构，将语义和声学重建分离，解决了以往直接映射方法中的纠缠问题。
• 集成预训练先验： MindVoice 展示了一种原则性的方法，通过利用大规模预训练模型（ASR、语音编解码器、TTS）中编码的丰富的声学和语言先验，来弥补噪声神经数据与自然语音之间的差距。
• 最先进的性能： 该框架为非侵入性语音重建建立了新的基准，从“混乱的声学近似”转向了可理解的语音。

实验结果

作者在 Brenemann EEG 数据集（49 名参与者）和 Gwilliams MEG 数据集（27 名参与者）上评估了 MindVoice，使用了随机划分和严格基于句子的划分。

• 定量改进： MindVoice 在高层指标上显著优于现有基准（Vanilla regression 和 FESDE）：
  • 语义准确度： 在 HuBERT 相似度和 ASR-BERTScore-F1 方面有显著提升（例如，MEG 随机划分：FESDE 为 0.219，而 MindVoice 为 0.441）。
  • 音色与质量： 在 WavLM 相似度和 MOS 预测器方面有明显改进（例如，MEG 随机划分：FESDE 为 1.41，而 MindVoice 为 4.35）。
  • 频谱指标： MindVoice 在低层频谱指标（mel-MSE, MCD）上并不始终优于基准。作者将其归因于基准模型直接优化频谱相似性，而 MindVoice 则优先考虑高层语义和感知质量。
• 定性证据： 梅尔频谱图的可视化显示，与倾向于产生过度平滑频谱图的基准模型相比，MindVoice 能更好地保留谐波结构和时间能量变化。转录结果证实，MindVoice 的输出包含可识别的语言内容，而基准模型通常产生无法理解的片段。
• 泛化能力： 该模型即使在严格的“句子划分”（即测试句子在训练期间未见过）下也能保持其优势，这表明它学习的是通用的神经到语音映射，而非记忆特定的句子模式。

意义与主张

本文声称 MindVoice 代表了非侵入性语音 BCI 研究的重要进展，证明了预训练先验对于从噪声神经数据中重建可理解语音是必不可少的。

• 科学影响： 这项工作提供了一个新的工具来探测人类听觉感知，为大脑如何编码自然语音的声学和语言结构提供了直接证据。
• 技术成就： 它建立了一个最先进的框架，成功地从 EEG 和 MEG 中重建连续语音，克服了以往方法产生无法理解结果的局限性。
• 适度的局限性： 作者承认重建成功率仍然有限（由约 0.44 的 BERTScore-F1 指示），这意味着当神经信号不足时，可能会出现实质性的语义差异和“生成幻觉”。他们还指出，目前的研究范围仅限于听觉诱发信号（聆听语音），尚未扩展到言语表达或想象语音。

总之，MindVoice 将范式从直接回归转向了结合神经解码与生成式 AI 先验的混合方法，证明了这一策略是实现实用的非侵入性语音脑机接口的一条充满希望的路径。