技术摘要：ARTI-6 —— 迈向六维构音语音编码

1. 问题陈述

语音产生涉及声道构音器（articulators）的协调运动，从而产生声学信号。然而，从声学到构音的映射并非透明的，这使得构音反转（从声音推断隐藏的运动）和构音合成（从运动重建声音）具有挑战性。

现有解决方案面临特定的局限性：

• 数据模态： 先前的表现优异的模型（如 SPARC）依赖于电磁构音图（EMA）数据。EMA 仅捕捉声道的一个子集，缺失了关键区域，如软腭（velum）、舌根（tongue root）和喉部（larynx）。因此，这些模型缺乏关于鼻音性和发声性的显式信息，通常需要声学相关特征（如音高、能量）来进行补偿。
• 表示复杂度： 虽然实时核磁共振成像（rtMRI）提供了全方道的覆盖，但其产生的数据是高维且不透明的。相反，过于简化的特征则面临丢失本质生理信息的风险。
• 差距： 需要一种紧凑、可解释且具有生理基础的表示方法，既能捕捉关键的构音动态（包括缺失的 EMA 区域），又能保持用于建模和实时应用的计算效率。

2. 方法论：ARTI-6 框架

作者提出了 ARTI-6，一个源自 rtMRI 数据的六维构音语音编码框架。该框架由三个核心部分组成：

A. 六维特征选择

作者基于知识驱动的选择，选择了对实现语音目标（收缩形成与释放）至关重要的构音器关键区域（ROI）。这些区域包括：

1. 唇开度 (Lip Aperture, LA)
2. 舌尖 (Tongue Tip, TT)
3. 舌体 (Tongue Body, TB)
4. 软腭 (Velum, VL)
5. 舌根 (Tongue Root, TR)
6. 喉部 (Larynx, LX)

特征提取： 作者没有使用复杂的运动学追踪，而是使用来自 rtMRI 帧的图像像素强度作为各区域收缩程度的代理度量。这一选择的动机在于：假设这些区域代表了语音所需的最小构音需求，且其他运动学点与其高度相关，并且模型可以从这些代表性特征中推断出完整的动态。

B. 构音反转模型

该组件从语音声学特征预测六维构音特征。

• 骨干网络： 模型利用预训练的语音基础模型（Whisper-Large, WavLM, HuBERT, Wav2Vec2）。
• 架构： 使用 LoRA（低秩自适应） 对基础模型进行微调。在 Transformer 块的前馈层中插入可学习的低秩矩阵。
• 处理过程： 一个可学习的线性层结合来自卷积层和 Transformer 层的隐藏状态。输出通过 1D 点式卷积层和一个投影层，以映射到六维目标特征。
• 数据： 在 USC Long Single-Speaker (LSS) 数据集（来自单说话人的 54 分钟 rtMRI 数据）上进行训练，并通过 Miipher 语音修复模型进行噪声去除。

C. 构音合成模型

该组件直接从六维构音特征重建可理解的语音。

• 架构： 基于 HiFi-GAN v1。
• 配置： 使用特定的上采样率和卷积核大小，以匹配 16 kHz 的输出采样率。
• 调节（Conditioning）： 模型通过从 ECAPA-TDNN 提取的说话人嵌入进行调节，以捕捉个体说话人特征，并假设合成模型可以通过这些嵌入学习声道特性。
• 训练数据： 由于 LSS 数据集不足以训练深度合成器，作者利用 LibriTTS-R 数据集进行了数据增强。他们生成了预测的构音特征（使用基于 WavLM 的反转模型）与相应语音声学的配对，用于训练合成模型。

3. 关键结果

构音反转性能

• 整体相关性： 模型在测试集上实现了 0.87 的预测相关性（皮尔逊相关系数）。
• 最佳骨干网络： WavLM-Large 和 HuBERT 表现出最高的性能（在测试集上达到 0.872 相关性），优于 Whisper-Large 和 Wav2Vec2-XLSR。
• 音素分析： 性能因区域和音素类型而异。
  • 高准确度： 唇部和舌部区域（LA, TT, TB）显示出较高的预测准确度。
  • 较低准确度： 软腭（VL）和喉部（LX）的表现相对较低。
  • 归因： 较低的软腭性能归因于闭合期间像素强度中的噪声（与主动运动无关的波动）。较低的喉部性能归因于中矢状面 rtMRI 在捕捉详细内部几何动态方面的局限性。

构音合成性能

合成的语音针对基准真值（ground truth）和其他中间特征集（Mel 频谱图、EMA+音高+响度）进行了评估。

• 可理解性： 尽管经历了极端的维度缩减（仅 6 维），合成语音仍保持了可接受的可理解性。
  • 词错误率 (WER)： 约 12.5%
  • 字符错误率 (CER)： 约 7.4%
• 自然度：
  • UTMOS： 3.840（总分 5）
  • 平均意见得分 (MOS)： 3.947
• 对比： 虽然质量低于高维方法（如 Mel 频谱图或基于 EMA 的方法），但结果表明，6 维表示可以生成听感自然的语音。

4. 重要性与主张

本文声称 ARTI-6 提供了一个统一、可解释且计算高效的框架，用于语音技术。其重要性主要体现在三个方面：

1. 生理完整性： 与基于 EMA 的系统不同，ARTI-6 明确捕捉了软腭、舌根和喉部，提供了更完整的声道覆盖，而不依赖于声学代理来获取鼻音性和发声性。
2. 可解释性： 这六个区域植根于构音运动学和语言学模型，使得推断出的特征对于科学研究具有价值（例如，在直接获取构音数据较为困难的情况下，将语音与大脑或肌肉信号进行关联）。
3. 效率与实用性： 凭借仅有的六个维度，ARTI-6 比传统的特征（如 MFCCs、Mel 频谱图）或潜在空间（200+ 维）要紧凑得多。这种低维度带来了计算效率和低延迟，使其适用于端侧处理和流式传输等实时应用。

5. 局限性与未来工作

作者承认当前框架仅限于单说话人构音空间。未来的工作旨在：

• 将框架扩展到多说话人空间，以实现无需特定说话人调节的泛化。
• 优化舌部变量，以实现更好的跨说话人可比性。
• 优化构音区域的选择和代理度量方法。
• 探索结合构音特征与声学特征的混合特征集。

源代码和语音样本已公开，以促进构音反转和合成领域的进一步研究。