From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

技术摘要：从 A 到 B 再到 A：基于非平行数据的回文式零样本语音转换

问题陈述
语音转换（Voice Conversion, VC）旨在将源说话人的语音转换为匹配目标说话人身份的形式，同时保留语言内容。传统的基于数据的方法依赖于平行语料库（不同说话人的对齐语句），这在规模化收集时既昂贵又不切实际。虽然已经开发了非平行方法，但它们在“任意对任意”（any-to-any）的零样本设置下（即源说话人和目标说话人在训练期间均未见过）往往表现不佳。现有的解决方案通常尝试使用语言监督（如音素）或自监督学习（SSL）来解耦内容和说话人信息。然而，这些方法面临挑战：语言相关的方法依赖于 ASR/TTS 系统，而基于解耦的 SSL 方法往往受到不完全分离的影响，导致说话人信息泄露或内容保留能力下降。此外，在 SSL 特征上进行简单的 K-最近邻（KNN）检索虽然有效，但在单样本（one-shot）场景下由于邻居稀疏和目标数据有限，效果会发生退化。

方法论
作者提出了一个框架，仅使用非平行数据即可实现用于零样本语音转换的有监督学习。其核心创新在于一种回文式训练策略，该策略可以在不需要对齐的源-目标语句的情况下构建合成训练对。

1. 合成数据生成（“A 到 B”阶段）：

   • 系统利用预训练的自监督学习（SSL）模型 WavLM 来提取帧级特征。
   • 对于给定的真实目标语音段（$a_1$）和参考说话人库（$b_{ref}$），系统执行离线 KNN 检索。它将目标的特征与参考说话人进行匹配，以生成合成源特征集（$\hat{B}_1$）。
   • 这创建了一个训练三元组：合成源（$\hat{B}_1$）、真实目标（$a_1$）以及来自目标说话人的额外真实参考段（$a_2$）。

2. 模型架构：

   • 编码器（Encoder）： 预训练的 WavLM 编码器。
   • 转换器（Converter）： 一个基于 Transformer 的潜变量转换器，用于将合成源特征映射到目标说话人的声学特性，从而产生潜变量特征（$\tilde{A}_1$）。
   • 声码器（Vocoder）： 一个 HiFi-GAN 声码器，用于从潜变量特征重建波形。

3. 训练过程（三个阶段）：

   • 阶段 1（声码器预训练）： 训练一个声码器，通过重建损失（多分辨率 STFT）和对抗训练（多周期及多尺度判别器）从原始 WavLM 特征中重建音频。
   • 阶段 2（Transformer 训练）： 训练 Transformer 将合成特征转换为目标特征。损失函数包括：
     • L1 损失： 在预测特征与地面真值目标特征之间计算。
     • 说话人损失： 使用预训练的说话人验证模型计算的波形级损失。它计算参考波形（$a_2$）与转换后的波形（$\tilde{a}_1$）之间的余弦相似度和 L1 距离，以强制执行身份一致性。
   • 阶段 3（声码器后训练）： 在 Transformer 生成的转换特征上训练一个新的声码器实例，以适应特定的特征分布，从而减少伪影并提高自然度。

4. 推理：

   • 在推理阶段，系统直接作用于真实的输入语音（而非合成语音）。模型从合成训练范式泛化到执行现实世界的转换，仅需目标说话人的短参考语句。

核心贡献

• 非平行、零样本框架： 一种新颖的方法，通过受控的合成数据生成（通过 SSL 特征上的 KNN 检索）来实现有监督的说话人转换，而无需对齐的语音数据。
• 说话人验证损失： 引入了源自说话人验证模型的波形级损失，直接优化说话人相似度并确保一致的身份保留。
• 多语言泛化能力： 尽管仅在英语数据上进行训练，该系统仍展示了强大的跨语言性能，且无需在非英语数据上进行任何微调。
• 性能表现： 该方法在说话人相似度和等错误率（EER）方面优于近期的最先进系统（包括 KNN-VC、Seed-VC 和 Vevo），同时保持了相当的字错率（WER）、字符错误率（CER）和主观质量（MOS/SMOS）。

实验结果
实验在 LibriSpeech（英语）和 Multilingual LibriSpeech 数据集上进行。

• 说话人相似度： 在所有提示时长（3秒至60秒）下，所提方法均优于基准模型。值得注意的是，在低资源设置（3秒提示）下，它显著优于 KNN-VC，后者由于邻居稀疏而导致可懂度和质量下降。
• 可懂度与质量： 该方法保持了与最先进系统相当的 WER 和 CER，表明在提升说话人相似度的同时并未损害内容保留。主观评估（MOS 和 SMOS）显示，该方法实现了高自然度和说话人相似度，尤其是在短提示场景下。
• 跨语言性能： 在荷兰语、法语、德语、意大利语、波兰语、葡萄牙语和西班牙语测试中，尽管没有进行非英语微调，该模型仍实现了 WER 的持续改进，并保持了与竞争对手相当的说话人相似度和 DNS-MOS 分数。
• 消融实验： 去除声码器后训练阶段会导致明显的听觉伪影和较低的 DNS-MOS 分数，证实了使声码器适应 Transformer 输出分布的必要性。

意义
论文指出，受控的合成监督结合显式的说话人级目标，为传统的基于解耦的语音转换提供了一种有效的替代方案。通过避免需要平行语料库或显式语言对齐，该框架为高质量、任意对任意的零样本语音转换提供了一条可扩展且数据高效的路径。结果表明，所提出的“回文”策略有效地弥合了合成训练数据与现实世界推理之间的差距，即使在参考数据有限且跨越未知语言的情况下，也能实现稳健的性能。