⚡ electrical engineering

TRACE-EVC: Text-Guided Relative Affective Control for Zero-Shot Emotional Voice Conversion

本文介绍了 TRACE-EVC，这是一个零样本情感语音转换框架，它利用自然语言指令通过以源音频为锚定的流匹配（rectified flow）来引导相对的情感转换，从而在保持说话人身份和语音质量的同时，实现灵活的情感调节。

原作者： Zihan Zhang, Shreeram Suresh Chandra, Zongyang Du, Xiutian Zhao, Aurosweta Mahapatra, Hao Zhang, Philipp Koehn, Berrak Sisman

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihan Zhang, Shreeram Suresh Chandra, Zongyang Du, Xiutian Zhao, Aurosweta Mahapatra, Hao Zhang, Philipp Koehn, Berrak Sisman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个朋友正在给你讲故事。现在，他正用一种中性、平静的声音在说话。

**传统的情感语音转换（Traditional Emotional Voice Conversion）*就像是给你的朋友一个特定的剧本，上面写着：“现在，像一个愤怒的人那样说话。”* 或者 “现在，像一个悲伤的人那样说话。” 在他们开始之前，你必须定义好确切的终点。

这篇论文（TRACE-EVC）介绍了一种与你的朋友交流的新方式。你不再是给出一个目的地，而是给出一个方向。你会说：“让你的声音听起来再开心一点点，” 或者 “说话更有自信一点，” 或者 “把兴奋感稍微调低一点点。”

该系统不需要知道“开心”或“自信”在真空状态下是什么样子的。它只需要知道如何根据你的自然语言指令，将你朋友现在的声音向新的情感移动。

以下是他们是如何实现的，使用了简单的类比：

1. 问题所在：“目的地”陷阱

大多数语音系统的工作原理就像一个需要特定地址的 GPS（例如“去公园”）。如果你不知道地址，或者你只想“向北多开一段距离”，GPS 就会陷入混乱。

问题： 现有的工具需要一个特定的目标情感（比如标签“愤怒”）或一个参考录音（一段别人愤怒的音频片段）才能工作。
论文的解决方案： 他们意识到，在现实生活中，我们通常只是想把声音向某个方向推一下。“让它更温暖些”、“让它少一点惊讶”。他们想要一个能够理解这些“相对”指令的系统。

2. 数据集： “前后对比”教练 (TRACE-Instruct)

为了教会计算机这项新技能，研究人员不能仅仅使用现有的数据。他们需要一位能够解释声音是如何变化的，而不仅仅是变成了什么的老师。

类比： 想象一位舞蹈教练，他有一段舞者从“慢速”变为“快速”的视频。教练不仅仅是将第二个片段标记为“快速”，而是写下一段笔记：“舞者的步伐加快了，手臂抬得更高了。”
他们所做的： 他们获取了一对对情感演讲（源语音和目标语音）。他们使用了一个智能 AI（大语言模型）来观察这两者之间的差异，并写出一段描述这种变化的自然语言指令（例如：“将语调转向更开心、更温暖的表达方式”）。他们创建了一个庞大的“前后对比”指令库，称为 TRACE-Instruct。

3. 引擎： “指南针” (TRACE-EVC & Emo-Compass)

这是核心技术。论文中将主模块称为 Emo-Compass。

旧的方法： 想象每次你想去某个地方时都要从头画一张地图。你从一张白纸（噪声）开始，试图根据文本提示猜出目的地。
TRACE-EVC 的方法： 想象你已经站在一个特定的位置（源语音）。你拥有一个指南针（指令）。系统并不猜测目的地；它计算的是你从当前位置出发需要进行的向量（方向和距离）。
它是如何工作的：
1. 它获取当前的语音（锚点）。
2. 它读取你的指令（例如：“让它更冷静”）。
3. 它计算出将声音从“当前状态”移动到“更冷静”所需的精确数学“推力”。
4. 它应用这个推力来生成新的语音。
优势： 因为它是从实际的语音出发，所以它能完美地保留说话者的身份（是谁在说话）和词句（在说什么），同时仅根据要求改变其情感感受。

4. 结果：它奏效了吗？

研究人员通过两种方式测试了这个系统：

改变情感： 将“悲伤”转变为“开心”（或“没那么悲伤了”）。
改变强度： 让一个“开心”的声音变得“超级开心”或“略微开心”。

研究发现：

遵循指令： 系统非常擅长听从自然语言。如果你要求“更有自信”，声音听起来就会更有自信。如果你要求“少一点兴奋”，它就会变得平静下来。
保持身份： 声音听起来仍然像是原始说话者，而不是机器人或另一个人。
质量： 语音清晰且自然，可以与那些需要特定目标标签的旧系统相媲美（有时甚至超越）。
零样本（Zero-Shot）： 这意味着它可以在从未听过的说话者身上奏效，而无需预先获取该特定说话者表演特定情感的样本。

总结

可以将 TRACE-EVC 想象成一个理解细微差别的语音编辑器。它不再强行将声音塞进贴有“愤怒”或“悲伤”标签的僵化框框里，而是倾听你如 “让这段听起来更有戏剧性一点” 这样的自然请求，并平滑地引导声音向那个方向移动，同时完美地保护说话者独特的个性以及故事的内容。

技术摘要：TRACE-EVC

问题陈述

传统的情感语音转换（EVC）系统依赖于显式的目标条件——例如离散的情感标签、参考音频片段或绝对的风格描述——来引导生成。虽然这些范式很有效，但它们定义了一个固定的目标状态，却无法捕捉相对于源语音的情感转换的“方向”或“本质”。在许多实际场景中，用户可能并没有一个具体的目标情感在脑海中，而是希望对源语音进行相对的修改（例如，“让说话声稍微平缓一些”或“听起来明显更有自信”）。现有方法缺乏解释这种基于源语音条件的相对指令的能力，且在描述情感“转换”而非静态语调风格的数据集方面存在显著的数据缺口。

方法论

作者提出了 TRACE-EVC，这是一个用于指令引导的相对式 EVC 的零样本框架，并由 TRACE-Instruct 数据集提供支持。该框架由两个主要部分组成：

1. TRACE-Instruct 数据集构建

为了解决相对指令训练数据的缺乏问题，作者利用来自 ESD 和 MEAD 语料库的配对情感语音构建了 TRACE-Instruct。

配对构建： 通过不同情感（跨情感）和不同强度水平（情感内）构建源-目标对。
情感差异计算： 使用语音情感识别（SER）模型预测源（ $VAD_{src}$ ）和目标（ $VAD_{tgt}$ ）语音的效价-唤醒度-优势度（VAD）坐标。相对情感变化计算为 $\Delta VAD = VAD_{tgt} - VAD_{src}$ 。
指令生成： 利用大语言模型（LLM, Qwen3），通过输入源风格描述、目标风格描述以及计算出的 $\Delta VAD$ 进行提示。LLM 生成自然语言指令，用以描述“转换”（例如，“提高生动性”），而非绝对的目标风格。
过滤： 通过基于规则的过滤，移除显式的情感标签、数值化的 VAD 值和元数据，以确保指令保持相对性。

2. TRACE-EVC 框架

该模型以零样本方式运行，在推理阶段无需目标标签或参考音频。它包含两个级联模块：

Emo-Compass（情感罗盘/情感向导）：
- 输入： 源情感嵌入（ $z_{src}$ ）和文本编码的指令嵌入（ $p$ ）。
- 表示： 情感嵌入 $z$ 拼接了 emotion2vec 嵌入（类别级）、VAD 坐标（连续情感状态）以及平均韵律特征（F0 和能量）。
- 机制： 不同于从噪声中生成的扩散模型，Emo-Compass 将转换建模为一个以源语音为锚点的整流流（source-anchored rectified flow）。它将指令视为情感空间中的一个位移向量。
- 训练： Transformer $D_\theta$ 预测流的速度 $\hat{v}$ ，其训练目标是匹配地面真值位移 $v^* = z_{tgt} - z_{src}$ 。损失函数包括速度回归项以及用于方向、类别、VAD/韵律重建和强度排序的辅助引导项。
- 推理： 从 $z_{src}$ 开始，模型通过 $K$ 个欧拉步集成预测的速度，从而生成目标嵌入 $\hat{z}_{tgt}$ 。
合成模块：
- 该模块基于 DurFlex-EVC 主干网络，使用连续嵌入进行零样本转换。
- 它将源说话人嵌入与预测的目标情感嵌入相结合，以创建目标风格表示（ $m_{tgt}$ ）。
- 时长调节器和条件扩散解码器生成梅尔频谱图，随后由 HiFi-GAN 声码器转换为波形。此过程在应用指令的情感偏移时，保留了源说话人的身份和语言内容。

核心贡献

指令引导的相对式 EVC 任务： 引入了一种新的任务范式，其中自然语言指令指定基于源语音的情感转换（类别偏移和强度修改），而非固定的目标状态。
TRACE-Instruct 数据集： 一个包含 0.54M 相对情感指令的数据集，涵盖了跨情感偏移、情感内强度修改和开放式转换，通过受 VAD 差异引导的 LLM 生成。
TRACE-EVC 框架： 一个零样本系统，其核心 Emo-Compass 通过将生成过程锚定在源嵌入处，并将指令建模为整流流的速度，重新思考了基于提示的 EVC。这实现了灵活的控制，无需目标标签或参考音频。
实证验证： 通过综合实验证明，该系统在保持说话人身份、语言内容和语音质量的同时，能够准确遵循相对指令。

实验结果

跨情感转换（ESD 数据集）

性能： 在对比基准（包括基于标签的 SGEVC/DurFlex-EVC 和基于参考的 ZEST/VEVO）中，TRACE-EVC 取得了最高的情感相似度（EECS: 0.82）、说话人相似度（SECS: 0.68）和情感分类准确率（ACCcls: 93.00%）。
质量： 它保持了具有竞争力的词错率（WER: 9.96%）和 UTMOS 分数（3.57），表明其具有高可理解性和自然度。
消融实验： 移除 Emo-Compass 并仅进行嵌入拼接会导致 EECS（0.65）和 ACCcls（43.08%）显著下降，验证了通过流显式预测目标嵌入的必要性。

情感内强度转换（MEAD 数据集）

零样本能力： 在未见过的说话人上进行评估，TRACE-EVC 的 NISQA 得分（3.147）接近地面真值（3.248），展示了极高的自然度。
强度控制： 系统表现出与指令强度（如“轻微增加”对比“强烈增加”）相对应的平均唤醒度偏移的单调递增，证实了对情感强度的细粒度控制。
说话人保留： SECS 在未见说话人上保持稳定（0.706），表明了鲁棒的说话人身份保留能力。

指令遵循能力

15 位评分者的主观评估显示了极高的指令遵循（IF）得分：在跨情感和情感内设置下，得分分别为 4.135 和 4.296（基于 1–5 分制）。

组件分析（Emo-Compass）

情感线索： 消融研究确认，虽然 emotion2vec 提供了强大的类别级准确性，但加入 VAD 和韵律特征对于连续性指标至关重要。移除 VAD 会增加 VAD L2 距离和强度 MSE；移除韵律则会进一步降低强度的一致性。

意义与主张

本文声称 TRACE-EVC 成功弥合了自然语言指令与精细化情感控制之间的鸿沟。通过从面向目标的生成转向基于源语音的相对转换，该框架允许更直观、更灵活的控制（例如“更平缓”、“更有表现力”），而无需用户指定目标情感标签或提供参考录音。这项工作证明，将情感变化建模为连续情感空间中的位移（通过整流流）是实现零样本 EVC 的有效策略，不仅在标准类别任务上达到了与最先进系统竞争的性能，还实现了相对强度和开放式情感控制的新能力。