⚡ electrical engineering

Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS

该论文提出了一种专为情感化语音合成设计的两阶段提示选择策略，通过结合静态阶段的声学特征评估与动态阶段的文本相似度匹配，有效提升了零样本语音合成中的情感强度与说话人一致性。

原作者： Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ExpPro 的新方法，旨在解决人工智能（AI）“说话”时的一个核心痛点：如何让 AI 模仿声音时，不仅像本人，而且情感更丰富、更到位。

为了让你轻松理解，我们可以把 AI 语音合成想象成**“请一位演员（AI）来演一段戏”**。

1. 核心问题：演员选错了“剧本”和“参考”

现在的 AI 语音技术（特别是基于大语言模型的）非常厉害，只要给它一段几秒钟的录音（我们叫它**“提示音”或Prompt**），它就能模仿出那个人的声音，甚至还能模仿那种声音里的情绪（比如开心、悲伤、愤怒）。

但是，这里有个大麻烦：

随机选参考（Random）： 就像导演随便从仓库里抓一个演员来演，可能他今天状态不好，或者他拿到的“参考录音”本身就很平淡，导致 AI 演出来的戏毫无感情，或者声音不像本人。
只看文字（Text-based）： 就像导演只看剧本上的字，觉得“这段是哭戏”，就随便找个哭过的录音给 AI 参考。但有时候，文字里的“哭”和录音里的“哭”其实不搭调，AI 就会演得很尴尬。

结果就是： AI 要么声音不像，要么情感很假，要么情绪不够强烈。

2. 解决方案：ExpPro —— 一个聪明的“选角导演”

这篇论文提出的 ExpPro，就像是一个超级挑剔且聪明的选角导演。它不随便抓人，而是分两步走，精心挑选最合适的“参考录音”给 AI 用。

第一步：静态筛选（面试环节）—— 挑出“好苗子”

在正式开拍前，导演先对所有候选录音进行严格面试，看它们是不是“好演员”。这里主要看三个指标：

声音的“起伏感”（音高）： 就像看演员说话时语调是否丰富。生气时声音通常又高又抖，悲伤时声音低沉平稳。导演会先筛选出那些语调特征最符合当前情绪（比如“愤怒”）的录音。
听感质量（DNSMOS）： 就像检查录音设备是否清晰，演员发音是否自然，有没有杂音。
文字与情绪的匹配度（LLM 评估）： 导演会问一个超级 AI（大语言模型）：“这段录音里的文字，和它想表达的情绪（比如‘开心’）搭不搭？”如果录音里文字是“我很难过”，但情绪标签是“开心”，那直接淘汰。

经过这一轮，导演会淘汰掉那些“状态不好”或“不搭调”的录音，只留下最优质的几个。

第二步：动态筛选（现场对戏环节）—— 挑出“最合拍”的

静态筛选后，手里还剩下一批好苗子。现在，导演要面对具体的新剧本（用户想让 AI 说的新句子）。

这时候，导演会拿着新剧本，去和剩下的几个“好苗子”比对。
他会问：“哪一段参考录音，在语义上和现在的剧本最像？”
比如，如果新剧本是“太棒了，我们赢了！”，导演就会选那个参考录音里也是表达“极度兴奋”且语境最接近的那一段，而不是选一段虽然也是“开心”但语境是“收到礼物”的录音。

最终，AI 拿到这个“最合拍”的参考录音，就能完美地模仿出既像本人、又充满强烈情感的语音了。

3. 实验效果：真的有用吗？

研究人员在两个很火的 AI 语音模型（CosyVoice 和 GPT-SoVITS）上做了测试。

对比结果： 以前随便选参考（Random）或者只看文字（Text-based）的方法，AI 说话要么没感情，要么声音不像。
ExpPro 的表现： 用了这个方法后，AI 说话的情感强度（比如愤怒时真的像愤怒）和声音相似度（真的像本人）都显著提升。
有趣发现： 即使是同一段参考录音，给不同的 AI 模型用，效果也不一样。ExpPro 的聪明之处在于，它不仅看录音本身好不好，还看这个录音在这个特定的 AI 模型里表现好不好。

总结

简单来说，ExpPro 就是给 AI 语音合成装了一个“智能选角系统”。

它不再盲目地让 AI 模仿，而是先像质检员一样把录音挑一遍（确保声音好、情绪对），再像导演一样根据具体的台词选最合适的参考（确保语境对）。这样，AI 说出来的话，不仅像那个人，而且演得真，情感饱满，不再像机器人一样冷冰冰。

这项技术不需要重新训练 AI 模型，只是优化了“选参考”这一步，就能让现有的 AI 说话水平更上一层楼。

论文技术总结：基于表达性提示（Expressive Prompting）提升零样本 TTS 的情感强度与说话人一致性

1. 研究背景与问题 (Problem)

近年来，基于大语言模型（LLM）的语音合成（TTS）系统通过输入提示（Prompt）实现了零样本（Zero-shot）生成，能够控制内容、音色、说话人身份和情感。然而，现有的提示选择方法存在显著局限性：

提示质量不稳定：现有的随机选择或仅基于文本相似度的方法，往往无法保证提示语中包含足够稳定的说话人身份线索（Speaker Identity Cues）和适当的情感强度指示。
情感表达不足：在情感语音合成场景中，提示语的选择直接决定了生成语音的情感表现力和说话人相似度。如果提示语本身的情感强度不足或与目标文本不匹配，会导致生成结果情感平淡或说话人特征丢失。
缺乏针对性策略：目前缺乏一种无需额外训练、能系统性地筛选出高情感强度和高说话人一致性提示的策略。

核心研究问题：能否在不进行额外训练的情况下，通过改进提示选择策略，显著提升零样本 TTS 中的情感强度（Emotion Intensity）和说话人一致性（Speaker Consistency）？

2. 方法论 (Methodology)

论文提出了 ExpPro，一种专为情感语音合成设计的两阶段提示选择策略。该策略结合了静态筛选（Static Selection）和动态选择（Dynamic Selection），旨在从候选提示库中筛选出最优提示。

2.1 第一阶段：静态选择 (Static Selection)

在合成之前，对提示候选集进行多维度的质量评估和筛选，分为三个子步骤：

基于音高（Pitch）的聚类筛选：
- 利用音高（基频）的均值和方差作为情感特征。不同情感（如愤怒、快乐通常具有高均值和高方差；悲伤、平静具有低均值和低方差）对应不同的音高模式。
- 使用 K-Means 算法根据音高均值和方差将候选提示聚类，筛选出具有特定情感强度特征的 $m$ 个聚类簇。
感知质量与文本情感一致性筛选：
- 感知质量：使用 DNSMOS 评估提示语音的清晰度、自然度和整体质量。
- 文本情感一致性：利用 ChatGPT 作为语义比较器，评估提示文本与目标情感标签的匹配程度（Text-Emotion Coherence），确保文本内容能有效传达情感。
- 结合 DNSMOS 分数和 ChatGPT 评分，选取前 $n\%$ 的高质量数据。
基于特定 TTS 模型的性能评估：
- 认识到同一提示在不同 TTS 模型中的表现可能不同。将筛选后的提示输入到目标 TTS 模型（如 CosyVoice 或 GPT-SoVITS）进行推理。
- 计算三个关键指标：字符错误率 (CER)、说话人相似度 (Speaker Similarity, 使用 Resemblyzer/WavLM) 和 情感相似度 (Emotion Similarity, 使用 emotion2vec)。
- 通过加权综合评分，保留在特定模型下表现最佳的 $k$ 个提示候选。

2.2 第二阶段：动态选择 (Dynamic Selection)

在合成过程中，根据当前的输入文本进行最终选择：

使用文本相似度模型（stsb-distilroberta-base）计算输入文本与静态筛选出的 $k$ 个候选提示文本之间的语义相关性。
选择语义最相关、上下文最匹配的提示作为最终提示，以增强情感表达的连贯性。

3. 主要贡献 (Key Contributions)

提出 ExpPro 策略：一种无需额外训练的两阶段（静态 + 动态）提示选择框架，专门针对基于 LLM 的 TTS 系统，显著提升了零样本生成的情感强度和说话人一致性。
多维度分析视角：不仅考虑提示语本身的固有质量（音高特征、感知质量、文本情感一致性），还引入了模型特定性能评估（Prompt Model Performance），解决了不同模型对同一提示响应差异的问题。
通用性与灵活性：该策略适用于任何涉及“提示语音”概念的 TTS 模型，能够灵活提升情感表达力，具有广泛的适用性。

4. 实验结果 (Results)

实验在 HE2D（高情感表达数据集）和 ESD（开源情感语音数据库）上进行，对比了 CosyVoice 和 GPT-SoVITS 两种主流模型。

对比基线方法：
- 与随机选择（Random）和纯文本相似度选择（MiniLM）相比，ExpPro 在 MOS（平均意见得分，代表语音质量） 和 SP（强度感知，代表情感强度） 上均取得了显著提升。
- 例如，在 CosyVoice 的 HE2D 数据集上，Happy 情感的 MOS 从 4.13 提升至 4.45，SP 从 0.767 提升至 0.811。
模型依赖性验证：
- 实验表明，同一提示在不同模型下的表现差异巨大（如 Top 1 和 Bottom 1 的提示在不同模型中排名不同），证明了引入“模型性能评估”阶段的必要性。
- CosyVoice 在说话人相似度和情感相似度上整体优于 GPT-SoVITS，主要归因于其使用了 ASR 监督的 Tokenizer 和额外的说话人 x-vector 输入。
消融实验：
- 提示语音质量模块：移除该模块（即选择质量差的提示）导致 SP 显著下降（如 Happy 情感下从 0.782 降至 0.633）。
- 模型性能评估模块：移除该模块（即忽略模型特定表现）导致 MOS 和 SP 均有下降，证明了针对特定模型筛选提示的重要性。
参数敏感性：实验确定了最佳参数组合为 $m=3$ （聚类数）， $n=15$ （筛选比例）， $k=5$ （最终候选数），此时情感相似度和强度感知达到最优。

5. 意义与展望 (Significance)

技术价值：ExpPro 证明了在不重新训练模型的前提下，通过优化输入提示的选择策略，可以显著挖掘现有 LLM-TTS 模型的潜力，解决情感表达弱和说话人特征不稳定的痛点。
应用前景：该方法为构建高保真、高情感表现力的语音合成系统提供了低成本、高效率的解决方案，特别适用于需要快速适配新说话人或特定情感场景的应用。
未来工作：作者计划探索更多维度的提示选择策略，并将其扩展到文本转音频（Text-to-Audio）等其他生成任务中。

总结：本文通过引入“静态多维评估 + 动态语义匹配”的两阶段机制，成功解决了零样本 TTS 中提示选择的关键难题，实现了情感更丰富、说话人更稳定的语音合成效果。