⚡ electrical engineering

Phoneme-Level Deepfake Detection Across Emotional Conditions Using Self-Supervised Embeddings

本文提出了一种基于自监督 WavLM 嵌入的音素级深度伪造检测框架，以证明分析特定语音单元（尤其是复杂元音和擦音）为跨多种情感条件识别情感操纵的合成语音提供了一种有效且可解释的方法。

原作者： Vamshi Nallaguntla, Shruti Kshirsagar, Anderson R. Avila

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Vamshi Nallaguntla, Shruti Kshirsagar, Anderson R. Avila

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图识别一幅赝品画作。大多数人会从远处审视整幅画布。如果色彩看起来正确，场景也合乎逻辑，他们便假定它是真迹。但本文提出，若要真正识破赝品，你需要放大画面，仔细观察每一笔单独的笔触。

以下用简单的类比来拆解本文的研究发现：

问题所在：“整体画面”的陷阱

在音频领域，“深度伪造”（deepfakes）是指由人工智能生成的虚假语音。近年来，这些 AI 语音在模仿人类情感（如愤怒、快乐或悲伤）方面已变得非常逼真。

目前的检测方法通常一次性听取整个句子。作者认为，这无异于“以貌取书”，忽略了细微之处。当 AI 试图模仿某种特定情感时，它并不会在整个句子上均匀地出错，而是在特定的微小声音构建单元——即音素（phonemes，语音的最小单位，例如"ship"中的"sh"或"father"中的"ah"）——上出现破绽。

解决方案：“乐高积木”方法

研究人员构建了一个新系统，将语音拆解为这些微小的“乐高积木”（音素），以观察 AI 在构建哪些积木时会出现困难。

他们采集了真实人类带有情感（如愤怒或快乐）的语音录音，并将其与 AI 生成的、完全相同的词汇和情感版本的语音进行对比。他们使用了一种名为WavLM的智能 AI 工具，来聆听每个声音“积木”的“指纹”。

研究发现：“薄弱环节”

正如链条的强度取决于其最薄弱的一环，研究人员发现，某些声音“积木”比其他声音更难被 AI 伪造。

“花哨”的声音最先露馅：
- 复杂元音： 那些从一个音滑向另一个音的声音（例如"boy"中的"oy"或"cow"中的"ow"）是最明显的赝品。AI 难以在声音之间实现平滑过渡，留下了易于察觉的数字“瑕疵”。
- 嘶嘶声（擦音）： 像"sh"、"ch"和"f"这样的声音（通过气流穿过狭窄缝隙产生）也极易被检测。AI 难以完美重现这些声音所特有的混乱、嘈杂的质感。
“简单”的声音更稳固：
- 简单、稳定的声音（例如"father"中的"ah"或"mother"中的"m"）则更难与真实人声区分开来。AI 能够很好地模仿这些稳定的音调，即使它们是伪造的，看起来也显得“真实”。

“距离”测试

研究人员使用了一个名为**Kullback–Leibler 散度（KLD）**的数学概念。你可以将其想象为一个“距离计”。

他们测量了真实声音的“指纹”与伪造声音的“指纹”之间的差距。
规则： 距离越大（即伪造声音与真实声音的差异越大），检测器就越容易判定：“那是伪造的！”
他们发现了一个强关联：那些与真实情况差异最大的声音，也正是检测器最常捕获的声音。

“情感”因素

本研究的一个关键点在于，他们在情感匹配的条件下进行了测试。

想象一下，将真实的愤怒喊叫与伪造的愤怒喊叫进行对比。
尽管 AI 极力试图表现出情感，但它仍然会在复杂的声音上留下相同的错误“指纹”。
研究发现，伪造这些声音的难度并不会因为说话者是愤怒还是快乐而改变；“薄弱环节”始终如一。

结论

本文总结道，如果你想识破带有情感的人声深度伪造，不要只听整个句子。相反，要观察那些微小的、单独的声音。如果 AI 试图伪造像"oy"这样的复杂声音，或像"sh"这样的嘶嘶声，它很可能会留下比伪造像"m"这样的简单声音时更容易被察觉的数字足迹。

通过关注这些特定的“积木”，而不是整面“墙”，我们可以构建出更好、更易懂的伪造音频检测器。

技术摘要：基于自监督嵌入的情感条件下音素级深度伪造检测

问题陈述
情感语音转换（EVC）的最新进展使得生成能够高度模仿自然情感表达的富有表现力的合成语音成为可能，这在新闻和法律诉讼等高风险场景中给音频深度伪造检测带来了重大风险。尽管现有的检测方法已取得进步，但它们主要将语音视为话语或帧级别的同质信号。这种方法在很大程度上忽视了语音的内部音素结构，而这一点至关重要，因为情感表达是通过音素级别的时长、音高和频谱特征的变化来实现的。因此，情感操纵过程中引入的合成伪影可能具有音素依赖性，然而当前模型却对此细粒度结构进行聚合，从而可能遗漏关键的判别线索。此外，先前的音素级研究主要集中在通用（非情感）的文本到语音（TTS）和语音转换上，情感条件合成下音素的特定行为在很大程度上尚未被探索。

方法论
作者提出了一种受控的音素级框架，用于分析经情感操纵的合成语音。该方法论包含以下组件：

数据集构建： 本研究利用 EmoFake 数据集，聚焦于两名说话人（0011 和 0016），他们的中性话语被转换为四种目标情感（愤怒、快乐、悲伤、惊讶），使用了两种不同的 EVC 系统：VAW-GAN-CWT（EVC1）和 DeepEST（EVC2）。该设置确保了真实语音与合成语音之间具有匹配的情感条件和共享的转写文本，从而将合成效果与内容变化隔离开来。
音素对齐： 使用蒙特利尔强制对齐器（MFA）处理音频 - 转写文本对，以生成时间对齐的音素边界（TextGrid）。去除重音标记以确保标签一致性，并排除样本数量不足的音素。
特征提取： 该框架采用自监督学习（SSL）模型 WavLM 来提取嵌入向量。对于每个音素片段，将最后一层隐藏层的帧级嵌入通过平均池化进行聚合，以创建固定维度的音素级表示。
分析与分类：
- 分布发散性： 计算真实语音与合成语音音素嵌入的多变量高斯分布之间的对称 Kullback-Leibler 散度（KLD），以量化分布差异。
- 分类： 为每个音素训练一个带有径向基函数（RBF）核的支持向量机（SVM），以执行二分类（真实 vs. 伪造）。
- 相关性： 计算 KLD 值与 SVM 分类准确率之间的皮尔逊相关系数，以评估分布发散性与可检测性之间的关系。

主要结果
该研究揭示了不同音素类别对情感语音转换响应的独特模式：

音素敏感性： 复杂元音（如 /AO/、/AY/、/OY/ 等双元音）以及擦音/塞擦音（如 /CH/、/JH/、/SH/）始终表现出最高的 KLD 值和较高的分类准确率。这表明，这些以复杂频谱细节或非周期性能量为特征的音素更难被逼真地合成，因此对 EVC 伪影更为敏感。
简单音素的稳定性： 较简单的单元音（如 /AH/、/IH/）和响音（鼻音和近音）显示出较低的分布发散性，以及更稳定（尽管中等）的分类性能。
相关性发现： KLD 与分类准确率之间存在普遍的正相关关系，特别是在高唤醒度情感（如快乐和惊讶）中。例如，在 EVC1-快乐条件下的元音中，观察到了强相关性（ $r=0.75$ ）。然而，这种关系在低唤醒度情感（如悲伤）中减弱，表明在这些条件下韵律变化的减少削弱了仅凭发散性进行预测的能力。
韵律伪影： 对 F0 轮廓的分析证实，与真实语音更平滑的轨迹相比，合成语音表现出不规则的过渡和突变的变异，并且在两种 EVC 系统之间观察到了截然不同的伪影特征。

贡献
本文做出了三项主要贡献：

框架： 提出了一种受控的音素级框架，用于分析情感深度伪造，通过在匹配的情感条件下使用共享转写文本和音素对齐表示，比较真实语音与 EVC 生成的语音。
实证分析： 探索了 WavLM 嵌入、对称 KLD 与 RBF 核 SVM 性能在四种情感和两种合成系统之间的相关性，确立了音素级分布偏移是可检测性的预测指标。
资源： 作者发布了一个经过策划的数据集，包含对齐的转写文本和音素级 TextGrid 标注，以支持该领域的可重复性研究和未来研究。

意义与主张
作者主张，音素级分析是一种检测经情感操纵的合成语音的有效且可解释的方法。研究结果表明，合成特定音素类别的难度是神经语音转换的一个普遍属性，即使施加了情感韵律，这一属性依然存在。通过识别出复杂元音和擦音表现出最高的发散性，这项工作表明，细粒度的语音学分析可以揭示话语级模型所遗漏的判别线索。研究结论认为，音素级的分布发散性是分类性能的一个有意义的预测指标，特别是当与非线性分类器结合使用时，这为开发更稳健、可解释的情感音频深度伪造检测器提供了一条途径。