⚡ electrical engineering

Discrete optimal transport is a strong audio adversarial attack

本文提出了一种利用离散最优传输将帧级语音嵌入与真实分布进行对齐的黑盒音频对抗攻击方法，该方法无需访问模型参数或梯度，即可有效地降低自动说话人验证和防欺诈系统的性能。

原作者： Anton Selitskiy, Akib Shahriyar, Jishnuraj Prakasan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Anton Selitskiy, Akib Shahriyar, Jishnuraj Prakasan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常严格的保镖，守在一个高级俱乐部的门口（这个保镖就是说话人验证系统）。这个保镖有两个任务：

身份检查： 确保说话的人确实是他们声称的那个人（例如：“这真的是约翰吗？”）。
伪造检测器： 确保声音不是来自机器人、深度伪造（deepfake）或假冒人类的录音（这是反欺骗任务）。

通常情况下，如果有人试图使用假声音（比如文本转语音机器人）溜进来，保镖的“伪造检测器”会立即发现它，因为机器人的声音听起来很“怪异”或不自然，不像真人。

新的诡计：“人群融合”攻击

这篇论文介绍了一种欺骗保镖的新方法，叫做离散最优传输（Discrete Optimal Transport, DOT）。攻击者不再试图让假声音听起来完全像某个特定的人（这很难），而是利用一种聪明的统计技巧，让假声音听起来属于普通人类群体的一员。

以下是它的运作方式，使用一个简单的类比：

1. 设置：两个大理石罐

想象你有两个装满大理石球的罐子：

罐子 A（假声音）： 里面装的是代表计算机生成的语音的大理石。它们全都呈现出一种现实中人类声音所没有的、略微“蓝色且闪亮”的特征。
罐子 B（真实人类）： 里面装的是代表成千上万个真实人类声音的大理石。它们是颜色和纹理极其杂乱、自然的混合体。

保镖被训练去识别并扔掉来自罐子 A 的那些“蓝色且闪亮”的大理石。

2. 攻击：“运输”机器

研究人员构建了一台机器（DOT 算法），它观察罐子 A 中的每一颗大理石，并询问：“你看起来最像罐子 B 中的哪一颗真实人类的大理石？”

它不仅仅是把一颗大理石换成另一颗。相反，它创建了一个映射图。它提取那些“蓝色且闪亮”的假大理石，并在数学上对其进行微调，通过融合它们的颜色和纹理，使它们看起来与罐子 B 中那种杂乱、自然的混合体完全一致。

神奇的一步： 这台机器使用了**最优传输（Optimal Transport）**技术。你可以把它想象成一个超级高效的快递服务，它将“假”大理石移动到“真实”的位置，以最小的代价，确保最终形成的堆叠看起来与一堆真实人类的声音完全无法分辨。

3. 结果：保镖被迷惑了

一旦假声音的大理石被“运输”并融入了真实人类的风格后，保镖就无法再分辨其中的区别了。

伪造检测器失效了： 该声音不再听起来像“合成的”或“机器人的”。它听起来就像一个正常的真人声音，因此保镖会让它通过。
身份检查陷入困境： 因为声音现在听起来像是一个通用的普通人，系统会感到困惑，往往无法验证说话者是否真的是其声称的那个人。

为什么这种攻击与以往不同？

旧攻击（基于梯度的攻击）： 就像是通过感知锁芯的跳动来尝试开锁。它们需要知道保镖大脑的具体运作方式（内部代码）才能找到微小的缺陷。如果保镖更换了锁，攻击就会失效。
这种攻击 (DOT)： 就像是穿着和其他宾客一模一样的衣服走向保镖。无论保镖的锁内部长什么样都不重要；只要你看起来像一位真实的宾客，你就能进去。攻击者不需要看到保镖的代码，也不需要知道他们是如何思考的。他们只需要一堆真实的真人声音来模仿即可。

研究人员发现了什么？

它适用于一切： 他们在两个主要的安全性挑战（ASVspoof2019 和 ASVspoof5）上进行了测试。即使安全系统经过了更新或“微调”以捕捉特定类型的伪造，该攻击依然成功地骗过了安全系统。
关于“氛围”，而非“身份”： 这种攻击之所以成功，并不是因为它让假声音听起来完全像目标人物。它之所以成功，是因为它让假声音在统计学上与普通人类高度相似。它将假声音的“氛围”转移到了真实声音所在的“安全区”。
这是一个黑盒攻击： 攻击者不需要成为系统内部的黑客。他们只需要一台能生成声音的计算机和一个用于“融合”的真人录音库即可。

核心结论

这篇论文指出，目前的安保系统非常擅长识别“奇怪”或“机械化”的声音。然而，它们容易受到一种新型攻击的影响，这种攻击并不追求完美，而只是追求统计学上的平均水平。通过在数学上将假声音融入真实人类声音的“云团”中，攻击者可以神不知鬼不觉地绕过安全守卫。

这表明，未来的安全系统需要看得更深：不仅要问“这听起来像机器人吗？”，还要开始问：“这在正确的语境下，听起来像是一个真实的人吗？”

技术摘要：作为强音频对抗攻击的离散最优传输

1. 问题陈述

自动说话人验证（ASV）系统依赖于欺骗检测（Spoofing Countermeasures, CMs）来区分真人语音（Bona Fide）与合成或篡改的音频。尽管现代 CMs（如 AASIST）在 ASVspoof2019 和 ASVspoof5 等标准化基准测试中取得了强劲的表现，但它们对于未见生成方法和后处理攻击的鲁棒性仍然是一个关键的脆弱点。

现有的对抗攻击通常分为两类：

基于优化的攻击： 这些攻击利用模型的梯度、评分反馈或代理模型（例如 Malafide）。在只能以黑盒形式访问 CM 的实际场景中，这些攻击往往受到限制。
基于合成的攻击： 这些攻击依赖于日益逼真的文本转语音（TTS）或语音转换（VC）系统。然而，这些方法在不同数据集或不同对策配置之间的泛化能力往往较差。

本文研究了第三种范式：分布对齐（Distribution Alignment）。其核心假设是，通过修改生成的语音，使其嵌入分布（Embedding Distribution）与真人语音的分布对齐，即使在不对目标模型进行直接优化或不最大化说话人相似度的情况下，也能绕过 CM。

2. 方法论：kDOT 攻击

所提出的方法被称为 kDOT 攻击，它是一种黑盒、后处理阶段的攻击，适用于任意语音生成系统的输出。该方法不需要访问模型参数、梯度或训练数据。

核心机制

该攻击利用离散最优传输（Discrete Optimal Transport, DOT），将源语音的帧级嵌入与一组非配对的真人语音池进行对齐。

嵌入提取： 使用 WavLM Large（具体为第 6 层 Transformer 层）将源音频 $x$ 和目标真人音频池 $y$ 转换为帧级嵌入。
最优传输： 求解一个熵正则化的离散 OT 问题，以找到一个耦合矩阵 $\gamma$ ，使源嵌入 $X$ 与目标嵌入 $Y$ 之间的传输代价（由余弦距离定义）最小化。
Top-k 重构重心投影（Top-k Barycentric Projection）： 为了重建嵌入，通过重心投影定义传输映射。作者采用了 top-k 策略（具体为 $k=5$ ），其中每个源嵌入被映射到目标分布中其前 $k$ 个最近邻的加权平均值。这种方法源自 kDOT-VC，在有效移动分布的同时保留了语音的可理解性。
重建： 使用神经声码器（HiFi-GAN）将传输后的嵌入转换回波形。

威胁模型

攻击者知识： 攻击者拥有一个源语料（合成语音或非目标真人语音）和一个来自目标或相关领域的非配对真人录音池。
访问权限： 该攻击是纯黑盒式的；它不需要在生成过程中与 CM 进行交互。
目标： 将源信号转化为被 CM 接受为真人的状态，同时保持可理解性，并在 ASV 场景下近似目标说话人的声学特征。

3. 主要贡献

本文做出以下贡献：

新颖的攻击向量： 引入了一种基于离散最优传输和分布对齐的针对反欺骗系统的黑盒对抗攻击，这与基于梯度或纯合成的方法截然不同。
性能退化： 证明了最优传输后处理能显著降低现代欺骗检测器（AASIST）在 ASVspoof2019 和 ASVspoof5 基准测试上的表现。
全面分析： 通过 CM 等错误率（EER）、ASV EER、说话人相似度（SIM）和分布度量（Fréchet Audio Distance）对攻击有效性进行了分析，深入探讨了失效机制。
迁移性与鲁棒性： 研究了攻击在不同数据集间的迁移能力，以及在面对对策微调时的韧性。
实证比较： 提供了 OT 后处理与现有语音生成攻击之间的对比，讨论了声码器失配（Vocoder Mismatch）和领域自适应的作用。

4. 实验结果

实验在 ASVspoof2019 和 ASVspoof5 上针对基于 AASIST 的对策进行。

对策规避

ASVspoof2019： kDOT 攻击（OT19）实现的 CM EER 为 29.67%，显著高于最强的基线攻击（A17–A19，范围在 0.65% 到 2.58% 之间）。
ASVspoof5： 针对 AASIST5，该攻击（OT2）实现的 CM EER 为 11.18%。值得注意的是，当 AASIST5 在 OT2 数据上进行微调后，该攻击的 EER 仍维持在 12.58% 的高位，而基线攻击 A185 在微调后 EER 显著下降。
跨数据集迁移： 攻击展示了强大的迁移性。例如，对 ASVspoof2019 攻击（A17–A19）应用 OT 处理，使其 CM EER 从约 1.26% 提升至约 26.13%。

说话人验证影响

攻击降低了 ASV 性能，在联合系统评估中将 ASV EER 从 0.79% 提高到 14.88%。
至关重要的是，说话人相似度（SIM） 的增幅较为温和（例如从 0.41 增加到 0.47），这表明攻击的成功并非主要由最大化模仿说话人驱动。

机制分析

分布对齐： 通过 t-SNE 可视化和 Fréchet Audio Distance (FAD) 度量证实，该攻击将合成语音的嵌入分布向真人语音的表示空间区域进行了偏移。
声码器失配： 文中指出性能随声码器重叠程度而变化。例如，OT2 在 ASVspoof5 上表现出的较低 EER（相比其他攻击）部分归因于攻击与 ASVspoof5 训练数据共同使用了 HiFi-GAN 声码器。

5. 重要性与主张

本文主张，基于最优传输的分布对齐代表了一种此前未被充分探索的针对当代 ASV 及反欺骗系统的攻击向量。

作者得出结论，kDOT 攻击的成功源于其能够将欺骗语音的全局统计分布转移到真人语音占据的区域，而非通过优化特定说话人特征或利用特定合成模型的伪影。这一机制解释了：

CM EER 的大幅上升。
之前难以应对的攻击所观察到的显著增益。
攻击对对策微调的部分鲁棒性。
跨不同数据集和攻击家族的迁移性。

这项工作凸显了当前防御机制的一个实际局限性：即使局部特征（如说话人身份）没有被完美优化，它们也可能受到改变输入数据全局分布的攻击的影响。作者将其定位为未来反欺骗研究中一个重要的、尚未被充分研究的威胁模型。