技术摘要：用于说话人识别对抗性规避的掩蔽能量扰动

1. 问题陈述

深度学习在语音合成和深度伪造技术领域的快速发展，为说话人验证系统引入了关键的安全漏洞。虽然这些系统对于银行、医疗等领域的生物特征身份验证至关重要，但它们也日益容易受到对抗性攻击的影响。具体而言，规避攻击利用模型的漏洞来诱导误分类，而无需改变训练过程。目前的威胁包括能够实现高攻击成功率（在某些背景下高达 95%）的有针对性的噪声信号，以及通过语音克隆进行未经授权访问的潜在风险。开发防御措施的主要挑战在于平衡攻击有效性与感知质量；许多现有的对抗方法会引入显著的音频失真，使其在人类听众面前极易被察觉或在感知上显而易见。

2. 方法论

本文提出了一种掩蔽能量扰动（Masked Energy Perturbation, MEP），这是一种新型的对抗性攻击策略，旨在通过遵循心理声学原理，在最小化感知失真的同时利用说话人识别模型。

2.1. 小能量掩蔽 (Small Energy Masking, SEM)

MEP 方法的核心是在频率域中选择性地应用扰动。

• 信号处理： 使用汉宁窗（尺寸 25 ms，步长 12.5 ms）进行短时傅里叶变换（STFT）处理音频，并重采样至 16 kHz。
• 能量阈值化： 算法计算时频仓中的能量分布 $x[m, k]$。根据每个语音的峰值能量 ($x_{peak}$) 建立阈值 $x_{th}$。具体而言，该阈值是使用比例 $\eta_{th}$（实验中设定为 -20 dB）相对于峰值推导出的：
  $$x_{th} = x_{peak} 10^{\frac{\eta_{th}}{10}}$$
• 掩蔽生成： 生成二值掩码 $\mu[m, k]$，其中当能量高于阈值（高能区域）时值为 1，否则为 0。然而，扰动被应用于被掩蔽的特征，从而有效地针对低能量区域（小能量区域），这些区域对人类听觉模型而言不那么敏感。
• 扰动应用： 将对抗性扰动 $\delta$ 与掩蔽特征 $x_{sem}$ 相乘，以生成最终的掩蔽能量扰动 $x_{mep}$。这确保了扰动集中在人类耳朵较不敏感的区域。

2.2. 攻击策略

论文实现了两种基于梯度下降的攻击变体：

1. 基础 MEP (Basic MEP)： 计算损失函数对输入的梯度，应用能量掩码到梯度，并将扰动添加到原始信号中。
2. 迭代 MEP (I-MEP)： 将扰动初始化为零，并在 $N$ 步（例如 20 次迭代）内进行迭代优化。在每一步中，应用 mel 滤波器组变换，计算损失，并在更新扰动之前对梯度进行掩码处理。扰动被裁剪以维持约束 $\epsilon$（设定为 0.0002）。

最终的对抗性波形是通过对修改后的功率谱应用逆短时傅里叶变换（Inverse STFT）生成的。

3. 实验设置

• 数据集： 实验使用了 LibriSpeech 数据集（干净集），从 116 名说话人中选择了平均每人 113 个语音片段。
• 目标模型： 在白盒条件下测试了三个最先进的说话人编码器模型：
  • ResNetSE34-L
  • ResNetSE34-V
  • ECAPA-TDNN
  • 所有模型均在 VoxCeleb 数据集上进行了预训练。
• 对比基准： 将提出的方法与标准对抗攻击算法进行比较：FGSM、I-FGSM、MI-FGSM 和 PGD。
• 指标：
  • 感知质量： 使用语音感知质量评估（PESQ）和信噪比（SNR）进行测量。
  • 攻击有效性： 通过自动说话人验证（ASV）任务中的等错误率（EER）进行测量。

4. 关键结果

研究表明，与传统方法相比，MEP 和 I-MEP 在规避有效性和音频质量之间实现了更优的平衡。

4.1. 音频质量保持

• PESQ 分数： I-MEP 方法在所有模型中实现了最高的 PESQ 分数，范围在 3.7657 至 3.7709 之间。相比之下，传统的 FGSM 等方法得出的分数明显较低（约 2.6）。
• SNR： I-MEP 保持了最高的信噪比，范围在 38.07 dB 至 38.14 dB 之间，表明信号完整性受到的降级极小。
• 相对性能： 论文指出，在 PESQ 评估中，MEP 的相对性能比 FGSM 和 I-FGSM 高出 26.68%。

4.2. 规避有效性

• EER 表现： 模型的基准 EER 非常低（0.01% 到 6.38%）。在受到攻击后，EER 显著增加，表明误分类成功。
  • ResNet34-L： I-MEP 实现的 EER 为 44.04%。
  • ResNet34-V： I-MEP 实现的 EER 为 42.64%。
  • ECAPA-TDNN： I-MEP 实现的 EER 为 42.37%。
• 比较： 虽然 FGSM 和其他方法也增加了 EER（范围在 ~40% 到 ~43% 之间），但基于 MEP 的方法在保持显著更高音频质量的同时，始终优于或匹配了最佳的传统攻击。

5. 重要性与主张

论文声称，掩蔽能量扰动（MEP） 方法通过利用心理声学掩蔽，代表了针对说话人识别系统对抗性攻击的一次重大进展。

• 心理声学优化： 通过在 mel 滤波器组域中选择性地扭曲低能量区域，该方法利用了人类听觉模型的局限性。这使得注入对人类听众而言不可察觉、但对机器学习模型高度有效的对抗性噪声成为可能。
• 隐私保护： 作者将此方法定位为保护语音隐私的工具。通过生成在不降低感知自然度的前提下减少说话人嵌入相似度的扰动，MEP 提供了一种在保持语音数据效用的同时模糊生物特征身份的方法。
• 优于逐元素扰动： 研究结论认为，MEP 类方法（特别是 I-MEP）比传统的逐元素扰动技术（如 FGSM）更有效，因为它们能保持较高的 PESQ 分数（>3.5）和卓越的 SNR，从而更难通过音频质量分析被检测到。

研究强调，尽管深度神经网络在检测克隆声音方面具有鲁棒性，但在面对精心设计的、基于心理声学的、针对频率域特定能量分布的扰动时，仍然表现出脆弱性。