Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

技术摘要：基于干净参考特征-声码器的 ASR 对抗攻击

问题陈述
自动语音识别（ASR）系统，特别是像 Whisper 这样的大规模基础模型，正越来越多地部署在现实世界的应用中，但仍然容易受到对抗攻击的影响。现有的对抗攻击通常通过直接在原始波形输入上添加微小的、不可察觉的扰动来运行。作者指出了这种以波形为中心的方法的两个关键局限性：

1. 黑盒迁移能力有限： 波形扰动往往会过拟合于代理模型的特定梯度，从而无法泛化到未见的目标 ASR 系统。
2. 易受防御措施影响： 由于对抗信号被显式表示为加性波形噪声，因此很容易被针对输入空间扰动的防御手段（如对抗训练和输入预处理，例如低通滤波、WaveGuard）所缓解。

方法论：干净参考特征-声码器攻击
本文提出了一种基于代理模型的黑盒攻击，将对抗搜索空间从原始波形转向自监督学习（SSL）特征表示。核心流程包含三个阶段：

1. 特征提取： 一个冻结的 SSL 编码器（如 WavLM-Large）从干净音频输入中提取帧级声学-音素表示 ($q$)。
2. 特征空间扰动： 该方法不是修改波形，而是在 SSL 特征空间内直接优化一个可学习的扰动 ($\delta$)。扰动的特征轨迹定义为 $z(\delta) = q + \delta$。该扰动通过归一化的特征空间半径进行约束，以控制攻击预算。
3. 声码器重建： 扰动后的特征通过一个冻结的神经声码器（如 HiFi-GAN）重建为对抗性波形。最终的对抗音频生成为 $x_{adv} = V(E(x) + \delta)$。

优化目标
该攻击优化了一个复合损失函数，旨在最大化代理模型上的转录错误，同时保持感知质量：

• 攻击损失： 最大化代理 ASR 模型上 ground-truth 转录文本的负对数似然，驱动模型对音频产生误识别。
• 干净参考感知损失： 为了防止声码器引入的时间不稳定性及高频伪影，该方法采用了一个引用干净音频的正则项。这包括：
  • 时间抖动惩罚： 最小化连续特征帧之间的方差。
  • 高频能量惩罚： 约束生成的音频相对于干净参考音频的高频能量，确保扰动不会引入不自然的频谱成分。

主要贡献

1. 新的攻击空间： 引入了一种干净参考特征-声码器攻击空间，其对抗样本是通过扰动 SSL 语音特征而非添加波形噪声生成的。
2. 框架设计： 该框架将对抗变化嵌入到 SSL 表示中，并通过冻结的声码器将其重建为自然的音频，从而绕过了当前防御措施中关于显式加性噪声的假设。
3. 实证验证： 通过广泛的实验证明，该方法揭示了当前 ASR 鲁棒性评估中的一个“盲点”，特别是针对那些设计用于波形受限扰动的防御措施。

实验结果
该方法在英语（LibriSpeech）和中文（AISHELL-1）数据集上，针对 Whisper 系列模型和基于 CTC 的架构（HuBERT, Wav2Vec2）进行了评估。

• 迁移性： 仅在原始 Whisper-small 代理模型上进行优化，该攻击在迁移到黑盒目标模型时，比最先进的（SOTA）基准实现了 +26.6% 的 WER 提升。它在不同的模型容量（从 Tiny 到 Large）和架构（Whisper 与 CTC）之间均保持有效。
• 对防御的鲁棒性： 该攻击在面对对抗训练防御（如 CE-AT, DT-AT）和输入预处理防御（如 LPF, WaveGuard）时，表现显著优于基准模型。在受防御的模型上，与 SOTA 基准相比，它在英语上实现了 +36.2% 的 WER 提升，在中文上实现了 +31.3% 的 CER 提升。
• 不可感知性： 人类研究和客观指标（DNS-MOS, NISQA, UTMOS）证实，对抗性音频与干净语音基本无法区分。在人类评估中，86% 的配对样本被判定为无法区分，且对抗音频对人类而言仍具有可理解性（人类转录 WER 为 5.47%）。
• 物理可行性： 初步的空中传输（OTA）实验表明，即使经过智能手机的播放和重新录制，该攻击仍保持了实质性的有效性（78.23% WER）。

意义与主张
本文声称揭示了当前 ASR 鲁棒性评估中的一个重大盲点。作者认为，针对加性波形噪声或对抗前缀的鲁棒性可能会高估 ASR 系统的实际安全性。通过将攻击向量转移到特征空间并利用声码器进行重建，作者证明了对抗样本可以绕过那些假设扰动局限于输入波形的防御措施。这项工作表明，未来的鲁棒性评估必须考虑特征空间扰动，并且当前的防御措施在应对利用语音生成流形（manifold）而非仅仅是波形噪声的攻击时是不充分的。