Multi-Channel Replay Speech Detection using Acoustic Maps

技术摘要：基于声图的多通道重放语音检测

问题陈述
自动说话人验证（ASV）系统广泛应用于语音助手和物联网设备中，但仍易受物理访问（PA）攻击，特别是重放攻击。在这些场景中，攻击者通过扬声器播放先前录制的录音以欺骗系统。虽然逻辑访问攻击（如深度伪造）操纵内容或身份，但重放攻击利用的是声产生机制之间的根本物理差异：真实语音源自人类声道，而重放语音则由电声换能器（扬声器）发出，具有不同的频率响应、指向性和辐射特性。现有的 ASV 系统即使在使用商用设备时，也往往难以可靠地区分真实语音和重放语音。此外，尽管多通道录音提供了难以伪造的空间线索，但该领域的进展一直受限于缺乏适合的数据集以及能够有效利用空间信息的模型。

方法论
作者提出了一种新颖的方法，利用声图作为多通道录音重放检测的空间特征表示。该方法包含两个主要阶段：

1. 声图生成：

   • 多通道音频使用短时傅里叶变换（STFT）进行预处理。
   • 在方位角（$[-90^\circ, 90^\circ]$）和仰角（$[-50^\circ, 50^\circ]$）上定义离散空间网格。
   • 使用延迟求和波束形成器，系统计算每个网格点的窄带伪功率响应。该过程编码了声场的方向性能量分布。
   • 生成的图进行时间平均，并将频率分箱分组为四个不相交的频段（低频、中频、高频、超高频），以创建紧凑的 3D 张量（$K \times A \times E$）。该表示捕捉了阵列流形结构、直达路径线索和早期反射。
   • 作者指出，虽然延迟求和是主要使用的方法，但该框架兼容其他空间处理技术，如 MVDR 或 SRP-PHAT。

2. 分类网络：

   • 设计了一个轻量级卷积神经网络（CNN），专门用于在这些声图上运行。
   • 该架构采用重复的深度可分离二维卷积块（在方位角和仰角维度上操作），随后是批归一化、ELU 激活和最大池化。
   • 网络较浅，仅使用约6,000 个可训练参数。它以用于二分类（真实与重放）的浅层全连接头（MLP）结束。
   • 训练使用带有 MixUp 增强的分类交叉熵损失。

主要贡献

• 新颖的特征表示： 引入源自经典波束形成的声图，以显式编码方向性能量分布，反映人类语音辐射与扬声器重放之间的物理差异。
• 高效模型设计： 开发了一种针对声图的紧凑 CNN，与最先进（SOTA）基线相比，在显著减少参数数量（约 6k）的同时实现了具有竞争力的性能。
• 全面评估： 在ReMASC数据集（唯一公开的多通道重放数据集）上进行了广泛评估，分析了不同麦克风阵列（2 到 7 个麦克风）、波束形成方法和声学环境（环境依赖和环境独立）下的性能。

实验结果
该方法在 ReMASC 数据集上使用等错误率（EER）指标进行了评估：

• 性能与阵列几何形状： 检测准确率与麦克风数量相关。麦克风较多的阵列（D3：6 个麦克风，D4：7 个麦克风）产生的 EER 较低（例如 D3 为 10.1%），而较小的阵列（D1：2 个麦克风，21.6%）则较高。这证实了更丰富的空间采样提高了方向性能量线索的可靠性。
• 与 SOTA 的比较： 虽然所提出的方法在原始准确率方面并未在所有基于学习的 SOTA 基线（如 M-ALRAD 或基于 CRNN 的检测器）上取得全面优势，但它提供了性能与计算成本之间的更优权衡。例如，在 D3 阵列上，所提出的方法实现了 10.1% 的 EER，与 M-ALRAD（10.4%）相当，但参数量约为 6k，而后者约为 300k。
• 波束形成器选择： 延迟求和提供了稳定的基线。MVDR 在某些情况下显示出相当或略好的结果，但对估计误差更为敏感。SRP-PHAT 通常表现出较高的 EER，这可能是由于对混响的敏感性所致。
• 泛化能力： 在环境独立场景（在三个环境上训练，在一个未见过的环境上测试）中，所有方法（包括所提出的方法）的性能均显著下降。所提出方法的 EER 大幅上升（例如在 Env-D 上达到 43.2%），这突显了固定的频带和静态空间处理限制了其对未见声学条件的适应性。

意义与主张
该论文声称，声图为重放攻击检测提供了一个紧凑且物理可解释的特征空间。这项工作的意义在于证明，当经典空间处理与轻量级神经网络相结合时，可以有效利用多通道数据来区分真实语音和重放语音。作者强调，虽然当前的公式在泛化到未见环境方面存在局限性（由于固定的空间和频率表示），但该方法为更深层、更复杂的模型提供了一种可行且资源高效的替代方案。未来的工作建议专注于基于学习的频带选择，以更好地捕捉不同声学条件下的指向性线索。