Quantum Kernels for Audio Deepfake Detection Using Spectrogram Patch Features

技术摘要：基于频谱图块特征的量子核音频深度伪造检测

问题陈述
生成式语音技术（如文本转语音 TTS 和语音转换 VC）的普及，给音频冒充和欺诈带来了显著的安全风险。尽管基于深度学习的检测器已取得进展，但它们往往难以应对未见过的攻击、现实世界的失真（例如信道效应、噪声）以及分布偏移。此外，许多现有方法将音频频谱图视为通用图像，未能显式利用语音固有的时频结构。同时，目前缺乏将量子机器学习（QML）应用于音频伪造检测的研究，特别是在低资源场景下使用针对频谱图几何结构定制的表示方法。

方法论：Q-Patch 框架
作者提出了Q-Patch，这是一个量子特征映射框架，旨在将梅尔频谱图中的局部时频块编码到浅层量子电路中。该方法分为三个主要阶段：

1. 前端处理与分块划分：

   • 音频波形被重采样至 16 kHz 并转换为对数梅尔频谱图（64 个梅尔频带）。
   • 频谱图按话语进行标准化，并划分为非重叠的 $4 \times 4$ 时频块。
   • 每个块被汇总为一个紧凑的、四维的向量（$s \in \mathbb{R}^4$），包含可解释的声学描述符：
     • 平均块激活（强度）。
     • 频谱质心。
     • 频谱带宽。
     • 帧间相干性（时间一致性）。
   • 为了管理量子资源，根据平均激活能量选择前 $k$ 个块（具体为 $k=2$）。

2. 量子特征映射（嵌入）：

   • 选定的块摘要使用浅层、硬件高效的电路嵌入到量子态中。
   • 架构： 对于选定的两个块，使用 8 量子比特系统（每个块 4 个量子比特）。
   • 电路设计： 嵌入酉算子 $U_\phi(s)$ 由参数化的单量子比特旋转（$R_X, R_Y, R_Z$）组成，后接轻量级的受控-Z（CZ）门纠缠链。
   • 约束： 电路深度限制为 $d \le 3$，以符合含噪声中等规模量子（NISQ）约束。纠缠被限制在块内的局部链以及单个块间连接，以在不增加过多深度的情况下捕捉空间邻接性。
   • 核定义： 量子核通过态保真度定义：$\kappa(x, x') = |\langle \phi(x) | \phi(x') \rangle|^2$。

3. 分类：

   • 使用预计算的核矩阵（格拉姆矩阵）训练量子支持向量机（QSVM）。
   • 与变分量子分类器不同，Q-Patch 不需要对电路参数进行迭代优化；学习过程简化为在预计算核上的标准凸 SVM 优化。

主要贡献

• 基于块的表示： 引入了一种感知时频的音频表示，使用紧凑、可解释的声学描述符汇总局部区域，而不是将频谱图视为通用图像。
• 符合 NISQ 的特征映射： 设计了一种浅层量子特征映射（深度 $\le 3$，4–8 个量子比特），具有感知邻接性的纠缠，专门针对近期量子硬件约束进行了定制。
• 受控评估： 在低资源设置下，与规模匹配的经典基线进行了严格比较，将量子特征映射的贡献与输入表示隔离开来。

实验结果
该框架在 LJ Speech 数据集的平衡子集上进行了评估（50 个真实样本和 50 个伪造样本，其中 80 个训练样本和 20 个开发样本）。伪造样本是使用加性高斯噪声和频谱失真生成的，作为真实性操纵的受控代理。

• 性能： Q-Patch 实现了 0.87 的接收者操作特征曲线下面积（AUROC）和 14.8% 的等错误率（EER）。
• 比较：
  • 优于在完全相同的块级特征上训练的径向基函数 SVM（RBF-SVM）（AUROC 0.82，EER 18.2%），证明了量子特征映射和基于保真度的核的价值。
  • 优于直接在频谱图上训练的紧凑卷积神经网络（Tiny CNN，$\le 100$k 参数）（AUROC 0.85，EER 16.3%）。
• 核分析： 对核空间的分析揭示了清晰的类别结构。真实样本与伪造样本之间的类间相似度约为 0.615，显著低于类内相似度，表明该核有效地捕捉了与真实性相关的线索。

意义与主张
本文将 Q-Patch 定位为一项可行性研究，证明了感知时频的量子特征映射可以为音频真实性判别提供有用的归纳偏置，特别是在数据有限的场景下。

• 实用性： 该框架旨在计算轻量级，并通过限制量子比特数量和电路深度，与当前的 NISQ 硬件约束兼容。
• 归纳偏置： 结果表明，与使用相同特征的通用经典方法相比，通过浅层量子电路显式建模频谱图几何结构可以提高真实音频与伪造音频之间的判别能力。
• 主张的适度性： 作者明确指出，这些结果来自受控可行性研究的初步证据。他们承认了局限性，包括使用模拟伪造（噪声/失真）而非现实世界的深度伪造、数据集规模较小（限制了统计确定性），以及依赖理想量子模拟而非物理硬件。这项工作被框架化为迈向可扩展、硬件感知的量子音频安全的一步，未来的工作需要解决现实噪声下的鲁棒性、更大规模的多样化基准测试以及硬件部署问题。