🤖 AI

QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

本文提出了 QAMO，一种质量感知的多中心单类学习框架，通过在不同的质量子空间内对真实语音进行建模，增强了语音深度伪造检测，并在野外数据集上实现了 5.09% 的等错误率，取得了卓越的性能。

原作者： Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名顶级俱乐部的保安。你的职责是只让“真人”（真实语音）进入，并拦截任何试图用“假证件”（深度伪造语音）混入的人。

旧方法：单一的“理想”宾客

长期以来，保安们一直遵循一个简单的规则：“如果你看起来像我们那位完美的、理想的宾客，你就进；否则，你就得出去。”

这被称为单类学习（One-Class Learning）。系统学习什么是“完美”的人类声音，并在其周围画一个圈。

问题在于： 现实生活并不完美。有些人感冒了，有些人在嘈ating的环境中，有些人的声音沙哑。旧系统将高质量的声音和低质量的声音都视为同一种“理想”。如果一个人的声音略显沙哑（低质量），系统可能会想：“这不像我们的完美宾客，”从而错误地将他拒之门外。或者，一个聪明的伪造者只要能模仿得足够接近这种“完美”的声音，就可能溜进来。

新解决方案：QAMO（“质量感知型”团队）

论文介绍了 QAMO（质量感知多中心单类学习）。QAMO 不再由一个保安盯着一个“理想”宾客，而是雇佣了一个由专业保安组成的团队，每位保安都在寻找特定类型的真实声音。

以下是它的工作原理，使用了简单的类比：

1. “质量”分类

系统首先倾听声音，并询问：“这是一个高质量的声音（清晰、脆亮），还是一个低质量的声音（嘈杂、模糊）？”

这就像是在给苹果进行分类。有些是红润闪亮的（高质量），有些则是带伤或落满灰尘的（低质量）。
旧系统试图把所有的苹果都放在一个篮子里。而 QAMO 将它们放入两个不同的篮子：一个是“闪亮苹果”篮，一个是“带伤苹果”篮。

2. 中心点团队（保安们）

QAMO 没有创建一个“理想宾客”中心点，而是创建了多个中心点（即保安）：

保安 A 仅针对高质量、晶莹剔透的声音进行训练。
保安 B 仅针对较低质量、略带噪音的声音进行训练。

当一个新的声音传来时：

如果是一个清晰的声音，保安 A 会进行检查。
如果是一个嘈杂的声音，保安 B 会进行检查。
这样一来，一个因为网络连接不好而导致声音不佳的真人，不会仅仅因为听起来不够“完美”而被拒绝。系统理解了“真实”有多种形态。

3. “集体投票”（推理）

这是最聪明的部分。当系统需要做出最终决定时，它不仅仅询问一位保安。它使用集体投票（Group Vote）。

假设这个声音有些模棱两可——它到底是清晰的声音还是嘈杂的声音？
QAMO 不会强行做出选择，而是询问所有保安的意见。它会计算这个声音与“闪亮苹果”保安以及“带伤苹果”保安的相似程度。
然后，它将这些意见结合成一个最终得分。这就像是一个委员会在投票：即使声音有点嘈杂，“带伤苹果”保安也会说：“嘿，这看起来像个真人！”而“闪亮苹果”保安则会说：“嗯，虽然有点偏差，但不是假的。”最终的决定会更加稳定，且不太容易出错。

为什么这很重要（结果）

作者在各种困难的情况下（包括“自然环境”下的杂乱录音），针对深度伪造（AI 生成的假声）测试了这个系统。

结果： 与旧有的“单保安”系统相比，QAMO 犯错更少。它在识别出更多伪造者的同时，也不会误把那些声音不完美的真人拒之门外。
核心要点： 通过承认真实语音具有不同的“质量”（如清晰度或噪声水平）并为每种质量创建特定的模型，该系统变得更加聪明，也更难被欺骗。

总结

你可以把旧系统想象成一个刻板印象式的保镖，他只允许那些看起来完全符合杂志封面模特标准的人进入。如果你今天头发乱糟糟的，你就会被拒之门外。

QAMO 则是一个聪明的保镖团队，他们知道真人有各种各样的风格——有些人精致，有些人邋遢，但他们都是真实的。通过为每种风格配备专家并让他们共同投票，他们能更好地抓捕冒充者（伪造者），同时让真正的客人顺利进入。

技术摘要：QAMO —— 用于语音伪造检测的质量感知多质心单类学习

问题陈述
传统的语音伪造检测（SDD）通常将该任务视为二分类问题，这可能导致对已知欺骗攻击的过拟合以及对未知深度伪造（deepfakes）的泛化能力较差。单类学习（OCL）已成为一种替代方案，它通过在单个质心周围建模一个紧凑的真实（bona fide）语音分布，并将偏离该分布的情况视为潜在的伪造。然而，传统的 OCL 过度简化了真实类，假设其为单一的单峰分布。这无法捕捉真实语音固有的类内差异性，特别是关于语音质量（例如：清晰度、噪声的存在、韵律的真实性）。现有研究表明，真实语音与合成语音之间存在显著的平均意见得分（MOS）差距，且质量变化会影响真实样本与伪造样本之间的分离度。目前的 OCL 方法并未明确考虑这些质量子空间。

方法论：QAMO 框架
作者提出了 QAMO 框架，该框架通过引入多个质心来扩展 OCL，每个质心都经过优化以表示不同的语音质量子空间。

质量感知多质心建模：
- QAMO 不再使用单个质心，而是学习 $Q$ 个质心（ $w_q$ ），每个质心对应一个离散的质量等级（例如：低 vs. 高 MOS）。
- 使用预训练的 MOS 预测器（Scoreq）为训练样本分配质量等级。连续的 MOS 范围被划分为离散类别（例如： $q \in \{0, 1\}$ ）。
- 为了确保质心具有判别性并与特定的质量等级对齐，模型采用了 AM-Softmax 损失（ $L_{quality}$ ）进行质量分类。这强制要求相同质量等级的嵌入向量聚集在其特定的质心周围。
基于多质心的单类学习：
- 该框架将 OC-Softmax 损失扩展到了多质心设置。
- 对于**真实（bona fide）**输入，模型计算其与对应质量等级质心的余弦相似度距离。
- 对于**伪造（spoof）**输入，模型惩罚所有质心中的最大余弦相似度，以确保其与整个真实子空间分离。
- 最终的训练目标结合了 QAMO 损失（ $L_{QAMO}$ ）和质量分类损失（ $L_{quality}$ ），并使用权重超参数 $\lambda$ 进行加权。
推理策略：
- 最大分值推理（Max-Score Inference）： 与之前的多质心工作类似，该方法取所有质心中的最大相似度。然而，作者指出这种方法表现为硬分配（hard assignment），容易受到质量估计误差的影响。
- 集成分值推理（Ensemble-Score Inference，所提方法）： 为了提高稳定性并处理不确定性，QAMO 计算与所有质心的相似度加权和。权重（ $\alpha_q$ ）通过对余弦相似度应用 softmax 函数得出。该策略聚合了所有质量等级的证据，能够产生更平滑、方差更低的评分，且在推理阶段无需显式质量标签。

核心贡献

多质心质量建模： 不同于以往按说话人身份组织质心的多质心方法（如 SAMO），QAMO 根据语音质量等级来构建质心，将质量信息显式编码进真实类表示中。
质量感知损失函数： 引入质量分类目标的集成确保了学习到的质心保持区分性，且不会塌缩为一个点，从而有效地保留了类内差异性。
鲁棒的推理机制： 提出的 softmax 加权集成评分策略 允许系统在推理时无需质量标签即可运行，同时减轻了硬分配和过度自信预测带来的风险。
数据增强策略： 作者在训练期间将通过 RawBoost 生成的增强数据视为“低质量”数据，这是一种与观察到的 MOS 偏移相一致的高效计算代理，而非忽略质量退化。

实验结果
作者在 ASVspoof2019 LA 训练集上评估了 QAMO，并在 ASVspoof2021 LA、ASVspoof2021 DF、In-the-Wild (ITW) 和 Fake-or-Real (FoR) 数据集上进行了测试。

性能： 当与 XLSR-Conformer-TCM 主干网络结合时，QAMO 在 In-the-Wild 数据集上实现了 5.21% 的等错误率（EER），优于单质心 OC-Softmax 基线（6.72%）及先前的质量感知系统。
对比： 在 21DF 数据集上，QAMO 实现了 1.63% 的 EER；在 FoR 数据集上实现了 3.45% 的 EER，始终优于包括 OC-Softmax 和加权交叉熵（WCE）模型在内的基线模型。
消融实验：
- 移除质量分类损失（ $L_{quality}$ ）会导致性能下降和质心塌缩，证实了显式质量监督的必要性。
- 集成分值推理策略的表现显著优于最大分值策略，尤其是在 ITW 数据集上，因为它提供了更具校准性的评分以及更清晰的真实与伪造分布分离。

意义与主张
论文声称，QAMO 通过显式建模语音质量子空间，解决了传统单类学习中真实类过于简化的问题。通过这种方式，它在保持对伪造音频判别力的同时，保留了类内差异性。作者断言，这种方法能够实现对不同声学条件下未知深度伪造攻击更鲁棒的检测。集成评分策略被强调为稳定决策边界并提高检测鲁棒性的关键因素，且不会增加推理阶段估计质量标签的计算开销。这项工作强调了引入语音质量指标对于构建应对不断演变的深度伪造威胁更可靠的防御措施的重要性。