⚡ electrical engineering

Rehearsal with Auxiliary-Informed Sampling for Audio Deepfake Detection

本文提出了一种带有辅助信息采样回放的持续学习方法（RAIS），该方法利用标签生成网络来引导多样化的样本选择，从而在缓解偏差和遗忘的同时，在不断演变的攻击场景中实现卓越的性能。

原作者： Falih Gozi Febrinanto, Kristen Moore, Chandra Thapa, Jiangang Ma, Vidya Saikrishna, Feng Xia

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Falih Gozi Febrinanto, Kristen Moore, Chandra Thapa, Jiangang Ma, Vidya Saikrishna, Feng Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名在夜店工作的保安，正试图识破假证件。起初，你只见过来自特定国家的假证件（经历 1）。你变得非常擅长识别那些假证件。但随后，犯罪分子开始使用来自不同国家的假证件，接着是一个又一个（经历 2、3、4 和 5）。

如果你只是不断学习新的假证件，你可能会忘记如何识别旧的那些。这被称为**“灾难性遗忘” (catastrophic forgetting)**。如果你每次出现新的假证件时都要从头开始重新学习，这既耗时又昂贵。

这篇论文介绍了一个名为 RAIS（带有辅助信息采样的回放，Rehearsal with Auxiliary-Informed Sampling）的智能系统，旨在帮助这位保安（AI 模型）在学习新招式的同时，不会忘记旧的招式。

以下是该系统的运作方式，通过简单的概念进行拆解：

1. 问题所在：“单调”的记忆

大多数现有系统试图通过保留一个小的“记忆缓冲器”（一个小笔记本）来记住过去。它们选择保留哪些旧样本使用的是一个简单的规则：“保留真假混合”。

该论文认为，这就像是试图通过只看书的封面颜色（红色代表假，蓝色代表真）来记住整个图书馆的书籍。你最终可能会得到一个装满了“红色”书籍的笔记本，而这些书看起来都一模一样，忽略了它们之间的细微差别。当一种新的假证件出现，且看起来有点像那些特定的“红色”书籍时，你的系统会感到困惑，因为你从未学习过“假”这一类别内部的多样性。

2. 解决方案：“秘密翻译官” (AAGM)

为了解决这个问题，作者创建了一个特殊的辅助模块，称为音频辅助标签生成模块 (AAGM)。

你可以把主 AI 想象成一名只关心大问题——“这个人是真的还是假的？”——的保安。
而 AAGM 就像是站在保安身边的秘密翻译官。它不仅仅关注“真与假”，它还会倾听声音并创造出自己的秘密类别，比如“声音听起来像机器人”、“声音听起来像耳语”或“声音听起来像歌手”。

它是如何学习的： 它不需要人类来教它这些类别。它通过玩一个“填空游戏”（遮盖音频的部分内容并猜测它们是什么）来自己摸索出这些类别。
安全规则： 至关重要的是，这个翻译官的工作方式不会干扰保安。它在学习自己的秘密类别时，不会破坏保安识别真伪的主要任务。

3. 策略：“智能选择” (AIS)

既然系统有了这些秘密类别，它就会使用一种新的策略——辅助信息采样 (AIS) 来填充它的记忆笔记本。

系统不再只是随机抓取“假”的样本，而是观察这些秘密类别。它会询问：

“我的笔记本里有‘机器人声音’的假证件吗？”
“我有‘耳语式假证件’吗？”
“我有‘歌唱式假证件’吗？”

如果笔记本里缺少一个“机器人声音”的假证件，系统就会优先保存一个。这确保了记忆缓冲器是多样化的。这就像是确保你的应急包里有手电筒、创可贴和绳子，而不是只有 10 个手电筒。

4. 结果：“全明星团队”

作者使用五轮不同的新音频伪造攻击（来自不同语言和来源）测试了这个系统，并将其与其他方法进行了对比。

旧方法： 其他方法要么忘记了旧的假证件，要么被新的假证件搞混了。
RAIS 的方式： 通过保持对过去多样且全面的记忆，RAIS 保持了敏锐。它实现了 1.953% 的平均错误率，这非常低，几乎接近于如果系统是在所有数据上同时进行训练时的水平（这在现实生活中通常是不可能的）。

总结

简而言之，这篇论文的核心观点是：不要仅仅记住过去；要记住过去的“多样性”。

通过让 AI 发明自己的音频特征详细标签（就像一个秘密翻译官），并利用这些标签来挑选最有意义的样本进行记忆，该系统在识别不断演变的深度伪造（deepfakes）方面表现得更加出色，同时也不会忘记已经学到的知识。

技术摘要：基于辅助信息采样（RAIS）的重演式音频伪造检测

1. 问题陈述

现有的音频伪造检测框架在遇到新的伪造攻击时，往往会出现性能退化。虽然持续学习（Continual Learning, CL）提供了一种解决方案，允许模型在不遗忘先前知识的情况下整合新信息，但当前的方法面临显著局限性：

基于正则化的方法（如 EWC, LwF）通常假设无法访问过去的数据，这可能会引入对新观察数据的偏差。
基于重演的方法（如经验回放/Experience Replay）依赖于在内存缓冲区中存储过去的样本。然而，现有的样本选择策略通常仅依赖于主要标签（伪造 vs 真声）。
核心挑战： 音频数据包含多样化的副语言特征（paralinguistic features）。在样本选择过程中忽略这些特征会导致内存缓冲区的多样性缺失，从而引入偏差并增加灾难性遗忘的风险。

2. 方法论：RAIS 框架

作者提出了基于辅助信息采样的重演（Rehearsal with Auxiliary-Informed Sampling, RAIS），这是一种旨在增强样本多样性和保留能力的基于重演的 CL 方法。该框架由两个联合训练的模块和一个新型采样策略组成。

2.1 核心模块

音频伪造检测模块 (ADDM)：
- 一个标准的分类网络，包含一个特征提取器 ( $g$ ) 和一个分类头 ( $c$ )。
- 它处理输入音频 $x$ ，以生成用于主要任务（区分伪造 $y=0$ 与真声 $y=1$ 音频）的逻辑值（logits）和概率分布。
- 使用交叉熵损失 ( $L_{ADDM}$ ) 进行优化。
音频辅助标签生成模块 (AAGM)：
- 旨在无需人工标注的情况下，推断潜在且多样化的音频特征。
- 架构： 它接收来自 ADDM 特征提取器的脱离（detached）潜在表示 $z$ ，并通过标签生成头 ( $h$ ) 生成一个包含 $K$ 个可能辅助标签的向量。
- 训练目标： AAGM 通过掩码预测目标进行独立训练，以防止与主要任务产生梯度冲突（通过停梯度机制实现）。
  - 掩码分支 (Masked Branch)： 强制要求伪造样本和真声样本具有不同的辅助标签。一个二进制掩码确保伪造样本仅从前 $K/2$ 个标签中进行预测，而真声样本从剩余的 $K/2$ 个标签中进行预测。
  - 损失函数： 结合了均方误差（MSE）来对齐掩码与非掩码概率向量，以及多样性损失（KL 散度）来确保生成的标签呈均匀分布，从而防止出现平凡解（trivial solutions）。
- 最终的辅助标签由 $\hat{y}_{aux} = \arg\max(p_{mask})$ 确定。

2.2 辅助信息采样 (AIS)

RAIS 引入了一种新的策略，用于选择样本以填充固定大小的内存缓冲区 $M$ ：

分层 (Stratification)： 将数据集划分为主要类别（伪造/真声），并根据生成的辅助标签进一步细分为若干组。
重要性评分 (Importance Scoring)： 样本根据主要分类置信度 ( $p_{\hat{y}}$ ) 和辅助标签置信度 ( $p_{mask}^{\hat{y}_{aux}}$ ) 的组合进行评分：
$s = \frac{1}{2}(p_{\hat{y}} + p_{mask}^{\hat{y}_{aux}})$
选择过程：
- 在每次经历 $E_i$ 后更新缓冲区，分配空间 $L = |M|/(i+1)$ 。
- AIS 在每个主要类别内的辅助标签组之间执行轮询（round-robin）方式的分层选择。
- 这确保了内存缓冲区能够保留多样化音频特征的平衡表示，而不仅仅是保留最常见或最易分类的样本。

3. 主要贡献

本文概述了四项主要贡献：

RAIS 框架： 一种专门用于音频伪造检测的基于重演的 CL 方法，它提高了内存缓冲区的样本多样性。
辅助标签生成： 一个自动化的模块（AAGM），通过掩码预测推断多样化的辅助标签，消除了对手工标注副语言特征的需求。
AIS 策略： 一种利用这些生成的标签来选择多样化且具有信息量样本的新型采样机制，确保了平衡的表示。
实验优越性： 大量实验证明 RAIS 优于现有的 SOTA CL 方法，实现了最低的平均等错误率（EER）。

4. 实验结果

作者使用多种数据集（ASVspoof 2019 LA, VCC 2020, InTheWild, CFAD 以及通过 OpenAI TTS 生成的自定义数据集）在五个连续经历（ $E_0$ 到 $E_4$ ）中评估了 RAIS。

性能： 在内存缓冲区大小为 512 的情况下，RAIS 实现了 1.953% 的平均 EER，非常接近“全量训练”（Train-on-all）的上界（1.772%），并显著优于其他 CL 方法。
对比： RAIS 超越了基于正则化的方法（EWC, LwF, RAWM, RWM）和其他重演策略（ER, 以及采用 Herding, Reservoir 和 Class-balanced 等各种采样技术的 ER-ACE）。
消融实验： 移除关键组件会导致性能下降：
- 移除 AAGM (-AAGM) 会增加平均 EER。
- 移除 AIS (-AIS) 会增加平均 EER。
- 移除多样性损失 (-DL) 会增加平均 EER。
参数敏感性： 对辅助标签大小 $K$ 在 10 到 100 之间进行了测试。 $K=90$ 时表现最佳。
遗忘分析： 在针对 E1 和 E2 的受控实验中，RAIS 展示了最低的遗忘率（0.17%），优于第二好的基准方法（使用 Herding 采样的 ER，为 0.33%）。

5. 意义与主张

本文主张 RAIS 解决了现有重演方法的一个关键局限：即无法捕捉音频特征的全维度多样性。通过自动生成并利用辅助标签，RAIS 确保了内存缓冲区包含过去经历的代表性子集，从而有效地缓解了灾难性遗忘。

作者将 RAIS 定位为一种高效的解决方案，与存储完整数据集（>50 GB）相比，它仅需 512 个样本的缓冲区（~50 MB），却能达到近乎最优的性能。作者指出，虽然该方法优先考虑伪造样本以降低隐私风险，但真声音频的存储仍是未来隐私保护研究需要考虑的问题。生成的辅助标签的可解释性被确定为未来研究的一个开放性问题。