Alethia: A Foundational Encoder for Voice Deepfakes

以下是论文《Alethia：一种用于语音深度伪造的基础编码器》的详细技术总结。

1. 问题陈述

当前最先进的（SOTA）语音深度伪造检测系统严重依赖语音基础模型（SFMs）（如 Wav2vec 2.0、WavLM 和 HuBERT）作为特征提取器（前端）。这些模型使用掩码令牌预测进行预训练，其目标为离散目标（量化伪标签），这些目标源自大规模无标注语音语料库。

作者指出了该范式存在的两个关键局限性：

1. 微调收益递减：尽管在真实和伪造数据上进行了大规模微调，现有的 SFMs 仍难以泛化到未见过的生成方法（例如歌唱语音深度伪造），并且对现实世界的扰动（噪声、压缩、重放攻击）高度敏感。
2. 离散目标中的信息丢失：用于生成预训练离散令牌的量化过程丢弃了细微的声学细节。论文表明，这些离散目标关于深度伪造伪影的互信息非常少，限制了模型学习特定于合成语音的判别性模式的能力。

2. 方法论：Alethia 框架

Alethia 是首个专为语音深度伪造检测和定位设计的基础音频编码器。它引入了一种新颖的预训练方案，从离散令牌预测转向连续嵌入预测，并结合生成式重建。

A. 架构

• 模型规模：Alethia-Base（4 亿参数）和 Alethia-Large（10 亿参数）。
• 结构：一个 7 层 CNN 特征提取器，后接 Transformer 编码器（Base 版 24 层，Large 版 48 层）。
• 师生设置：使用冻结的教师模型（Base 版使用 WavLM-Large，Large 版使用 Wav2vec-XLSR-1B）提供监督。

B. 预训练目标（双分支）

核心创新在于并行应用的双分支监督机制：

1. 瓶颈掩码嵌入预测（预测分支）：

   • 学生模型不再预测离散令牌，而是预测来自冻结教师的连续嵌入。
   • 瓶颈机制：学生将其多层输出压缩为单个“瓶颈”表示（通过层平均），并将其投影以预测教师多层（而不仅仅是最后一层）的嵌入。这迫使瓶颈封装从低级声学到高级语义的信息。
   • 损失函数：预测嵌入与目标连续嵌入之间的 L1 距离和余弦相似度的组合。
   • 掩码：在 CNN 输出上使用可学习掩码，在 Transformer 层上使用 2D 掩码，以确保鲁棒性。

2. 流匹配语谱图重建（生成分支）：

   • 为了捕捉预测任务中常丢失的细粒度声学伪影，训练一个解码器从瓶颈表示重建未掩码的语谱图。
   • 流匹配：模型不使用直接回归（通常会导致过拟合未掩码帧），而是使用最优传输条件流匹配（OT-CFM）。它学习在瓶颈嵌入条件下，从噪声到目标语谱图之间的概率路径（速度场）。
   • 优势：这确保模型学习“亚感知”生成伪影（例如扩散痕迹）的分布，而不仅仅是重建干净的语音。

C. 数据构成

• 规模：19,000 小时高质量、平衡的真实和伪造语音。
• 来源：公共数据集（ASVspoof5、MLAAD、SpoofCeleb）与使用 CommonVoice 的 TTS/VC 工具生成的自 curated 数据的混合。
• 质量控制：严格的过滤（VAD、说话人分离、MOS 评分），以去除低质量或多说话人音频，确保模型从“野外”特征中学习。

3. 主要贡献

1. Alethia 模型：首个专为语音深度伪造设计的基础编码器，在 56 个数据集和 5 项不同任务中均优于通用 SFMs。
2. 新颖的预训练方案：证明了将连续瓶颈嵌入预测与流匹配生成式重建相结合，在捕捉深度伪造伪影方面优于离散令牌预测。
3. 零样本泛化：证明了 Alethia 无需特定任务微调即可泛化到未见过的领域（例如歌唱语音深度伪造）和未见过的生成方法。
4. 关于离散目标的实证证据：提供了互信息分析，表明标准 SFMs 中的量化目标未能编码特定于深度伪造的信息，从而证明了转向连续目标的合理性。

4. 实验结果

Alethia 在56 个基准数据集上的5 项任务中进行了评估：

• 语音深度伪造检测（SDD）：Alethia-Large 在 50 个数据集的基准测试中实现了5.2% 的等错误率（EER）（Wav2vec-1B 为 6.0%），准确率达到93.3%。关键在于，它在“挑战性”数据集（如 Deepfake Eval 2024、ReplayDF）上显示出显著更低的方差，而通用 SFMs 在这些数据集上往往失效。
• 歌唱语音深度伪造检测（SVDD）：在零样本设置下（仅在语音上训练，在歌唱上测试），Alethia-Large 实现了10.8% 的 EER，大幅优于域内专用基线（13.8%）和其他 SFMs。
• 部分伪造语音定位（PFSL）：Alethia 展示了卓越的帧级定位能力，且无需特定的定位微调，表明其潜在空间捕捉了细粒度的合成边界。
• 来源追踪（ST）：Alethia 嵌入在分离不同生成来源方面显示出最高的轮廓系数（+0.02），表明其在归因深度伪造来源方面具有更强的判别力。
• 音视频深度伪造检测（AVDD）：Alethia 在具有挑战性的 PolyGlotFake 数据集上实现了最低的 EER（7.1%），证明了其在多模态场景下的鲁棒性。

消融研究：

• 移除生成分支导致性能显著下降，特别是针对基于扩散和流匹配的深度伪造（EER 增加了 5.6%）。
• 移除瓶颈架构（使用标准的层对层蒸馏）导致性能下降，证实了将多层知识压缩为统一表示的必要性。

5. 意义与影响

• 范式转变：该论文挑战了依赖通用 SFMs 进行深度伪造检测的做法，论证了需要特定领域的预训练目标来捕捉生成伪影。
• 鲁棒性：Alethia 为抵御虚假信息和欺诈提供了可扩展的解决方案，因为它对现实世界的扰动具有鲁棒性，并能泛化到未见过的攻击向量（零样本）。
• 未来方向：它强调了连续表示学习和生成式预训练在音频取证领域的重要性，表明面向安全任务的未来基础模型应优先考虑捕捉生成的“如何”（伪影），而不仅仅是“什么”（内容）。

总之，Alethia通过证明结合预测性和生成性目标的专用预训练策略，比简单地微调现有的通用模型能产生更稳健、更具泛化能力的语音深度伪造检测编码器，从而确立了新的最先进水平。