🤖 AI

From Self-Supervised Speech Models to Mixture-of-Experts for Robust Anti-Spoofing

本文提出将自监督语音模型转换为具有层级门控机制的混合专家（Mixture-of-Experts）架构，以增强对未知合成方法的泛化能力，在14个欺骗数据集上实现了宏观等错误率（macro EER）11.9%的相对提升。

原作者： Hugo Daumain, Driss Matrouf, Khaled Khelif, Mickael Rouvier

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Hugo Daumain, Driss Matrouf, Khaled Khelif, Mickael Rouvier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一群交谈的人中识破一个伪造的声音。在过去，伪造的声音听起来很机械，很容易被识破。但如今，AI 生成语音技术已经如此先进，听起来几乎与真人无异。这就像是在人群中寻找一个完美的蜡像，假货变得越来越难以分辨。

本文介绍了一种构建“声音侦探”的新方法，它能更好地识别这些高科技伪造声音，甚至是它从未见过的伪造声音。

问题所在：“一刀切”的侦探

目前的语音检测器就像是那些只研究过一种特定犯罪类型的侦探。如果罪犯改变了伪装方式（使用了一种新的语音合成器），侦探就会感到困惑并失败。本文认为，我们需要一个能够同时适应多种不同伪装的侦探。

解决方案：“专家团队”（混合专家模型）

作者采用了一个强大的预训练 AI 模型（称为 WavLM，它就像一位已经读遍了人类言语相关书籍的侦探），并将其升级为一个 混合专家（Mixture-of-Experts, MoE） 系统。

把原始的 AI 模型想象成一个非常聪明的通才。新的 MoE 系统将这个通才变成了一个协同工作的专家团队：

团队结构： 系统不再由一个大脑处理所有声音，而是拥有多个“专家”子网络。
管理者（门控机制）： 在每个步骤中都有一个聪明的管理者。当一段语音样本进入时，管理者会迅速决定：“哪位专家最适合分析这段特定的声音？”
过程： 管理者会挑选出最顶尖的一位专家（或一小组专家）来承担该特定声音的繁重分析工作，而其他专家则休息。这使得系统能够通过调用最了解该风格的特定专家，来处理不同类型的伪造语音（有些是由一种 AI 制作的，有些是由另一种 AI 制作的）。

他们是如何构建它的

起点： 他们从一个“冻结”的预训练模型开始。想象这是一个已经记住了言语基础知识、但尚未针对最新伪造技术进行训练的侦探。
升级： 他们用这些多个专家网络替换了原有的标准“思考模块”。至关重要的一点是，他们并没有仅仅进行微小的调整（像其他一些方法那样），而是用完整的专家网络替换了整个思考模块，并保留了原始知识。
训练： 他们利用一个包含大量真假语音的庞大库（14 个数据集）来教导这个新团队如何协作。他们使用了一种特殊的“负载均衡”规则，以确保没有哪个专家会被压垮，也没有哪个专家在闲置。

结果：更聪明的侦探

团队使用 14 套不同的伪造语音集对新系统进行了测试，其中包括非常新颖且棘手的类型。

评分： 他们使用一个称为“EER”（等错误率）的指标来衡量成功率，数值越低代表表现越好。
提升： 标准模型的得分是 5.46%。新的“专家团队”模型将得分降至 4.81%。
这意味着： 相比基准模型，这实现了 11.9% 的提升。在语音检测领域，这是一个显著的飞跃，意味着新系统更难被欺骗。

专家们真的实现了专业化吗？

研究人员想知道专家们是否真的学会了分工。例如，“专家 1”是否学会了捕捉“AI 语音 A”，而“专家 2”捕捉“AI 语音 B”？

发现： 令研究人员惊讶的是，专家们似乎并没有按照特定的伪造语音类型进行整齐的分工。管理者并没有始终将“AI 语音 A”发送给同一个专家。
解读： 专家们可能学会了捕捉复杂的、微妙的模式，而这些模式是人类难以命名或分类的。他们不仅仅是“AI 检测器”；他们正在捕捉各种复杂的、隐藏的声学线索。

核心结论

本文表明，将单个强大的 AI 模型转变为灵活的专家团队，可以使其在识别复杂的语音伪造时表现得更加出色。虽然专家们并没有按特定的“犯罪类型”来划分工作，但团队整体的方法使系统变得更加稳健且更难被欺骗。

关键要点： 通过赋予 AI 一个“专家团队”而非单一的大脑，我们可以构建出能够走在快速演进的伪造语音技术之前的语音检测器。

技术摘要：从自监督语音模型到用于鲁棒性防伪的混合专家模型（Mixture-of-Experts）

问题陈述
近期，包括神经音频编解码器、流匹配（flow-matching）和基于扩散（diffusion-based）架构在内的语音生成技术的进步，显著提升了合成语音的自然度。虽然这些进展有利于合法应用，但也给语音防伪系统带来了严峻挑战：即如何区分真实语音与伪造语音（合成或篡改的语音）。目前的对策通常依赖于受监督的深度神经网络，通过检测特定的生成伪影进行训练，但在泛化能力方面表现欠佳。在特定合成技术集上训练的模型，在面对未见的攻击或由不断演进的合成方法导致的分布偏移时，往往难以有效检测。尽管像 Wav2vec2、WavLM 和 HuBERT 这样的自监督学习（SSL）模型因其丰富的声学表示而成为了鲁棒的骨干网络，但如何处理异构的伪造伪影仍然是一个核心挑战。

方法论
本研究提出将预训练的 SSL 语音模型转换为全量混合专家（MoE）架构，以增强在防伪任务中的泛化能力。不同于以往利用低秩（LoRA）适配器来修改冻结 SSL 层的方法，本方法通过将选定 Transformer 编码器层中的密集前馈网络（FFN）替换为多个全容量的专家网络。

所提架构的核心组件包括：

MoE 转换： 将 SSL 骨干网络中选定层（在最佳配置中为 13 层中的最后 6 层）中的原始 FFN 模块替换为 $E$ 个并行的专家网络。这些专家使用原始密集 FFN 的权重进行初始化，以保留预训练知识。
门控机制： 层特定的门控网络根据源自多头自注意力（MHA）模块的帧级输出的语篇级表示来计算路由概率。研究评估了多种池化策略（均值、最大值、统计、注意力），发现统计池化（statistical pooling）能产生最优结果。
路由策略： 采用 top- $k$ 路由策略，为给定的语篇激活概率最高的 $k$ 个专家。这些被选中的专家输出通过加权求和的方式进行组合。
训练目标： 模型使用二元交叉熵损失进行训练以进行伪造检测，并辅以辅助负载均衡损失（load-balancing loss），以防止专家崩溃（即所有输入都路由到单个专家）。训练协议包括一个初始阶段，其中仅优化门控网络、专家层和分类头，随后是对 SSL 骨干参数进行渐进式解冻。

主要贡献

全量 MoE 转换范式： 这是首个研究将预训练 SSL 语音模型转换为全量 MoE 架构以用于防伪任务的工作，超越了近期文献中仅具有参数高效但容量受限的 LoRA 适配方法。
架构分析： 本文对设计选择进行了广泛研究，指出将 MoE 层插入高层（最后 6 层）Transformer 层比在早期或全层插入效果更好。此外，研究进一步证实了统计池化在门控网络中优于注意力池化或均值池化。
专家激活分析： 作者分析了 MoE 机制是否导致了专业化，具体检查了不同的专家是否路由到不同的合成器。通过使用 Jensen–Shannon 散度，研究调查了专家激活在各种合成方法之间的分布情况。

结果
所提方法在 14 个多样化的伪造数据集上进行了评估，涵盖了广泛的 TTS、VC、编解码器和基于扩散的生成方法。

性能： 使用 WavLM-Large 作为骨干网络，最佳 MoE 配置（4 个专家、top-1 路由、统计池化、插入在最后 6 层）将宏平均等错误率（macro EER）从 5.46%（基线）降低至 4.81%。这代表了相对于基线 11.9% 的相对提升。
与 LoRA 的比较： 全量 MoE 方法在所有测试的秩（rank）下均显著优于基于 LoRA 的替代方案。虽然 LoRA 方法仅更新极小部分的参数（例如 2M–16M），但全量 MoE 方法通过微调 329M 参数实现了更优的鲁棒性，这表明放宽低秩约束并对整个骨干网络进行联合微调对于该任务至关重要。
专家专业化： 对专家激活分布的分析显示，虽然路由模式在不同合成器之间略有不同，但没有明确证据表明存在特定的专家始终处理特定攻击类型的严格专业化现象。平均 Jensen–Shannon 散度保持在较低水平，表明专家捕捉的是复杂的、重叠的声学模式，而非截然分开的伪影类别。

意义与主张
本文主张，将 SSL 模型转换为全量 MoE 架构是提高防伪系统针对未见合成方法鲁棒性的可行路径。通过将密集层替换为多个专家并对整个模型进行联合微调，该方法扩展了模型捕捉互补声学模式的能力，同时不会丢弃预训练过程中学到的丰富表示。作者强调，虽然这种方法与 LoRA 不同，优先考虑性能和鲁棒性而非参数效率，但它成功地弥合了在不断演进的伪造威胁背景下泛化能力与专业化之间的差距。研究结论认为，尽管未观察到显式的专家专业化，但 Mo0E 结构有效地增强了模型在面对多样化且未见的攻击向量时的泛化能力。