技术摘要：VocBulwark

问题陈述

生成式语音模型（如 GAN 和扩散模型）的快速发展已达到了人类水平的自然度，但这种真实感也加剧了深度伪造滥用、欺诈和虚假信息带来的安全风险。尽管监管机构正在强制要求可追溯性，但现有的语音水印方法在权衡保真度（感知质量）与鲁棒性（抗攻击能力）方面仍面临困难。

目前的范式面临着一个关键困境：

1. 后置处理方法（例如：编码器-噪声-解码器）通常依赖于噪声空间或频域中的简单叠加。这些方法极易被重构过程清除，且无法验证生成源或保护模型知识产权（IP）。
2. 生成式方法通过修改模型权重或对整个模型进行微调，往往会侵入性地改变原始参数空间，破坏模型的原生能力并导致生成质量下降。
3. 输入修改策略（在输入端叠加水印）通常过于表面化，且与语义内容脱节。

此外，诸如神经编解码器再生（量化与重构伪影）和变长操作（时间拉伸、裁剪）等实际威胁会导致同步模式失效，使得许多现有方法变得无效。将成功的图像水印技术（如基于 LoRA 的适配器）应用于语音并非易事，因为语音对相位和时间扰动具有天生的敏感性。

方法论

作者提出了 VocBulwark，一种附加参数注入框架，旨在冻结生成模型的原生参数，同时通过轻量级可训练模块注入水印。该方法旨在保持感知质量的同时，建立起稳健的监管机制。

1. 时间适配器 (Temporal Adapter, TA)

TA 是一个轻量级模块，集成到冻结的生成骨干网络中，用于将水印与声学属性纠缠。它包含三个关键机制：

• 声学特征对齐： 二进制水印通过渐进式特征投影 (PFP) 进行嵌入和投影，以匹配隐藏声学特征 ($h$) 的维度。这最大限度地减少了开销，并提取了本质的水印成分。
• 帧级时间广播： 为了抵御变长攻击（如裁剪、时间拉伸），投影后的水印在整个声学特征的时间轴上进行广播。这创建了一个时间不变的注入场，消除了对严格时间同步的依赖。
• 自适应注入： 广播后的水印通过拼接、下采样和深度可分离卷积 (DSC) 与宿主特征融合。零初始化的卷积和残差连接确保了稳定的优化并保留了原始语义。

2. 粗细结合门控提取器 (Coarse-to-Fine Gated Extractor, Cage)

为了从受损语音中稳健地恢复水印，Cage 利用了：

• 门控可分离卷积模块 (GSCM)： 该骨干网络采用门控机制生成软掩码，自适应地突出水印显著区域，同时抑制噪声和占主导地位的语音语义。
• 由粗到精的特征聚合： 三个分支（细、中、粗）采用不同的卷积核大小（3, 5, 7）来捕获多尺度特征。这些特征通过自适应平均池化 (AAP) 进行标准化并进行融合，以处理异构失真。
• 双路径池化： 最终表示通过融合自适应最大池化 (AMP) 和 AAP 得到，平衡了判别性峰值与全局上下文，以减轻特征稀释。

3. 准确度引导优化课程 (Accuracy-Guided Optimization Curriculum, AGOC)

为了解决保真度与鲁棒性之间的优化冲突，作者引入了一种课程学习策略。

• 损失函数： 复合目标函数包括 Mel 频谱损失 ($L_{Mel}$)、多尺度 STFT 损失 ($L_{mstft}$) 以及用于提取的二元交叉熵损失 ($L_{Ext}$)。
• 动态加权： 感知损失的权重 ($\lambda_{Mel}, \lambda_{mstft}$) 根据实时提取准确率 (ACC) 进行自适应调整。最初，模型优先学习水印模式（低感知权重）。一旦提取趋于稳定（ACC > 阈值），权重就会增加以精细化音频细节，从而确保平衡的权衡。

4. 训练协议

在训练期间部署了攻击模拟器，随机应用八种轻微失真（高斯噪声、滤波、回声、EnCodec 等）的一个子集，以增强鲁棒性。该框架在评估阶段针对更广泛的、未见的强力攻击进行了测试。

核心贡献

1. VocBulwark 框架： 一种创新的附加参数注入方法，为异构架构（扩散模型和 GAN 类声码器）建立了低开销、可靠的模型溯源和内容监管机制，且无需冻结原生参数。
2. 时间适配器与 Cage： 设计了通过声学特征对齐和广播实现时间不变嵌入的 TA，以及通过多尺度聚合和门控机制确保精确提取的 Cage。
3. 优化课程： 通过准确度引导优化课程动态编排梯度流，以协调提取准确率与感知保真度，解决了多目标训练冲突。
4. 实证验证： 综合实验证明了其具有高容量（高达 2000 bps）和高保真度的水印能力，在面对包括神经编解码器再生和变长操作在内的复杂实际场景时表现出卓越的鲁棒性。

实验结果

论文在 LJSpeech（分布内）、LibriTTS 和 AiShell3（分布外）数据集上对 VocBulwark 进行了评估，并将其与 RIWF、Groot、HiFi-GANw 及各种后置处理方法进行了对比。

• 保真度： VocBulwark 实现了卓越的生成性能。在 DiffWave 上，它达到了 0.9605 的 STOI 和 0.8519 的 SSIM，优于 RIWF 和 Groot。在基于 GAN 的模型（HiFi-GAN, BigVGAN）上，它保持了高水平的 PESQ 和 DNSMOS 分数，显著优于 HiFi-GANw 等微调基线模型。
• 鲁棒性：
  • 常见及变长攻击： 在高斯噪声（5 dB）和变长攻击（时间拉速、裁剪）下，该方法保持了接近完美的准确率（>99%），而后置处理方法通常在此类攻击下失效。
  • 编解码器攻击： VocBulwark 对传统压缩（MP3, Opus）和神经编解码器再生（EnCodec, HiFiCodec, TiCodec, STCodec, FACodec）展现了极强的韧性。它在 Opus 上达到了约 99.69% 的平均准确率，在多种神经编解码器上达到了约 95.14% 的准确率，显著优于基线模型。
  • 复合攻击： 在涉及双重压缩（如 Opus + MP3）的严重场景下，VocBulwark 仍能保持高准确率（99%），而像 Groot 这样的基线模型则会出现灾难性的性能下降（75%）。
• 效率： 与 Groot 相比，附加参数注入范式减少了 99.3% 的可训练参数，并将存储需求降低了 24 倍，同时保持了实时推理速度。

重要性与主张

论文将 VocBulwark 定位为一种实用且具韧性的解决方案，用于监管 AI 生成的语音。其主要意义在于：

• 解耦保真度与鲁棒性： 通过冻结原生参数并将水印注入声学空间，它避免了与权重嵌入或全量微调相关的质量下降问题。
• 应对实际威胁： 它专门针对当前生成式水印中的“关键困境”，通过展示对神经编解码器再生和变长攻击的抵御能力，解决了这些在现实分发渠道中普遍存在的威胁。
• 模型无关性： 该框架设计用于兼容多种声码器架构（包括扩散模型和 GAN），提供了一种通用的监管机制。
• 知识产权保护： 不同于仅追踪内容的后置处理方法，VocBulwark 将内容与特定的生成源绑定，从而能够保护模型的知识产权并强化问责制。

作者总结道，VocBulwark 作为一个“坚实的堡垒”，为负责任的 AI 部署提供了至关重要的技术基础，同时也承认了潜在的误用可能，并倡导在其应用过程中遵循严格的伦理准则和透明度。