🤖 AI

LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity

LambdaMark 引入了首个通用的放射性音频水印方案，该方案将多比特消息嵌入到语义潜表征中，在实现对常见失真和对抗性移除攻击的卓越鲁棒性的同时，确保水印即使在模型针对带水印数据进行微调后依然能够持续存在。

原作者： Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一段极其珍贵的语音录音。在过去，如果有人偷走了它，你或许可以通过查看原始文件来证明它是你的。但如今，有了先进的人工智能，窃贼可以夺取你的声音，教机器人如何模仿你的说话方式，并让这个机器人生成从未由你说过的“新句子”。这个新声音听起来和你一模一样，但原始文件已经不复存在了。你该如何证明这个机器人使用的是偷来的你的声音呢？

这正是 LambdaMark 所要解决的问题。它是一种全新的音频“数字纹身”，这种纹身极难被抹除，即使音频被复制、编辑或用于训练新的 AI，它依然能够存在。

以下是其工作原理的解释，通过简单的类比进行说明：

1. 旧方法：在表面上作画

以往的音频水印方法就像是在一幅画的特定位置画下一个微小的、肉眼看不见的点。

它们将信号隐藏在声波的“噪声”中（比如某种特定的咔哒声或嗡嗡声），人类无法察觉。
缺陷： 如果小偷拿走那幅画，擦掉表面，或者复印它（这相当于对音频进行压缩或通过滤波器处理），那个微小的点就会被抹去。
“放射性”问题： 更糟糕的是，如果小偷利用这幅画去教机器人如何作画，机器人会学习画作的“风格”，但它会忘记那个微小的、看不见的点。这个点并不会“感染”机器人创作的新艺术品。

2. LambdaMark 的方式：改变 DNA

LambdaMark 采取了一种完全不同的方法。它不是在表面上画一个点，而是改变了画作的 DNA。

语义偏移（The Semantic Shift）： 想象一下，音频不仅仅是一个声波，而是一套描述“声音是什么”（例如，“一个开心的声音在说你好”）的指令。LambdaMark 微妙地调整了这些指令。它不是添加了噪声，而是轻微地改变了音频的“含义”或“神韵”，这种改变对人类耳朵来说依然自然，但却携带了一个秘密代码。
类比： 把它想象成在汤里加入一种特定的、微妙的香料。
- 旧方法： 在碗边缘撒上一粒微小的、肉眼看不见的盐粒。如果你把汤倒入新锅中（压缩），或者让别人品尝（下游 AI），那粒盐就会丢失。
- LambdaMark： 稍微改变配方，使汤本身的口味变得略有不同。如果你把这锅汤倒入新锅中，那种味道依然存在。如果一位厨师（AI）品尝了这锅汤并试图重现它，他们会无意中重现那种特定的风味，因为这种风味已经成为了他们所学习的配方的一部分。

3. 为什么它是“放射性”的

论文称这种特性为**“放射性”（Radioactivity）**。

在物理学中，放射性物质如果与其他物体接触，会让其他物体也具有放射性。
在 LambdaMark 中，如果攻击者窃取了你带有水印的音频并用它来训练一个新的 AI 模型，那么这个新模型会继承这个水印。
即使这个新 AI 生成了你从未说过的新句子，这些新句子仍然会携带你的“数字 DNA”。你可以从新 AI 的输出中检测到你的水印，从而证明它是基于你被盗的数据进行训练的。

4. 为什么它如此难以去除

论文测试了 LambdaMark 抵御“对抗性攻击”（即黑客试图抹除水印的尝试）的表现。

旧方法： 因为旧的水印只是声波中的“点”，黑客可以使用数学方法找到并擦除它们，或者使用 AI 精确识别这些点的位置并将其移除。
LambdaMark： 由于水印被编织进了音频的“含义”（语义结构）之中，因此不存在可以被擦除的单一“点”。要移除它，黑客必须从根本上改变单词的含义或声音的情感，而这将毁掉整个音频。这就像试图在不改变汤的味道的前提下，把汤里的“辣味”去掉一样；这几乎是不可能的。

结果

研究人员在真实的音频数据集上测试了 LambdaMark，发现：

近乎完美的检测率： 即使在音频经过失真、压缩或添加噪声处理后，它仍能 99.9% 地检测出自身的水印。
跨模型成功： 即使音频被用于训练完全不同类型的 AI 模型（如文本转语音或音乐生成器），它依然有效。
无“幽灵”伪影： 带有水印的音频对人类耳朵来说听起来依然自然。

总而言之： LambdaMark 是一个不仅给门加锁（音频文件），而且改变了房屋蓝图的安全系统。如果有人偷走了蓝图并建造了一座新房子，无论小偷如何试图粉刷覆盖，这座新房子依然会带有原主人的独特签名。

技术摘要：LambdaMark

问题陈述

生成式音频模型的最新进展使得语音克隆和未经授权的音频合成变得日益容易，从而带来了语音欺诈、冒充和知识产权侵权的风险。虽然音频水印提供了一种防御机制，但现有方法面临两个关键局限性：

缺乏放射性（Lack of Radioactivity）： 当前的水印通常作为低层级的扰动嵌入在波形或频谱图中。因此，它们不会在下游生成模型的微调过程中被“学习”。如果攻击者利用带水印的数据对模型进行微调，水印往往会在生成的输出中丢失，从而无法进行溯源验证。
对对抗性攻击脆弱（Fragility to Adversarial Attacks）： 为了保持感知保真度，现有方法依赖于心理声学掩蔽，将信号嵌入到特定的时频单元中。这产生了局部化的、结构化的残差模式，使得自适应学习型攻击（例如 HarmoricAttack）能够轻易识别并移除这些模式。

核心挑战在于设计一种既具有鲁棒性（能抵御信号失真和对抗性移除），又具有放射性（能在下游模型的微调过程中存续并在生成的输出中保持可检测性）的水印方案。

方法论：LambdaMark

作者提出了 LambdaMark ( $\lambda$ Mark)，这是首个通用的放射性水印方案，它将多比特信息嵌入到**语义音频潜在表示（semantic audio latent representations）**中，而非原始波形。

架构

LambdaMark 围绕一个冻结的语义音频骨干网络运行，该网络由预训练的语义编码器 ( $E_s$ ) 和语义声码器 ( $V_o$ ) 组成。

水印编码器 ( $E_\theta$ )： 一个轻量级的三层 MLP，它接收一个 $N$ 比特的消息，并将其映射为潜在空间中的一个单位方向向量。该方向被均匀地广播到所有时间帧，以形成一个加性残差 $\delta$ 。至关重要的是， $\delta$ 的幅度是根据原始潜在表示 ( $z_{orig}$ ) 的 $\ell_2$ 范数进行自适应缩放的，确保扰动随音频的语义能量同步缩放。
水印解码器 ( $D_\phi$ )： 一个直接作用于带水印音频的语义潜在表示（经由 $E_s$ 重新编码后）的解码器。它通过在时间维度上进行平均池化来恢复编码器注入的“平均方向”，随后通过并行头进行零比特检测（存在性）和多比特消息恢复。

训练策略

该系统使用定制的多组件损失函数进行训练，平衡了四个目标：

保真度（Fidelity）： 最小化原始音频与带水印音频之间的频谱（STFT）和波形 ( $\ell_1$ ) 差异，以确保感知的自然度。
比特恢复（Bit Recovery）： 优化从重新编码的潜在表示 ( $z_{wm}$ ) 中恢复嵌入比特的过程，确保水印在经过合成 ( $V_o$ ) 和重新编码 ( $E_s$ ) 的往返循环后依然存续。
零比特检测（Zero-Bit Detection）： 训练一个二分类器来区分带水印和不带水印的潜在表示。
鲁棒性（Robustness）： 在训练循环中引入带水印音频的失真变体，以提高对信号级失真和对抗性攻击的抵御能力。

核心设计洞察

通过将水印作为潜在流形中的**语义偏移（semantic shift）**而非局部化的波形残差进行嵌入，LambdaMark 使水印与下游模型学习的高层声学特征（音素、韵律、音色）保持一致。这使得水印成为微调模型训练分布中的一个“结构化、循环出现的特征”，而非会被过滤掉的噪声。

核心贡献

首个通用放射性方案： LambdaMark 是第一个通过将多比特水印嵌入语义潜在表示来实现通用放射性的框架，从而能够在多种下游模型的输出中实现检测。
新颖的架构与损失函数： 作者设计了一个语义编码器-解码器架构以及一个多目标损失函数，共同优化检测准确率、比特恢复、保真度和对抗移除的鲁棒性。
卓越的鲁棒性： LambdaMark 是唯一在所有测试的攻击类别下均表现出鲁棒性的水印，包括常见的信号级失真、基于编解码器的攻击、基于优化的攻击（如 AudioSquareAttack）以及基于学习的自适应攻击（如 HarmonicAttack）。
可泛化的放射性： 该方法在三种不同的下游架构（YourTTS, SemanticVocoder, AudioLDM2）和两个数据集（LibriSpeech, VCTK）上展示了稳健的放射性，包括在仅在 LibriSpeech 上训练水印编码器的跨数据集迁移场景下。

实验结果

实验在 LibriSpeech 和 VCTK 数据集上进行，并将 LambdaMark 与最先进的基准模型（AudioSeal, Wavemark, AudioMarkNet）进行了对比。

对失真的鲁棒性： 在常见失真下，LambdaMark 实现了近乎完美的检测准确率（LibriSpeech 为 99.92%，VCTK 为 99.88%）和高比特恢复率（分别为 97.94% 和 95.08%）。相比之下，基准模型在相位偏移或高斯噪声下往往会跌至随机猜测水平（约 50% 准确率）。
对抗性移除： 在 HarmonicAttack 和 AudioSquareAttack 下，AudioSeal 和 AudioMarkNet 等基准模型的性能几乎崩溃至随机水平。而 LambdaMark 在 HarmonicAttack 下仍保持了高检测准确率（例如 LibriSpeech 为 98.5%）。
放射性： 在下游模型利用带水印的数据进行微调后，LambdaMark 的水印在生成的输出中依然可被检测。
- 在 SemanticVocoder 上，LambdaMark 实现了 100% 的检测准确率和 F1 分数。
- 在 AudioLDM2（一种扩散模型）上，它在全量微调后实现了 98% 的检测准确率。
- 基准模型（如 AudioMarkNet）无法泛化到未见的说话人或不同的模型架构，准确率经常跌至 50%（随机猜测）。
微调后的鲁棒性： 即使在下游模型生成音频之后，LambdaMark 的水印也能在随后的对抗性移除尝试和信号失真中存续，这是没有任何基准模型实现的特性。
保真度： LambdaMark 保持了较高的感知质量（NISQA 分数），尽管其全参考指标（ViSQOL）略低于基准模型，这归因于语义偏移而非波形伪影。

意义与主张

论文声称 LambdaMark 代表了音频水印策略的一次根本性转变。通过从低层级残差嵌入转向语义潜在嵌入，作者解决了现有方法的核心漏洞：即过度依赖于易被自适应攻击移除或在生成式微调中被稀释的局部化、统计可检测的模式。

这项工作的意义在于：

实现黑盒验证： 它允许所有者在无需访问模型内部权重或训练数据的情况下，验证其受保护的音频是否被用于训练下游模型。
特征追踪： 其多比特容量支持细粒度的归属分析，能够潜在地识别出具体是哪一个受保护的源头发生了泄露。
韧性： 它提供了一种即使在攻击者试图在微调前后移除水印的情况下依然有效的防御，而这正是当前防御手段失效的场景。

作者承认存在局限性，指出对于基于 Token 的语音生成模型（如 Spark-TTS），由于量化过程可能会破坏连续的语义信号，放射性的效果会降低，这表明在离散标记化空间中存在着追溯性与保真度之间的权衡。然而，对于连续语义模型，LambdaMark 为鲁棒且具放射性的音频保护建立了新的标准。