🤖 AI

Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

本文提出了一种特征对齐的语音水印方法，该方法利用预训练语音编解码器将高能量水印嵌入到浊音区域，从而克服了传统的保真度与鲁棒性之间的权衡，实现了对已知及未知语音重构模型均具有鲁棒性的不可感知音频。

原作者： Haiyun Li, Shuhai Peng, Zhisheng Zhang, Jingran Xie, Xiaofeng Xie, Hanyang Peng, Zhiyong Wu

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Haiyun Li, Shuhai Peng, Zhisheng Zhang, Jingran Xie, Xiaofeng Xie, Hanyang Peng, Zhiyong Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想把一条秘密信息隐藏在一首歌里，以便日后只有你能找到它，但你不希望任何听歌的人察觉到信息的存在。这被称为音频水印（audio watermarking）。

长期以来，隐藏信息的规则一直是：“让信息尽可能微小且安静。”如果信息太响，听起来就会像静电或噪音，从而毁掉歌曲。但问题在于，现代技术（比如用于清理劣质音频或压缩电话通话的 AI 工具）就像一台强大的吸尘器。它们会吸走所有“微弱”的东西，包括你那微小的秘密信息，最后让你一无所获。

你分享的这篇论文介绍了一种巧妙的新方法来隐藏信息，解决了这个问题。以下是其工作原理的简单解释：

旧方法：“风暴中的耳语”

传统方法试图通过在音频中极其轻微地低语来隐藏信息。

问题所在： 如果你低语得太大声，人们就会听到（音质变差）；如果你低语得太小声，那些“吸尘器”（AI 重构工具）就会将其完全抹除。
结果： 你必须在“安全但隐形的信息”与“响亮但会被删除的信息”之间做出选择。

新方法：“机器中的幽灵”

作者们决定不再尝试将信息隐藏在音乐“之下”，而是让信息成为音乐自然结构的一部分。

1. “伪语音”（Pseudo-Speech）技巧
系统并没有仅仅添加随机噪声，而是使用一种智能 AI（一种“语音编解码器”）来生成一个听起来与原唱者完全一致的假声。你可以把它想象成原音频的一个幽灵孪生体。

这个孪生体承载着秘密信息。
因为这个孪生体是由与原声相同的“物质”构成的，它能完美地融入歌曲的自然节奏和音调中。它听起来不像是一个入侵者，而像是乐队的一部分。

2. 隐藏在“声音”区域
该系统非常聪明，知道将信息隐藏在何处。它知道人类的声音有“浊音”部分（如唱歌或说话）和“清音”部分（如呼吸或停顿）。

类比： 想象你想把一张贴纸贴在一辆行驶的汽车上。如果你把它贴在旋转的车轮上，它可能会飞出去；如果你把它贴在坚固的车门上，它就能留住。
这种方法只将秘密信息贴在音频的“坚固车门”部分（即人类声音活跃的浊音区域）。它避开了那些 AI 吸尘器最容易扫除的安静、空旷的空间。

3. “特征对齐”的融合
系统使用一种特殊的配方，将这个“幽灵孪生体”与原曲进行混合。由于幽灵孪生体在构建时就旨在匹配原声的特征，这种混合在人类听觉中听起来非常自然，尽管它承载了更强、更稳健的信息。

为什么这很重要（实验结果）

论文将这种新方法与旧方法进行了对比测试：

对抗 AI 清理工具： 当他们让带有水印的音频通过那些用于清理噪声或压缩文件的 AI 工具时，旧方法几乎完全丢失了信息。而新方法即使面对从未见过的工具，也能确保信息安全。
人类听觉： 尽管承载了更强的信息，人类听众却无法分辨出原曲与带水印歌曲之间的区别。事实上，它的听感与现有的最佳方法一样出色。

核心结论

作者解决了“鲁棒性（稳健性）与质量”之间的权衡问题。

旧逻辑： 为了安全，你必须保持安静；为了响亮，你必须制造噪音。
新逻辑： 如果你让信息看起来、听起来都和声音本身一模一样，你就可以让它变得更响亮（更安全），而不会有人察觉到它的存在。

这就像是通过使用与信件其余部分相同的墨水和笔迹来隐藏信息，而不是试图在角落里藏一张小纸条。因为信息看起来就像信件本身的一部分，“吸尘器”无法将其吸走。

技术摘要：面向重建失真鲁棒性的特征对齐语音水印

1. 问题陈述

音频水印对于内容归属和版权保护至关重要，然而现有方法在现代语音应用中面临一个关键限制。目前的方法优先考虑不可感知性，采用高保真、低能量的设计。虽然这些方法对传统的信号处理有效，但面对语音重建模型（如去噪器、神经编解码器和声码器）时表现得极其脆弱。这些模型基于先验特征分布重建纯净语音，会无意中抑制低能量的水印，从而导致严重的解码失败。

核心挑战在于现有设计中固有的鲁棒性与保真度权衡。增加水印能量以提高鲁棒性通常会降低感知质量。相反，基于嵌入的方法（例如 WavMark、AudioSeal）通过限制能量来维持保真度，这使得它们在面对重建过程时显得非常脆弱。生成式方法（例如 VoiceMark）提供了更好的鲁棒性，但由于需要联合优化生成和水印任务，往往会导致较低的保真度和更高的训练复杂度。

2. 方法论

作者提出了 AlignMark，这是一个特征对齐的水印框架，旨在通过将水印特征分布与原始语音对齐，而非仅仅约束其能量，来打破传统的权衡。

架构概述：
该系统由一个**水印嵌入器（Watermark Embedder）和一个水印解码器（Watermark Decoder）**组成，两者与一个冻结的预训练语音编解码器（SpeechTokenizer）进行联合训练。

伪语音水印生成 (Pseudo-Speech Watermark Generation)：
不同于直接在波形上添加噪声，嵌入器将水印比特注入到预训练编解码器的**潜空间（Latent Space）**中。一个 6 层的 2D CNN 适配器将原始潜特征与水印嵌入结合，转化为修改后的潜特征。这些特征由冻结的编解码器解码，生成“伪语音”水印 ( $x'$ )。这确保了水印在本质上遵循自然语音的统计分布。
频谱融合 (Spectrogram Fusion)：
伪语音水印在频谱域中与原始音频 ( $x$ ) 进行融合。两种信号通过 STFT 转换为复数谱图。一个可学习的 2D CNN 集成器预测帧频融合权重 ( $\alpha$ )，以计算最终的谱图： $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$ 。逆 STFT 产生带水印的音频 ( $\hat{x}$ )。
感知引导 (VAD 与损失函数)：
为了在允许较高能量的同时确保不可感知性，该方法将水印集中在频谱图的**浊音区域（Voiced Regions）**内。
- VAD 损失： 语音活动检测（VAD）损失引导嵌入器和解码器关注浊音帧，避开容易产生明显伪影的静音区域。
- 感知损失： 训练目标包括听觉掩蔽损失、说话人相似度损失和潜特征相似度损失，以保持说话人身份和心理声学自然度。
- 保真度损失： 使用标准的损失函数（L1、Mel 谱图、对抗损失、SI-SNR），但与传统方法相比，其权重有所放宽，依靠特征对齐来维持质量。
水印解码器 (Watermark Decoder)：
解码器通过一个可微的失真流水线（包括重建模型）和一个特征编码器处理带水印的音频。它采用：
- 时间权重预测： 1D CNN 预测浊音段的帧级似然度，以对解码过程进行加权。
- 特征金字塔提取： 多尺度 2D CNN 提取器从语音潜特征中捕捉细粒度细节，以恢复水印，解决从复杂的语音特征中提取数据的挑战。

3. 核心贡献

特征对齐设计： 本文引入了一种范式转变，从能量约束的嵌入转向特征对齐的生成。通过生成与原始语音分布匹配的伪语音水印，该方法可以在不牺牲不可感知性的情况下实现更高的水印能量。
混合框架： 作者开发了一个框架，将水印嵌入在预训练编解码器的潜特征中，并在频谱域进行融合，同时利用 VAD 和感知损失专门针对浊音区域进行引导。
对未知模型的鲁棒性： 该方法展示了对已知和未知语音重建模型（去噪器、编解码器、声码器）的显著鲁棒性，且无需将重建模型纳入训练目标中。

4. 实验结果

该方法针对 21 种失真进行了评估，其中包括六种语音重建模型，并与最先进的基准模型（WavMark、AudioSeal、TimbreWM、VoiceMark、WMCodec）进行了对比。

鲁棒性： 在语音重建模型（如 ClearerVoice、EnCodec、HiFiGAN）下，所提方法比基于嵌入的方法实现了显著更高的比特准确率（ACC）和更低的错误归属率（FAR）。例如，在面对 ClearerVoice 时，该方法达到了 0.92 的 ACC，而其他方法仅为 0.51–0.78。它在传统失真（重采样、噪声、音调偏移）方面也保持了强劲的表现。
不可感知性：
- 主观测试 (ABX)： 该方法达到了与基于嵌入的方法相当的 ABX 听感得分（约 50-51%，表示不可感知），且显著优于 VoiceMark 等生成式方法。
- 客观指标 (VISQOL MOS)： 该方法得分为 4.44，仅次于 AudioSeal (4.71)，并优于生成式方法。
- 保真度指标： 虽然并非针对最大化保真度进行优化，但该方法在 NISQA、PESQ 和 SI-SNR 上优于生成式基准模型。
消融实验： 去除频谱融合或 VAD 损失会导致鲁棒性大幅下降，证实了特征对齐和针对浊音区域定位的必要性。移除特征金字塔会导致解码准确率出现最大幅度的下降，凸显了多尺度特征提取的需求。

5. 重要性与主张

本文声称，通过将水印与原始语音特征分布对齐，可以在保持与现有基于嵌入的方法相当的不可感知性的同时，减轻语音重建模型的抑制效应。

作者将这项工作定位为解决当前音频水印在现代语音流水线（语音通话、在线会议、社交媒体）中适用性限制的方案，因为在这些场景中重建模型无处不在。通过将鲁棒性与传统设计中严格的低能量约束解耦，该方法提供了一种更灵活的权衡方式，使音频水印在涉及语音重建的现实场景中更加可靠。该工作并不声称解决了所有的保真度问题，而是断言其在鲁棒性和感知质量之间实现了比当前技术水平更优的平衡。