技术摘要：隐匿于普通令牌之中

问题陈述

生成式人工智能的快速发展，特别是针对音频等连续模态的自回归模型，使得对稳健内容溯源的需求变得迫切。虽然针对离散领域（如文本）的 watermarking 技术已相当成熟，但将其应用于连续模态却面临一个根本性障碍：重令牌化不匹配（retokenization mismatch）。

在自回归音频模型中，内容以离散令牌序列的形式生成，但被合成为连续波形。为了检测水印，波形必须通过编解码器重新编码（重令牌化）。然而，由于神经编解码器优先考虑重建质量而非精确索引保留，重令牌化后的序列往往与原始生成序列不同。这种“重令牌化误差”会导致水印信号（通常通过偏置特定令牌的 logits 嵌入）迅速消失，尤其是随着上下文窗口大小（$h$）的增加。现有解决方案试图通过微调编解码器模块使其具有幂等性来解决这一问题，但该过程计算成本高昂，需要白盒访问权限，并抵消了标准水印方案的“无需训练”优势。

方法论

作者提出了隐匿于普通令牌之中（Hidden in Plain Tokens），这是一种轻量级、无需梯度的水印方法，利用了离散表示学习中固有的结构冗余。该方法并非强制编解码器具有幂等性，而是使水印方案适应编解码器的自然误差模式。

1. 重令牌化的统计分析

该论文首先将重令牌化过程建模为一个噪声信道。他们推导出，对于标准的 KGW（Kirchenbauer 等人，2023）水印，其预期检测统计量（$z$-分数）随上下文窗口大小 $h$ 和令牌匹配率 $r$ 呈指数衰减：
$$E[z|H_1] \propto \sqrt{N} \cdot r^{h+1}$$
由于在连续模态中 $r < 1$，信号会迅速消失。作者观察到，虽然精确的令牌匹配很罕见，但令牌经常被混淆为一组少量的“语义邻居”。

2. 基于社区发现词汇缩减

为了缓解这一问题，作者引入了词汇聚类方法：

• 图构建：他们对一组波形进行编码和重新编码，以构建混淆矩阵，将令牌视为图中的节点，将混淆频率视为边的权重。
• 社区发现：利用无监督算法（具体为 Leiden 方法），他们识别出频繁相互混淆的稳定令牌簇。这有效地将词汇量从 $|V|$ 减少到更小的簇集合。
• 簇级水印：水印偏置不再应用于单个令牌，而是应用于簇级别。在应用水印规则之前，上下文历史（用于哈希）和当前令牌选择均被映射到其簇索引。

3. 理论改进

通过在簇级别操作，该方法用簇匹配率 $r_{cl}$ 替换了令牌匹配率 $r$。由于 $r_{cl} > r$（簇聚合了最近邻），指数衰减项变为 $r_{cl}^{h+1}$，从而在不修改底层生成模型或编解码器的情况下，显著提高了预期的 $z$-分数和检测鲁棒性。

主要贡献

1. 统计分析：作者提供了重令牌化误差如何降低水印可检测性的理论量化，强调了信号随上下文窗口大小呈指数衰减的现象。
2. 无需梯度的方法：他们提出了一种新颖的黑盒方法，通过社区发现挖掘潜在的词汇结构，并在应用水印规则之前对其进行提炼。这保留了无需训练的范式。
3. 鲁棒性与质量：该方法实现了对音频修改和重令牌化噪声的内置鲁棒性，同时将感知音频质量的退化降至最低。

实验结果

该方法在先进的自回归音频模型上进行了评估，包括Moshi（对话语音）和MusicGen（音乐生成），以及CosyVoice3和Spark-TTS等文本转语音模型。

• 可检测性：与基线方法（包括“Base"（原始 KGW）和"WMAR"（微调编解码器））相比，所提出的方法将可检测性提高了几个数量级。即使在更高阶的上下文（$h=1, 2$）下，该方法在极低的误报率（FPR）下仍保持了高真阳性率（TPR）。
• 鲁棒性：水印在各种攻击下仍可检测，包括信号处理（平滑、滤波、噪声）、压缩（MP3、DAC、EnCodec）以及时序修改（裁剪、移位）。虽然时序错位仍然是所有基于令牌方法的挑战，但所提出的方法显著优于基线。
• 音频质量：使用 Fréchet 音频距离（FAD）和平均意见得分（MOS）指标进行的评估表明，水印过程并未严重降低音频质量。在许多情况下，水印音频的质量得分与微调后的 WMAR 基线相当甚至更好。

意义与主张

该论文声称在多媒体令牌级水印方面确立了新的最先进水平。其主要意义在于证明，令牌级音频水印的感知脆弱性并非必须通过侵入式模型训练来解决，而是可以通过提炼模型学习到的离散表示空间来解决。

作者认为，潜在空间中的结构对齐（通过社区发现捕捉）直接转化为信号域中的鲁棒性。这种方法提供了一种实用且高效的替代方案，取代了计算成本高昂的编解码器微调，使合成音频的稳健水印更加易于访问和部署。这项工作表明，离散表示学习中的冗余是一个可以利用的特性，用以克服连续模态的局限性。