⚡ electrical engineering

TriniMark: A Robust Generative Speech Watermarking Method for Trinity-Level Traceability

本文提出了 TriniMark，这是一种面向扩散式语音生成的鲁棒性水印框架，通过结合时域特征嵌入、时序感知解码及波形引导微调策略，实现了对生成语音的内容、模型及用户三个维度的可追溯性，并在保持语音质量的同时显著提升了抗攻击能力。

原作者： Yue Li, Weizhi Liu, Kaiqing Lin, Dongdong Lin, Kassem Kallas

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Li, Weizhi Liu, Kaiqing Lin, Dongdong Lin, Kassem Kallas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 TriniMark 的新技术，它就像给 AI 生成的语音加上了一种“超级隐形墨水”和“三重防伪标签”。

为了让你更容易理解，我们可以把现在的 AI 语音生成比作一家非常火爆的“语音定制工厂”。

1. 背景：为什么我们需要这个？

现在的 AI 说话越来越像真人，甚至能模仿任何人的声音。这虽然方便，但也带来了大麻烦：

假新闻：坏人可以用 AI 生成假录音来诈骗或造谣。
版权混乱：你分不清这段语音是真人录的，还是 AI 生成的，或者是哪个 AI 模型生成的。
追责困难：如果一段假语音在网上疯传，我们很难知道是哪个模型生成的，更不知道是哪个用户让 AI 生成的。

以前的技术就像是在录音生成后，偷偷贴个标签（后处理水印），或者只给模型本身打个“出厂钢印”（模型水印）。但这不够用，因为：

贴标签的容易被洗掉。
只打钢印的，不知道具体是谁用了这个模型。
很多旧技术只针对老式的 AI，对现在最先进的扩散模型（Diffusion Models，目前最火的 AI 技术）效果不好。

2. TriniMark 是什么？（核心概念）

TriniMark 就像是一个**“三位一体”的超级防伪系统**。它能在语音生成的过程中，直接在水分子（声波）里“种”下信息，而不是事后贴标签。

它实现了三重追踪（Trinity-Level Traceability）：

内容追踪：这段语音里藏着什么特定的信息？（比如：“这是张三生成的”）
模型追踪：这是由哪个 AI 模型生成的？（比如：“这是 TriniMark 工厂的机器”）
用户追踪：具体是哪个用户点单生成的？（比如：“这是用户李四点的单”）

比喻：
想象你在一家面包店买面包。

旧技术：面包烤好后，你在上面盖个章（后处理），或者只认面包店的 Logo（模型水印）。如果面包被揉碎了再重组，章就没了；如果很多面包店都用同一个 Logo，你就不知道具体是谁做的。
TriniMark：在和面的时候，就把特殊的“基因”揉进面团里。无论面包怎么烤、怎么切、甚至被撕碎重组，只要尝一口（解码），就能知道：这是哪家店（模型）、哪个面包师（内容）、以及是哪个顾客点的单（用户）。

3. 它是怎么工作的？（两步走策略）

TriniMark 的训练过程分两步，就像教一个学生先学写字，再学画画：

第一步：训练“隐形墨水笔”（预训练编码器/解码器）
- 先造一支特殊的笔（编码器），它能把一串数字（比如用户的 ID）变成看不见的波纹，悄悄混进声音里。
- 再造一个特殊的放大镜（解码器），能从被噪音干扰、被剪辑过的声音里，把那些数字重新找出来。
- 关键点：这支笔非常灵活，今天写"101"，明天写"010"都能行，不会死记硬背。
第二步：教 AI 模型“边做边写”（波形引导微调）
- 现在的 AI 语音模型（扩散模型）很强大，但不懂怎么加水印。
- TriniMark 把第一步练好的“笔”和“放大镜”借给 AI 模型。
- 在 AI 生成语音的过程中，强制它看着“放大镜”的反馈来调整：既要声音好听（像真人），又要保证“放大镜”能看清里面的数字。
- 创新点：它不是让 AI 死记硬背一个固定的水印，而是让 AI 学会随时根据指令，把不同的水印（不同的用户 ID）揉进声音里。

4. 它厉害在哪里？（实验结果）

音质几乎不变：加了水印后，人耳几乎听不出区别，就像在清澈的水里滴了一滴墨水，水还是那么清。
抗揍能力强：即使你把录音拿去：
- 加噪音（像在嘈杂的酒吧里听）
- 压缩音质（像微信发语音）
- 甚至把声音拉长、缩短、加回声
- TriniMark 依然能准确读出里面的用户 ID，而旧技术在这些操作下通常会“失忆”。
容量巨大：以前的技术只能存几十个比特（像只能存一个短 ID），TriniMark 能存500 个比特。
- 这意味着什么？ 如果每个用户分配一个独特的 ID，这个系统理论上可以追踪天文数字般的用户（2 的 500 次方），足以覆盖全球几十亿人，而且还能防住坏人联合起来搞破坏。

5. 总结

TriniMark 就像是给 AI 语音生成装上了一个不可磨灭的“数字指纹”。

它不是事后贴的标签，而是长在声音里的基因。
它能同时告诉你：是谁做的（模型）、做了什么（内容）、谁点的单（用户）。
它非常结实，怎么折腾（噪音、剪辑）都丢不了。
它非常聪明，能同时给成千上万个用户分配不同的“指纹”。

这项技术对于打击 AI 诈骗、保护版权、以及让 AI 语音的使用变得可追溯、可问责，具有非常重要的意义。它让 AI 生成的声音不再是“法外之地”，每一句假话都能找到它的“源头”。

这是一份关于论文《TriniMark: A Robust Generative Speech Watermarking Method for Trinity-Level Traceability》（TriniMark：一种面向三位级可追溯性的鲁棒生成式语音水印方法）的详细技术总结。

1. 研究背景与问题 (Problem)

随着基于扩散模型（Diffusion Models）的语音生成技术在保真度上取得显著突破，合成语音被滥用的风险（如身份冒充、恶意伪造、未经授权的重新分发）日益增加。现有的语音水印技术主要存在以下局限性：

技术范式滞后：大多数现有方法是为基于 GAN 的流水线设计的，针对扩散模型（DMs）的生成式语音水印研究尚不充分。
追溯层级单一：
- 事后水印（Post-hoc）：仅在生成后嵌入水印，仅能实现内容级溯源，无法关联到生成模型或具体用户。
- 生成式水印（Generative）：虽然能关联模型，但往往缺乏用户级的可扩展性。现有方法要么使用固定水印（无法区分同一模型的不同用户），要么负载容量极低（通常仅几十比特），难以支持大规模用户群体的唯一标识。
核心痛点：缺乏一种能够同时实现内容级（内容真实性）、模型级（模型所有权）和用户级（具体请求者身份）三位一体追溯的鲁棒方法，且需适应扩散模型架构。

2. 方法论 (Methodology)

作者提出了 TriniMark，一种基于扩散模型的生成式语音水印框架。该方法采用两阶段训练流水线，通过细粒度特征迁移将水印能力注入扩散生成过程。

2.1 核心架构

编码器（Encoder）：轻量级时间域编码器。将二进制水印消息映射为紧凑嵌入，并通过 SRNet（语音重建网络）将其注入时间域语音特征并重建波形。
解码器（Decoder）：包含时感门控卷积网络（Temporal-aware Gated Convolutional Networks, TGCN）。利用门控机制适应时间模式，通过 Hadamard 积融合线性分支和门控分支的输出，以选择性传递水印相关的时间线索。
扩散模型（Diffusion Vocoder）：基于 DDPM（去噪扩散概率模型）的语音合成器，作为生成主干。

2.2 两阶段训练策略

第一阶段：预训练水印编码器与解码器
- 目标：学习可迁移的水印先验，确保高保真重建和鲁棒的比特恢复。
- 变量水印训练：在训练过程中，每个小批量（mini-batch）分配一个伪随机水印序列，并在每个 epoch 刷新。这防止了模型过拟合到固定消息，使其能够泛化到任意水印。
- 噪声层：在编码器和解码器之间插入噪声层，模拟现实世界的信号处理攻击（如加噪、滤波），提升鲁棒性。
- 损失函数：联合优化水印提取准确率（二元交叉熵）和语音保真度（Mel 频谱损失 + 对数 STFT 幅度损失）。
第二阶段：波形引导的扩散模型微调 (Waveform-Guided Fine-Tuning, WGFT)
- 创新点：不同于传统的噪声匹配目标，WGFT 直接约束真实语音波形 $s_0$ 与合成水印波形 $\hat{s}^{wm}_0$ 之间的差异。
- 流程：
  1. 使用预训练的编码器将水印嵌入原始语音，生成目标水印波形。
  2. 将该波形扩散并作为训练数据，微调扩散模型。
  3. 使用预训练的解码器从生成的波形中提取水印，提供监督信号。
- 优势：这种波形级的引导比噪声级匹配更直接，能稳定优化过程，使扩散模型在保持生成质量的同时学会嵌入水印。
- 变量水印：同样在微调阶段使用变量水印，确保部署后的模型可以为不同用户分配不同的水印序列。

2.3 验证机制

将水印检测视为假设检验问题。通过计算恢复水印与预期水印的比特匹配数，结合二项分布设定阈值，在控制误报率（FPR）的前提下判断水印是否存在。

3. 主要贡献 (Key Contributions)

三位级可追溯性（Trinity-level Traceability）：首次提出并实现了针对生成式语音的三位级追溯框架，能够同时关联生成内容、源模型和最终用户。
时感特征引导的两阶段训练：设计了从时间域水印编码器到扩散生成器的特征迁移方案，通过波形引导微调实现了质量、鲁棒性和容量的良好平衡。
可扩展的用户级追溯：通过变量水印训练（Variable-watermark training），单模型即可在推理时为不同用户分配独特的水印序列，支持大规模用户群体的身份管理。
高容量与高鲁棒性：实验证明该方法支持高达 500 bps 的负载容量（远超现有方法的几十比特），且在多种单攻击和复合攻击下保持高提取准确率。

4. 实验结果 (Results)

实验在 LJSpeech、LibriTTS 和 LibriSpeech 数据集上，基于 DiffWave、PriorGrad 和 WaveGrad 三种扩散模型进行验证。

保真度（Fidelity）：
- 在 100 bps 负载下，TriniMark 生成的语音在主观听感和客观指标（STOI, PESQ, SSIM, MCD）上与未水印的生成语音差异极小，感知上几乎不可区分。
- 即使在 500 bps 的高负载下，虽然引入轻微背景噪声，但整体语音质量依然保持可用，且 MCD 值表现优异。
容量（Capacity）：
- 支持 500 bps 的高容量，这意味着理论上可区分 $2^{500}$ 个用户（实际受纠错码限制，但足以支持海量用户）。
- 相比之下，SOTA 方法（如 TimbreWM）在 500 bps 时提取准确率（ACC）降至 0.4999（随机猜测），而 TriniMark 在 500 bps 下 ACC 仍保持在 80% 以上。
鲁棒性（Robustness）：
- 单攻击：在加性噪声（高斯/粉红噪声）、滤波（低/带通）、信道效应（回声、抑制）和去同步（时间拉伸、抖动）攻击下，ACC 普遍高于 90%，部分场景（如 PriorGrad 模型）在强高斯噪声下 ACC 仍达 95% 以上。
- 复合攻击：在“噪声 + 滤波”或“噪声 + 回声”等复杂攻击下，TriniMark 表现出显著优于现有方法（如 AudioSeal, WavMark, HiFi-GANw）的鲁棒性。例如，在 GN+Echo 攻击下，TriniMark 的 ACC 约为 93.8%，而基线方法普遍低于 70%。
对比 SOTA：在相同负载和攻击条件下，TriniMark 在提取准确率上全面超越现有基线，特别是在高负载和强噪声场景下优势明显。

5. 意义与价值 (Significance)

填补技术空白：解决了扩散模型生成语音缺乏有效水印机制的问题，特别是针对扩散架构的生成式水印设计。
解决规模化溯源难题：通过高容量和变量水印机制，使得在大规模部署的语音服务中，能够精确追溯每一个合成语音片段的具体来源（模型）和使用者（用户），为版权保护、责任认定和打击深度伪造提供了关键技术支撑。
实用性强：该方法在保持语音自然度的同时，提供了极强的抗攻击能力，能够适应现实世界中复杂的信号处理环境（如录音、压缩、传输噪声等），具有极高的落地应用价值。

综上所述，TriniMark 通过创新的波形引导微调策略和变量水印训练机制，成功实现了生成式语音的三位级可追溯性，在容量、鲁棒性和音质之间取得了突破性的平衡。