🤖 machine learning

SPDMark: Selective Parameter Displacement for Robust Video Watermarking

本文提出了 SPDMark，一种基于视频扩散模型参数选择性位移的生成式视频水印框架，它利用 LoRA 技术高效嵌入不可见水印，并通过联合训练与最大二分匹配机制，实现了在保持视频质量的同时，对各类篡改具有强鲁棒性的高精度水印提取与帧序恢复。

原作者： Samar Fares, Nurbek Tastan, Karthik Nandakumar

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Samar Fares, Nurbek Tastan, Karthik Nandakumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 SPDMark（读作"SpeedMark"）的新技术，它的核心任务是给 AI 生成的视频“盖个章”，证明视频是谁生成的，并且这个章很难被擦掉或伪造。

为了让你更容易理解，我们可以把整个技术过程想象成**“在制作蛋糕时调整配方”**的故事。

1. 背景：为什么我们需要给视频“盖章”？

现在的 AI 能生成非常逼真的视频（比如让猫跳舞、让风景流动）。但这带来了一个大问题：你怎么知道这个视频是 AI 生成的，还是真人拍的？或者，你怎么知道这个视频没有被坏人篡改过？

这就好比你在网上看到一张照片，你想知道它是真照片还是 AI 合成的。以前的方法像是在照片生成之后，再强行贴上一个水印（比如加个半透明的 Logo）。但这有两个缺点：

太慢：生成完视频还得再处理一遍。
不完美：贴上去的水印可能会让画面变模糊，或者坏人一裁剪、一压缩，水印就没了。

2. SPDMark 的核心创意：在“揉面”时动手脚

SPDMark 的聪明之处在于，它不是等蛋糕烤好再贴标签，而是在 AI“揉面”（生成视频）的过程中，悄悄改变一点点“配方”。

传统方法：像是把面粉揉好，做成面团，烤成蛋糕，然后试图在蛋糕表面刻字。
SPDMark 方法：像是告诉 AI 厨师：“在揉面的时候，如果你要加第 3 勺糖，就多加 0.01 克；如果要加第 5 勺糖，就少加 0.01 克。”
- 这个"0.01 克”的微小变化，就是水印。
- 因为变化是在“揉面”（生成过程）中发生的，所以做出来的蛋糕（视频）看起来和原来一模一样，人眼完全看不出区别（不可感知）。
- 但是，这个微小的配方变化被“锁”在了蛋糕的分子结构里，非常难被破坏（鲁棒性）。

3. 技术原理：像“乐高积木”一样灵活

为了让这个“微调配方”的过程既高效又灵活，SPDMark 用了两个巧妙的比喻：

A. 低秩适配器 (LoRA) = “可替换的乐高插件”

AI 模型（比如生成视频的模型）通常非常巨大，像一座摩天大楼。如果要给每个视频都重新训练整座大楼，太慢了。
SPDMark 的做法是：只在大楼的特定楼层（解码器部分）安装一些小小的、可拆卸的乐高插件。

这些插件非常小（低秩），不占地方。
它们就像**“调味包”**。

B. 选择性参数位移 (SPD) = “根据密码选调料”

这是最精彩的部分。

想象你有一个**“调料库”**，里面有成千上万种微小的“调味包”（基础位移向量）。
当你想要给视频加上一个特定的**“水印密钥”（比如证明这是张三生成的）时，系统会根据这个密钥，从库里挑选**出几个特定的“调味包”。
系统把这些选中的“调味包”加到 AI 模型的“配方”里。
关键点：不同的密钥，选出的“调味包”组合就不同。这意味着，同一个 AI 模型，不需要重新训练，只要换个密钥，就能生成带有不同“隐形签名”的视频。

4. 视频里的“隐形条形码”：每一帧都不一样

视频是由一帧帧画面组成的。如果整个视频只用一个水印，坏人只要把视频倒序播放、删掉几帧，水印就乱了。

SPDMark 的做法是：

它给视频的每一帧都生成一个独特的“小密码”。
比如第 1 帧的密码是“苹果”，第 2 帧是“香蕉”，第 3 帧是“橘子”。
这些密码是通过一种数学哈希函数（像是一个不可逆的计算器）根据时间戳算出来的。
效果：即使坏人把视频里的“苹果”帧删了，或者把“香蕉”和“橘子”的顺序颠倒了，检测器也能发现：“哎？这里少了一帧，或者顺序不对！”
检测器就像是一个**“拼图高手”**，它拿着所有可能的“小密码”去和提取出来的密码比对，利用数学算法（二分图匹配）把被打乱的帧重新排好序，找出哪些帧被篡改了。

5. 为什么它很厉害？（三大优势）

看不出来（隐形）：
就像你在蛋糕里加了 0.01 克盐，吃的人尝不出来，但配方确实变了。SPDMark 生成的视频，画质、流畅度几乎和原版一样，人眼无法分辨。
打不烂（鲁棒）：
因为水印是“长”在视频生成逻辑里的，而不是“贴”在表面的。所以，即使视频被压缩、裁剪、加滤镜、甚至被坏人重新剪辑，这个“配方签名”依然顽强地存在，能被检测出来。
算得快（高效）：
它不需要像以前的方法那样，把视频倒着跑一遍（DDIM 反转）来提取水印，也不需要为每个新密钥重新训练庞大的 AI 模型。它就像是用现成的“乐高插件”拼一下，速度非常快。

总结

SPDMark 就像是给 AI 生成的视频装了一个**“隐形的、动态的、防篡改的 DNA 芯片”**。

它不破坏视频的美感。
它能抵抗各种剪辑和压缩攻击。
它能告诉警察或审核员：“这个视频是 AI 生成的，而且第 5 秒到第 10 秒被人偷偷删掉了。”

这项技术对于防止 AI 视频造假、保护版权以及追踪虚假信息源，具有非常重要的意义。

SPDMark 论文技术总结

1. 研究背景与问题定义 (Problem)

随着高质量视频生成模型（如 Sora, Stable Video Diffusion 等）的快速发展，AI 生成视频的溯源（Provenance）和防止滥用成为紧迫问题。现有的视频水印技术面临以下核心挑战：

现有方法的局限性：
- 后处理法 (Post-hoc)：在生成后添加水印，增加了延迟，且无法利用生成模型的先验知识。
- 生成中法 (In-generation)：
  - 噪声空间方法（如 Tree-Ring）：通过修改初始噪声嵌入水印，计算成本高（需 DDIM 反演），且对时间篡改（如帧重排）脆弱。
  - 模型微调方法：通常对模型进行均匀调制或嵌入单一固定签名，难以实现逐帧控制，且难以检测时间上的篡改（如帧丢弃、交换）。
核心需求：理想的视频水印方案需要同时满足不可感知性（时空上无瑕疵）、鲁棒性（抵抗压缩、裁剪、帧操作等攻击）和计算效率，并具备时间结构保持能力（能检测帧顺序变化）。

2. 方法论 (Methodology)

本文提出了 SPDMark (Selective Parameter Displacement for Robust Video Watermarking)，一种基于选择性参数位移的生成中视频水印框架。

2.1 核心思想：选择性参数位移 (SPD)

SPDMark 不直接修改像素或噪声，而是通过有选择地修改生成模型（视频扩散模型）的参数来嵌入水印。

参数位移建模：将参数位移 $\Delta\Phi$ 建模为层间低秩基移位 (Layer-wise Low-Rank Basis Shifts) 的加性组合。
低秩适应 (LoRA)：为了参数效率，基移位 $\zeta$ 使用 LoRA 技术实现（即低秩矩阵分解 $A \times B$ ）。
密钥映射机制：
- 预训练一个包含 $P$ 个基移位的字典。
- 水印密钥 $\kappa$ 被映射为一个二进制掩码 $b(\kappa)$ ，决定在每一层激活哪些基移位。
- 优势：无需为每个新密钥重新训练模型，单个字典支持任意密钥，实现了多密钥嵌入。

2.2 逐帧水印与时间篡改检测

为了检测时间维度的篡改（如帧丢弃、交换、插入），SPDMark 采用逐帧唯一水印消息策略：

消息生成：利用加密哈希函数（如 HMAC-SHA256），基于基础密钥 $K_{base}$ 和帧索引 $t$ 生成每帧独特的水印消息 $\kappa_t$ 。
参数位移：每帧的参数位移 $\Delta\Phi_M(\kappa_t)$ 是帧特定的。

2.3 训练与提取流程

训练目标：联合优化基移位字典 $\zeta$ $ζ$ 和水印提取器 $V_\eta$ $V_{η}$ 。
- 损失函数：最小化消息恢复损失（BCE）、感知相似性损失（LPIPS）和时间一致性损失（TC，防止闪烁）。
- 实施细节：仅对扩散模型的解码器 (Decoder) 进行参数位移，保持编码器和去噪器冻结，以最大程度保留视频质量。
水印提取与验证：
- 提取器：使用基于 ResNet-50 的帧级提取器。
- 时间对齐：由于攻击可能导致帧顺序混乱，提取过程使用最大二分图匹配 (Maximum Bipartite Matching, Hungarian Algorithm) 将提取的消息与预期消息进行对齐。
- 统计假设检验：基于汉明距离计算匹配度，通过二项分布检验判断水印是否存在，并定位具体的时间篡改位置。

3. 主要贡献 (Key Contributions)

SPDMark 框架：提出了首个基于选择性参数位移的生成中视频水印框架，实现了视频扩散模型中的多密钥嵌入。
高效的参数位移机制：利用 LoRA 将位移建模为层间低秩基移位的加性组合，通过密钥索引动态选择基移位，实现了零推理开销的逐帧水印。
时间篡改检测机制：提出了一种结合逐帧唯一消息、二分图匹配和统计假设检验的验证流程，不仅能验证水印存在性，还能精确定位帧丢弃、交换或插入等时间篡改。
性能验证：在 SVD-XT (Image-to-Video) 和 ModelScope (Text-to-Video) 两个模型上进行了广泛实验，证明了其在不可感知性、鲁棒性和计算效率上的优越性。

4. 实验结果 (Results)

实验在 SVD-XT 和 ModelScope 两个模型上进行，对比了 VideoShield, VideoSeal, VidSig 等现有方法。

水印提取准确率 (Bit Accuracy)：
- 在 SVD-XT 上达到 99.5%，在 ModelScope 上达到 98.8%，优于或持平于最先进方法。
视频质量 (Video Quality)：
- 在 VBench 指标（主体一致性 SC、背景一致性 BC、运动平滑度 MS、图像质量 IQ）上表现优异。
- 特别是在运动平滑度 (MS) 和主体一致性 (SC) 上，SPDMark 在两个模型上均取得了最高分，表明其参数位移策略极好地保留了视频的时空结构。
鲁棒性 (Robustness)：
- 在 16 种攻击（包括高斯噪声、模糊、裁剪、旋转、帧丢弃/交换/插入、重压缩、屏幕录制等）下，SPDMark 的平均鲁棒性在 SVD-XT 上为 93.5%，在 ModelScope 上为 93.9%，整体优于对比方法。
- 特别是在几何变换（旋转、裁剪）和时间操作（帧交换、丢弃）方面，表现显著优于噪声空间方法。
时间取证能力：
- 在帧丢弃/插入检测中，F1 分数接近 0.999。
- 在帧交换检测中，顺序准确率 (Order Accuracy) 达到 1.000。

5. 意义与价值 (Significance)

解决权衡难题：SPDMark 成功打破了视频水印中“不可感知性、鲁棒性、效率”三者难以兼得的困境。它避免了 DDIM 反演的高计算成本，同时提供了比微调方法更强的逐帧控制能力。
实用性强：该方法无需为每个用户或场景重新训练模型，仅需一个预训练的基移位字典即可支持无限密钥，非常适合大规模部署。
安全与溯源：通过引入时间篡改检测机制，SPDMark 不仅证明了视频“由 AI 生成”，还能指出视频是否被恶意编辑（如移花接木），为 AI 生成内容的监管和取证提供了强有力的工具。
通用性：该方法基于扩散模型的解码器部分，理论上可迁移到 UNet 或 DiT 等不同架构的视频生成模型中。

总结：SPDMark 通过巧妙地将水印信息编码为生成模型参数的低秩位移，结合逐帧哈希和图匹配验证，提供了一种高效、鲁棒且具备时间取证能力的视频水印解决方案，是 AI 生成内容安全领域的重要进展。