💻 computer science

FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

本文提出了 FedOT，一种用于联邦潜在扩散模型（Latent Diffusion Models）的新颖框架，该框架通过采用分块水印方案和潜在向量转换（LVT）机制来防止通过替换解码器来移除水印，从而确保所有权验证并将模型泄露追溯至特定的恶意客户端。

原作者： Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群艺术家（即客户端）想要共同创作一件杰作，但绝不想向任何人展示他们私人的素描本。他们使用一种特殊的协作方法，称为联邦学习（Federated Learning），来训练一个强大的 AI 艺术家（一个潜在扩散模型，Latent Diffusion Model），以生成令人惊叹的图像。

然而，这里有一个问题：一旦这群艺术家完成了训练，最终的“大师级配方”（全局模型）就会共享给所有人。小组中可能会出现一个狡猾的艺术家，他可能会偷走这个配方，卖给陌生人，或者在未经许可的情况下利用它来赚钱。这个小组需要一种方法来证明：“这是我们的配方！”并且，如果它被偷了，还要能追问：“是谁偷的？”

这篇论文介绍了 FedOT，这是一个专门为解决这些 AI 艺术家在小组协作中遇到的两个问题而设计的全新安全系统。

FedOT 解决的两个大问题

1. “谁偷了它？”之谜
以往的方法只能说明：“是的，这张图像来自我们的小组，”但它们无法分辨究竟是哪位特定的成员泄露了模型。这就像发现了一辆被盗汽车，知道它属于某个特定的家庭，但不知道是哪个家庭成员把它开走的。FedOT 通过添加一个隐藏的“身份标签”解决了这个问题，该标签可以直接指向特定的窃贼。

2. “更换引擎”的诡计
想象一下，AI 模型就像一辆汽车，有两个主要部分：引擎（生成图像的部分）和变速器（将引擎动力转化为运动的部分）。

旧方法： 以前的安全方法是在变速器上放置水印。但窃贼只需把这个带有水印的变速器拆下来，换成一个来自废料场、干净且通用的变速器即可。汽车依然能完美运行，而水印也随之消失。
FedOT 的方式： FedOT 改变了交通规则。它修改了变速器，使其只能与小组训练的特定引擎配合工作。如果窃贼试图将变速器更换为一个通用的变速器，汽车的引擎就会熄火，轮子也会掉落，导致车变成一堆无用的废铁。窃贼无法在不破坏模型的情况下窃取它。

FedOT 是如何工作的（类比说明）

FedOT 使用了两个主要的技巧来保护小组：

1. “拆分门票”（分块水印）

把水印想象成一张长长的、秘密的门票，分为两个部分：

前半部分（所有权）： 这部分对小组中的每个人都是相同的。它回答的问题是：“这个模型是否来自我们小组？”
后半部分（追踪）： 这部分对每个人都是唯一的。它回答的问题是：“究竟是哪位特定的成员泄露了它？”

当出现可疑图像时，系统首先检查前半部分。如果匹配小组，它接着会检查后半部分，以识别出具体的责任人。这使得整个过程既快速又高效。

2. “秘密语言”（潜在向量变换）

这是核心创新点。

设置： 在小组开始训练之前，领导者（服务器）会教变速器（VAE）一种秘密的、略微扭曲的语言。这就像是教变速器说一种带有轻微口音的语言，或者教它以一种奇特且特定的方式来翻译单词。
训练： 引擎（U-Net）学会了完美地使用这种新的、扭曲的语言。它们彼此之间变得非常默契。
陷阱： 如果窃贼试图将变速器更换为一个标准的、“干净的”变速器，引擎就无法理解它了。引擎试图说它的秘密语言，但新的变速器会将这些语言翻译成乱码。结果会怎样？生成的图像会变得模糊、扭曲或完全错误。

研究人员测试了三种创建这种“扭曲语言”的方法：

平移（Translation）： 将语言稍微移动（就像带着浓重的口音说话）。
镜像（Mirror）： 将语言上下颠倒。
负片（Negative）： 反转语言的颜色（就像照片的底片）。

研究人员发现，**“负片”**方法效果最好。它在保持图像看起来良好的同时，使得如果不破坏质量就无法更换部件变得几乎不可能。

实验结果显示

作者针对各种攻击对 FedOT 进行了测试：

更换攻击（The Swap Attack）： 当窃贼试图用干净的部分替换带水印的部分时，图像质量崩溃，模型变得毫无用处。
净化攻击（The Purification Attack）： 当窃贼试图通过在干净数据上重新训练模型来“洗掉”水印时，质量仍然显著下降。
追踪能力（The Trace）： 即便面对这些攻击，如果模型得以幸存，FedOT 仍能以极高的准确率识别出所属小组及具体的泄露者。

核心结论

FedOT 是第一个既能证明所有权又能抓获特定窃贼的协作式 AI 项目系统。它通过将 AI 的各个部件紧密锁定在一起，使得如果有人试图通过更换部件来窃取模型，整个系统就会崩溃。它将模型窃取变成了一个“双输”的局面：窃贼要么被抓获，要么只能得到一个损坏的、毫无用处的模型。

技术摘要：FedOT —— 基于水印的联邦潜在扩散模型（FedLDM）所有权验证与泄漏追踪

1. 问题陈述

本文针对**联邦潜在扩散模型（Federated Latent Diffusion Models, FedLDMs）**在知识产权（IP）保护方面的关键脆弱性展开研究。虽然联邦学习（FL）通过保持原始数据本地化来保护数据隐私，但它需要共享全局模型更新，这使得模型架构暴露在恶意客户端面前。这些客户端可能会未经授权地分发或转售微调后的模型。

现有解决方案在应用于 FedLDMs 时面临两个根本性的局限性：

缺乏可追溯性： 当前的方法可以验证一个模型是否属于某个联邦组（所有权验证），但无法识别负责泄露的具体恶意客户端。
易受替换攻击的影响： 标准的基于 VAE 的水印技术在 FL 中非常脆弱。由于客户端通常只更新 U-Net 参数而保持变分自编码器（VAE）冻结，恶意客户端只需将带有水印的 VAE 解码器替换为干净的开源版本即可。这种操作可以在不降低图像生成质量的情况下移除水印，导致保护机制失效。

2. 方法论：FedOT 框架

作者提出了 FedOT，这是第一个旨在同时实现 FedLDMs 所有权验证和泄漏追踪的框架。该框架由两个核心组件组成：分块水印（Chunked Watermark）机制和潜在向量变换（Latent Vector Transformation, LVT）。

2.1 分块水印设计

为了解决可追溯性缺失的问题，FedOT 采用了长度为 $n$ 比特的二进制水印，并将其分为两个不同的部分，嵌入到每个客户端模型的 VAE 解码器中：

所有权段（ $r$ 比特）： 用于验证泄露模型是否源自该联邦组的共享前缀。
追踪段（ $n-r$ 比特）： 分配给每个特定客户端的唯一后缀。

工作流程：

验证： 如果提取的水印的前 $r$ 位与组前缀匹配（高于阈值 $\tau$ ），则确认所有权。
追踪： 仅在成功进行所有权验证后，系统才会分析剩余的 $n-r$ 位，以识别负责泄露的具体客户端索引 $j$ 。这种两阶段过程提高了大规模部署中的效率。

2.2 潜在向量变换 (LVT)

为了对抗 VAE 替换攻击，FedOT 引入了 LVT，它在 VAE 和 U-Net 之间建立了强依赖关系。其核心洞察在于：LDM 中的 U-Net 在训练过程中会适应 VAE 产生的特定潜在分布。通过修改这种分布，U-Net 会被“绑定”到特定的 VAE 上。

LVT 训练过程（两个阶段）：

第一阶段（编码器训练）： 服务器微调 VAE 编码器，使其学习应用于潜在向量 $z$ 的特定变换 $T$ 。此时解码器是固定的。编码器学习将输入图像映射到变换后的潜在空间 $z' = T(z)$ 。
第二阶段（解码器训练）： 冻结编码器。解码器经过微调，用于从变换后的潜在空间 $z^*$ 中重建图像，从而有效地学习逆变换 $T^{-1}$ 。

变换策略：
论文探索了三种确定性的策略来偏移潜在分布：

平移 ( $FedOT_{tran}$ )： 向潜在空间添加常数向量 $c$ （ $z' = z + c$ ）。
镜像 ( $FedOT_{mir}$ )： 反转潜在向量（ $z' = -z$ ）。
负向 ( $FedOT_{neg}$ )： 在编码前对输入图像应用像素级反转（ $x^- = 1-x$ ），迫使潜在空间适应这种反转流形。

安全机制：
如果恶意客户端将带有水印的 VAE 替换为干净的 VAE，由于 U-Net（是在变换分布上训练的）接收到的输入来自不匹配的潜在空间，这将导致图像合成质量严重下降，使得被窃取的模型变得不可用，从而威慑替换攻击。

3. 核心贡献

本文声称的主要贡献如下：

首个针对 FedLDMs 的框架： FedOT 是第一个能够为联邦潜在扩散模型实现所有权验证和特定客户端泄漏追踪的系统。
鲁棒的组件绑定： 提出的 LVT 在 VAE 和 U-Net 之间建立了强依赖关系。它确保了通过 VAE 替换移除水印会导致显著的图像质量下降，从而有效地中和了零成本替换攻击。
全面的评估： 作者针对各种攻击进行了广泛实验，包括 VAE 替换、模型净化（在干净数据上进行微调）以及基于图像的攻击，证明了该框架的可靠性。

4. 实验结果

实验使用 Stable Diffusion v2.1，并使用 COCO2017 数据集（用于 LVT/水印训练）和 LAION-10K（用于联邦微调）。

防御替换攻击：
- 基准方法（Stable Signature* 和未添加 LVT 的 FedOT）在 VAE 替换后几乎没有显示出图像质量（FID）的下降，且水印无法被检测到。
- 带有 LVT 的 FedOT： 所有 LVT 变体在替换后都会导致显著的 FID 增加（质量下降）。
  - $FedOT_{neg}$ 展示了最佳的平衡：替换后 FID 增加了约 20 个点（从 ~20.3 增加到 ~40.5），同时在干净状态下保持了高生成质量。
  - $FedOT_{mir}$ 造成了最严重的语义破坏（CLIP-Score 下降了 -0.064），使得生成的图像内容在实际应用中几乎无法使用。
所有权与追踪性能：
- FedOT 在所有权验证和客户端追踪方面均实现了高检测率（>0.96）和高比特准确率（>0.94）。
- 分块水印设计允许仅在必要时进行高效追踪。
鲁棒性：
- 净化攻击： 在干净数据上对模型进行 300 个 epoch 的微调未能移除水印，且同时导致图像质量显著下降（FID 大幅增加）。
- 联邦环境： 在不同客户端数量（5, 10, 20）和非独立同分布（non-i.i.d.）数据分布（Dirichlet $\alpha$ ）下，性能保持稳定。

5. 重要性与主张

本文将 FedOT 定位为保护隐私保护联邦设置下生成式 AI 的必要演进。作者主张：

由于架构差异以及冻结 VAE 的特定脆弱性，现有的 FL 水印解决方案对于像 LDM 这样复杂的生成模型是不够的。
LVT 引入的权衡是一个刻意且有效的安全特性：移除水印的代价是破坏模型的效用。这使得攻击行为对恶意行为者而言变得不切实际。
该框架填补了文献中的关键空白，从简单的所有权验证转向了来源追踪，允许联邦组识别并追究负责模型泄露的具体客户端责任。

作者总结道，FedOT 为保障 FedLDMs 的安全性提供了一种可靠机制，确保即使在去中心化的训练环境中也能维护知识产权。