🤖 AI

The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses

本文将水印与对抗性防御之间的权衡形式化为一个交互式协议，证明了对于任何学习任务，水印、对抗性防御或（通过全同态加密构建的）可迁移攻击中至少存在其一，同时确定了防御或水印可以被保护的具体条件。

原作者： Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一场由两个角色——爱丽丝（Alice，攻击者）和鲍勃（Bob，防御者）——进行的、高风险的“捉迷藏”游戏。他们试图弄清楚在特定的学习任务（比如识别照片中的猫或回答问题）中，谁占据了上风。

这篇题为《好、坏与丑》（The Good, the Bad and the Ugly）的论文指出，在这场游戏中，你无法拥有一切。对于任何给定的任务，宇宙的规则规定，这三种特定场景中的至少一种必然会发生。你无法拥有一个既安全、又能保护所有者、又不会被任何人欺骗的完美世界。

以下是这三种可能的结果，通过简单的类比进行解释：

1. “好”：不可移除的水印

场景： 爱丽丝想要证明某个特定的 AI 模型是她的。她在训练过程中，在模型内部植入了一个秘密的“后门”（隐藏的触发器）。
类比： 想象爱丽丝在一种特定类型的苹果上画了一个微小的、肉眼看不见的点。如果你把这种特定的苹果喂给机器，它就会大喊：“这是爱丽丝的苹果！”
代价： 论文指出，这只有在那个“点”极其隐蔽，以至于即使鲍勃查看机器的代码也无法发现它时才成立。然而，如果鲍勃过于强大（拥有过多的计算能力），他可能会有能力把这个点抹除掉。
结果： 如果爱丽丝能够植入这样一个鲍勃无法发现或移除的秘密触发器，她就拥有了一个水印。这对所有者来说是“好”的，因为他们可以证明所有权。

2. “坏”：不可阻挡的防御

场景： 鲍勃想要构建一个能够免疫欺骗的模型。他希望能够立即识别出是否有人试图用虚假输入来愚弄他。
类比： 想象鲍勃建立了一个保安，他能从一英里外就闻出假苹果的味道。无论假苹果看起来多么逼真，保安都会说：“站住！这不是真的苹果！”
代价： 这只有在“假苹果”（对抗性攻击）与真苹果看起来差异足够大，以至于保安能够识别出来时才有效。
结果： 如果鲍勃能够建立一个能检测出爱丽丝尝试的所有诡计的系统，他就拥有了对抗性防御。这对攻击者来说是“坏”的，因为他们无法欺骗系统。

3. “丑”：可迁移的攻击

场景： 这是该论文重大的新发现。有时，爱丽丝可以创造出一种看起来与真苹果完全一样的“诡计”，但它依然能破坏机器。最可怕的是，只要鲍勃不是无限聪明，这个诡计在任何鲍勃构建的机器上都有效。
类比： 想象爱丽丝创造了一个“魔法苹果”，在肉眼和任何标准扫描仪看来都 100% 真实。但当你咬下去时，它会变成一颗炸弹。
转折： 论文证明，如果爱丽丝可以使用一种特定类型的“魔法数学”（称为全同态加密，类似于在不打开锁定的盒子的前提下进行数学运算），她就能创造出这些魔法苹果。
结果： 如果爱丽丝能做到这一点，她就拥有了可迁移攻击。这是“丑”的，因为这意味着无论鲍勃如何努力去防御他的特定模型，爱丽丝的诡计都会奏效。这是一个能打开所有锁的万能钥匙。

“元”结论

论文的主定理有点像 AI 安全领域的物理定律。它指出：

对于任何学习任务，你只能面临以下三种情况之一：

爱丽丝获胜： 她可以隐藏一个鲍勃找不到的秘密水印。

鲍勃获胜： 他可以建立一个能识破爱丽丝所有诡计的防御系统。

“丑”获胜： 爱丽丝可以利用复杂的密码学创造出一个通用的诡计，它看起来很真实，但能破坏鲍勃建立的所有防御。

为什么这很重要？
该论文利用深奥的数学和博弈论证明了，你无法同时拥有：

水印是不可破解的，且防御是完美的，且攻击是不可能的。
如果你试图让防御过于强大，你可能会在无意中导致无法进行模型水印。
如果你试图让水印过于隐秘，你可能会在无意中使模型容易受到这些“丑”的通用攻击。

“资源”规则：
论文还给出了一个关于需要多少计算能力的经验法则。如果攻击者的预算是 $T$ （例如时间或金钱），那么防御者通常需要大约 $T^2$ （即该预算的平方）的计算能力，才能构建出一个有效的防御。如果防御者尝试使用低于这个水平的能量，那么“丑”的攻击（通用诡计）就会变得可行。

总结：
作者并不是在说“AI 完蛋了”。他们是在说：“我们需要理解其中的权衡。”你无法同时拥有完美的安全性、完美的所有权和完美的安全性。取决于攻击者和防御者拥有多少计算能力，这三种结果中的一种在数学上是必然发生的。

技术摘要：好、坏与丑：水印、可迁移攻击与对抗防御的元分析

问题陈述

本文探讨了基于后门的水印（用于模型所有权验证）与对抗防御（用于确保对输入扰动的鲁棒性）之间基本的权衡关系。尽管之前的经验性研究已经观察到，对对抗攻击具有鲁棒性的模型可能会变得容易受到后门攻击，反之亦然，但目前仍缺乏对其相互作用的正式理论理解。

作者将这一图景形式化为**验证者（Alice）与证明者（Bob）**之间的交互协议，并考虑了他们各自的计算资源。核心问题是：对于任何给定的学习任务，以下三种属性中的哪一种必然存在？

水印（Watermark）： 一种嵌入不可去除且不可检测的后门机制。
对抗防御（Adversarial Defense）： 一种检测并拒绝与数据分布不可区分的对抗样本的机制。
可迁移攻击（Transferable Attack）： 一种能够生成与数据分布不可区分、却能欺骗所有高效防御者的有效算法。

论文指出，这三种选项构成了一个“三难选择”（trichotomy），取决于攻击者和防御者的计算约束，其中至少有一个必须是可能的。

方法论与形式化

1. 计算模型

作者使用由规模参数 $n$ 索引的布尔电路族来对学习任务和智能体进行建模。这种方法在计算复杂性理论中是标准做法，它允许对计算资源（电路规模）进行精细控制，而非仅仅是运行时间。

学习任务 ( $L$ )： 定义为由成对的 $(D_n, h_n)$ 组成的分布序列，其中 $D_n$ 是数据分布， $h_n$ 是地面真值标签函数。
智能体： Alice（攻击者/水印嵌入者）和 Bob（防御者/水印移除者）被表示为具有规模限制 $S_A(n)$ 和 $S_B(n)$ 的电路。

2. 三种方案的定义

论文将这三个概念形式化为交互协议：

水印（定义 3）： 一个产生低误差分类器 $f$ $f$ 和查询集 $x$ $x$ 的高效算法。
- 正确性： $f$ 具有低误差。
- 唯一性： 具有相似资源（未使用该水印）的证明者无法对 $x$ 产生低误差的回答。
- 不可去除性： 资源受限（ $S_B$ ）的证明者无法对 $x$ 产生低误差的回答。
- 不可检测性： 查询 $x$ 与数据分布 $D_n$ 在计算上是不可区分的。
对抗防御（定义 4）： 一个产生分类器 $f$ $f$ 和检测位 $b$ $b$ 的高效算法。
- 正确性： $f$ 具有低误差。
- 完备性： 自然输入（ $x \sim D_n$ ）不会被标记（ $b=0$ ）。
- 可靠性： 如果攻击者（ $S_A$ ）提供的输入导致高误差，则防御必须将其标记出来（ $b=1$ ），前提是这些输入与 $D_n$ 不可区分。
可迁移攻击（定义 5）： 一个生成查询 $x$ $x$ 的高效算法。
- 可迁移性： 对于任何资源受限的证明者（ $S_B$ ），查询 $x$ 会导致高误差。
- 不可检测性： 查询 $x$ 与 $D_n$ 是不可区分的。
- 注：与依赖于模型相似性的标准可迁移性不同，此定义要求攻击能够针对任何高效防御者成功，而无论其架构如何。

3. 博弈论框架

核心理论引擎是 Alice（试图嵌入水印）与 Bob（试图移除水印/检测攻击）之间的零和博弈。

博弈的收益取决于水印是否被成功移除或攻击是否被成功检测。
利用**极大极小定理（Min-Max Theorem）**和关于大型零和博弈的结果（Lipton and Young, 1994），作者认为该博弈存在纳什均衡。
该均衡的价值决定了哪种方案存在：
- 如果博弈价值高，则存在对抗防御。
- 如果博弈价值低，则存在水印或可迁移攻击。

核心贡献与结果

1. 主定理（三难选择）

定理 1： 对于每个以电路复杂度 $S(n)$ 可学习至误差 $\epsilon$ 的学习任务 $L$ ，至少存在以下之一：

一个水印（防御者规模为 $o(\sqrt{S(n)/\log S(n)})$ ）。
一个对抗防御（防御者规模为 $O(S(n))$ ）。
一个可迁移攻击（攻击者规模为 $S(n)$ ）。

这一结果意味着，不可能同时拥有安全的模型水印、针对所有高效攻击者的鲁棒防御以及不存在可迁移攻击。在特定的资源约束下，其中一个的存在会排除其他两者。

2. 可迁移攻击与密码学

论文通过构建一个基于**全同态加密（FHE）**的具体学习任务，来证明可迁移攻击的存在性。

构造： 该任务涉及一个增强了 FHE 的“圆上的直线”学习问题。数据分布是“清晰”样本和“加密”样本的混合。
机制： 攻击者（Alice）在清晰样本上学习一个分类器。随后，她生成的查询要么是随机的清晰点，要么是决策边界附近的加密点。由于 FHE 的安全性，这些加密点对于任何高效的对手来说，在计算上都与随机加密点不可区分。
结果： 攻击者可以迫使任何具有有限计算资源的防御者产生高误差率（因为防御者无法解密样本以学习边界），同时保持不可检测性。
启示： 可迁移攻击的存在意味着 EFID 对（高效可采样、统计上远离、计算上不可区分）的存在。因此，可迁移攻击仅存在于计算复杂的任务中。

3. 有界 VC 维结果

论文分析了具有有界 VC 维的任务：

对抗防御： 对于具有有界 VC 维的任务，只要防御者拥有相对于 VC 维的多项式资源，就存在针对所有攻击者（甚至是具有无限计算能力的攻击者）的对抗防御。这排除了此类环境下的可迁移攻击。
水印： 对于一类有界 VC 维的子类任务，存在一种对“快速”对手（即资源严格少于防御者的对手）安全的模型水印。在这种特定情形下，水印和对抗防御可以共存。

意义与主张

论文声称提供了一个与模型无关且量化的框架，用于理解水印、防御与攻击之间的权衡。

形式化权衡： 它超越了经验观察，通过严谨的理论证明，对于任何学习任务，安全格局是由攻击者和防御者的相对计算资源决定的。
第三种选择： 它将可迁移攻击识别为权衡中必要的第三种选项，这与标准的对抗样本有所区别。这些攻击与数据不可区分，但能欺骗所有高效的防御者。
密码学联系： 它建立了可迁移攻击的存在性与密码学硬度（特别是 EFID 对的存在性）之间的直接联系。这表明，“完美”的鲁棒性（不存在可迁移攻击）仅在任务在计算意义上不具备密码学难度时才可能实现。
资源分配经验法则： 作者提出了一个实用的启发式方法：如果攻击者拥有计算预算 $T$ ，那么为防御者分配 $T^2$ 的资源就足以构建一个防御（如果存在的话）。反之，如果一个拥有 $T^2$ 预算的防御失败了，这表明该任务允许可迁移攻击，而这又排除了在该框架下构建安全水印的可能性。

论文总结道，这三种方案之间的相互作用不仅仅是模型架构或数据集的问题，从根本上说是学习任务的计算复杂度以及参与方之间的资源差异的函数。