💻 computer science

Backbone is All You Need: Assessing Vulnerabilities of Frozen Foundation Models in Synthetic Image Forensics

本文介绍了代理迭代对抗攻击（SIAA），这是一种灰盒方法，它证明了仅凭对视觉 Transformer 骨干网络的了解就足以有效破坏用于合成图像取证中的冻结基础模型，从而揭示了当前深度伪造检测系统中存在的一个关键漏洞。

原作者： Chiara Musso, Joy Battocchio, Andrea Montibeller, Giulia Boato

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chiara Musso, Joy Battocchio, Andrea Montibeller, Giulia Boato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心理念：“骨干网络即一切所需”

想象一下，你试图辨别一幅画是赝品。你聘请了一位著名的艺术专家（检测器）来查看图片，并判断它是真实的还是由人工智能生成的。

长期以来，这些专家都是从零开始训练的。但最近，研究人员开始使用“预训练”专家。这些专家就像已经在博物馆研习过数百万幅画作（冻结的基础模型或ViT 骨干网络）的艺术专家，他们非常擅长识别形状、纹理和图案。为了节省时间和金钱，我们不需要重新训练他们的大脑；我们只需给他们一个简单的“是/否”测试（分类头），让他们决定某张特定的新图片是否为假。

该论文的发现：
本文作者发现了一个危险的秘密：你不需要知道专家的最终“是/否”测试就能愚弄他们。 你只需要知道他们的大脑是如何处理图像的（即骨干网络）。

他们创造了一种名为SIAA（代理迭代对抗攻击）的新技巧。这是一种“灰盒”攻击，意味着攻击者不知道检测器最终决策的“秘密配方”，但他们确实知道检测器底层的“大脑”（即视觉 Transformer）。

攻击是如何运作的（类比）

将检测器的大脑想象成一个巨大的图书馆，其中每张图片都被转化为特定的“书籍”（特征向量）。

设置：检测器拥有一个“真书”和“假书”的图书馆。当你给它看一张图片时，它会找到匹配的书并检查标签。
问题：通常，要愚弄检测器，你需要确切知道它是如何读取标签的（即分类头）。
SIAA 解决方案：攻击者构建了一个代理翻译器（FP-Head）。
- 他们从检测器的图书馆中获取“真书”和“假书”。
- 他们还使用了一个知道“这是真的”和“这是假的”这些词汇的文本 AI（CLIP）。
- 他们训练他们的翻译器，使其将“真书”与文本“这是真的”匹配，将“假书”与文本“这是假的”匹配。
诡计：一旦翻译器准备就绪，攻击者就拿出一张假图像，并在其上添加微小的、不可见的划痕（扰动）。他们调整这些划痕，直到翻译器说：“嘿，这张假图像现在看起来完全像检测器图书馆里‘这是真的’这个文本！”
结果：检测器查看这张被划痕的图像，在其图书馆中看到“真实”模式，并自信地说：“这是一张真实照片！”尽管它实际上是假的。

他们测试了什么

研究人员在三种不同类型的“专家大脑”（CLIP、Swin 和 DINOv2）以及几种困难情境下测试了这一技巧：

“少样本”测试：如果攻击者只有 100 张图片可供学习，而不是 10,000 张，会发生什么？
- 结果：攻击仍然几乎完美地奏效。攻击者不需要庞大的图书馆来学习这一技巧。
“不匹配”测试：如果攻击者使用与检测器不同的图片集或不同的过滤器（数据增强）进行训练，会发生什么？
- 结果：即使攻击者使用的数据与检测器不同，该攻击在超过 70% 的情况下仍然成功愚弄了检测器。
“不同大脑”测试：如果攻击者在 CLIP 大脑上训练，但试图愚弄 Swin 大脑，会发生什么？
- 结果：它在 CLIP 和 Swin 之间取得了令人惊讶的良好效果。然而，DINOv2大脑要难得多。它就像一座墙壁更平滑的堡垒；攻击者添加的“划痕”不像以前那样容易滑落。

主要结论

该论文得出结论：冻结的预训练模型出奇地脆弱。

即使你隐藏了检测器的最终决策部分（“是/否”按钮），仅仅知道处理图像的“大脑”就足以破坏整个系统。攻击者不需要看到检测器的最终答案；他们只需要知道检测器是如何看待图像的。

简而言之：如果你使用标准的、冻结的 AI 大脑构建假图像检测器，你就存在漏洞。一个了解该特定大脑的攻击者可以创建不可见的“噪声”，使检测器认为假图像是真实的，即使他们不知道检测器的最终秘密规则。

这对安全意味着什么

该论文警告说，依赖这些冻结的骨干网络会造成“单点故障”。如果骨干网络已知，整个检测器都可以被绕过。作者建议，我们需要构建更能抵御这些特定类型“仅针对大脑”攻击的检测器。

技术摘要：骨干网络即所需

问题陈述

人工智能生成合成图像的快速发展，使得开发鲁棒的检测系统变得势在必行。尽管视觉 Transformer（ViT）因其能够泛化至未见过的生成器类别，已成为现代深度伪造检测的基石，但一个关键的脆弱性仍 largely 未被探索。目前大多数检测器依赖于冻结的、预训练的 ViT 骨干网络，仅针对特定任务训练一个浅层的分类头。

现有的对抗性研究主要集中于白盒攻击（完全访问模型权重和 logits）或不同架构之间的迁移性。然而，灰盒攻击的具体脆弱性——即攻击者掌握冻结 ViT 骨干网络的知识，但无法访问目标检测器的分类头、训练数据或特定增强策略——却被忽视了。本文认为，仅凭对骨干网络的知识就足以破坏检测器的可靠性。

方法论：代理迭代对抗攻击（SIAA）

作者提出了代理迭代对抗攻击（SIAA），这是一种旨在完全在目标检测器的特征空间内运行的灰盒攻击。该攻击仅假设已知预训练的 ViT 骨干网络及其权重。

该方法分为两个 distinct 阶段实施：

阶段 1：训练代理特征处理（FP）头

为了弥合未知的目标分类头与已知的骨干网络之间的差距，作者训练了一个由以下部分组成的代理模型：

冻结组件：目标 ViT 骨干网络（ $F(\cdot)$ ）和 CLIP 文本编码器（ $G(\cdot)$ ）。
可训练组件：一个特征处理（FP）头（ $H(\cdot)$ $H (\cdot)$ ），包含两个线性分支：
- $L_t$ ：处理由提示词导出的文本嵌入（例如，“图像是真实的”与“图像是伪造的”）。
- $L_v$ ：处理由 ViT 骨干网络提取的视觉特征。

FP 头使用多术语对比损失进行训练，旨在将视觉特征（ $v'$ ）和文本特征（ $t'$ ）对齐到共享的嵌入空间中。其目标是通过将视觉特征聚类到其对应的文本嵌入周围，来近似未知目标分类头的决策边界。损失函数包括：

$L_{pull}$ ：最小化视觉特征与真实文本嵌入之间的距离。
$L_{push}$ ：强制与对抗类文本嵌入之间保持间隔。
$L_{text}$ ：确保两个文本嵌入簇之间的分离。

阶段 2：部署与扰动优化

一旦 FP 头训练完成，该攻击即可在不访问目标 logits 的情况下生成对抗样本。

目标函数：SIAA 不在 logits 上最大化交叉熵，而是在代理特征空间中优化一个自定义的基于距离的目标函数 $J$ ：
$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$
最大化 $J$ 会将视觉表示推向远离真实类别的方向，并朝向对抗目标类别。
优化：投影梯度下降（PGD）算法在 $\ell_\infty$ -范数约束（ $\epsilon = 8/255$ ）下，迭代更新输入图像 $I_j$ 以最大化 $J$ ，从而确保不可感知性。

主要贡献

新颖的攻击向量：提出 SIAA，这是首个专门针对合成图像取证中冻结 ViT 骨干网络设计的灰盒攻击，无需了解分类头即可利用其漏洞。
特征空间利用：证明了通过文本 - 图像对比学习对齐的代理特征空间可以有效地优化对抗扰动，从而绕过对 logits 访问的需求。
全面评估：在不同级别的灰盒知识下对攻击进行了系统评估，包括少样本学习场景、未知数据增强以及数据集不匹配情况。
迁移性分析：评估了跨不同 ViT 骨干网络（CLIP、Swin、DINOv2）的跨模型迁移性。

实验结果

作者使用 Synthbuster 数据集，针对基于 CLIP、Swin 和 DINOv2 骨干网络的检测器评估了 SIAA。

性能与基线对比：SIAA 显著优于现有的灰盒基线（PGD-ViT 和线性变体 PGD-L）。
- 针对CLIP和Swin检测器，SIAA 的攻击成功率（ASR）分别达到1.00和0.99，攻击后的 AUC 接近0.00，实际上达到了白盒 PGD 攻击的性能水平。
- 针对DINOv2，SIAA 的 ASR 为0.56。作者将 DINOv2 更高的鲁棒性归因于其自监督训练目标以及注册令牌（register tokens）的使用，后者创造了更平滑的损失景观。
对未对齐的鲁棒性（消融研究）：
- 分类头变体：即使目标检测器的分类头深度发生变化（1、2 或 3 层），SIAA 仍保持 ASR $\geq 0.98$ 。
- 少样本学习：仅使用 100 张真实图像和 100 张伪造图像作为训练样本时，SIAA 的 ASR 达到0.985。
- 未知增强：当数据增强策略未知时，ASR 仍保持在高位，为0.96。
- 数据集不匹配：在最严格的场景下（不同的训练数据集且未知增强策略），SIAA 仍实现了0.70的 ASR，成功攻击了超过 50% 被正确分类的图像。
迁移性：
- 在CLIP或Swin上优化的扰动彼此之间迁移效果良好（ASR $\approx 0.56$ ）。
- 在DINOv2上优化的扰动对 CLIP（ASR 0.31）和 Swin（ASR 0.28）表现出中等的迁移性，尽管 DINOv2 作为目标时具有高度抗性。

意义与主张

本文声称，合成图像取证中对冻结基础模型的依赖引入了一种“微妙但关键的脆弱性”。主要发现是，仅凭对骨干网络的知识就足以破坏检测器的可靠性，往往能产生与白盒攻击相当的攻击成功率。

作者强调，即使在对训练数据、增强策略和分类头架构完全未对齐的条件下，这种脆弱性依然存在。因此，本文主张迫切需要开发更具韧性的防御措施，不能仅依赖于“隐藏分类头即可提供足够安全”的假设。该工作指出，当冻结 ViT 的特征空间与语义提示对齐时，其可预测性足以被访问权限有限的攻击者利用。