💻 computer science

Vision-Encoder Behavioral Fingerprints of Image-to-Image Generative Models: A Training-Paradigm-Driven Taxonomy of Six Commercial APIs

本文提出了一种由训练范式驱动的六种商用图像到图像生成模型的分类法，证明了基于通过冻结的 DINOv2 token 距离所测量的对内容自适应亚 JND 对抗性扰动的响应，这些模型可划分为两个截然不同的行为簇——编辑训练型与采样时适配型。

原作者： Hunter Hill

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hunter Hill

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一种非常特殊的、隐形的墨水，你可以把它涂在照片上。这种墨水非常微弱，人眼无法看见，但它会在图像的数字 DNA 上留下独特的“指纹”。

这篇论文讲述的是：当你把涂有这种隐形墨水的照片交给六种不同的流行 AI 工具（例如用于将草图转为照片，或改变图片风格的工具）进行编辑或重绘后，会发生什么。

以下是研究人员发现的简单明了的拆解：

1. 两种“人格”分组

研究人员测试了六种不同的商业 AI 系统。他们原本预期结果会取决于 AI 的构建方式（架构）。然而，他们发现这些 AI 完全根据其训练方式，自动分成了两个截然不同的“人格组”：

“细心的编辑者”（紧凑带）： 这些 AI（如 Flux Kontext、Qwen Edit 和 Gemini）专门针对“遵循指令编辑现有照片”进行了训练。当你给它们一张照片时，它们会努力尽可能保持与原图一致。
- 类比： 把它们想象成使用 Photoshop 的摄影师。它们会微调光影或色彩，但会保持原始照片的结构和细节。它们几乎完美地保留了你的隐形墨水指纹。
“重度重构者”（漂移带）： 这些 AI（如 SDXL、SD3 和 gpt-image-1）最初是为“从无到有创建图像”（文本生成图像）而训练的，后来才被改编用于编辑照片。当你给它们一张照片时，它们倾向于根据自身的训练内容来“重新构思”这张照片。
- 类比： 把它们想象成看着照片进行创作的画家。它们可能会捕捉到大致的氛围，但会显著改变笔触和细节。通过这种方式，它们会洗掉你的隐形墨水指纹，并用自己的“画家签名”取而代之。

2. 训练比品牌更重要

最令人惊讶的发现是，AI 的“品牌”或具体的底层技术（例如它是扩散模型还是语言模型）并不如训练方法那样重要。

即使两个 AI 使用相同的底层技术，如果一个被训练为“仔细编辑”，而另一个被训练为“重度重构”，它们最终也会属于完全不同的组别。
研究人员发现，了解是“哪款 AI”处理了图像可以解释 70% 的行为，而“图像类型”（是人脸还是风景）解释的比例几乎可以忽略不计（0.2%）。

3. “指纹”测试

为了确定是哪个 AI 做了工作，研究人员使用了一个简单的测试：

他们拿到了原始照片（干净的参考图）。
他们拿到了 AI 编辑后的照片。
他们使用一种智能计算机视觉工具（DINOv2）来测量两者之间的微小差异。

结果：

如果 AI 是**“细心的编辑者”**，差异是极小且一致的。
如果 AI 是**“重度重构者”**，差异则是巨大且混乱的。

仅凭这一个测量指标，他们就能以 51% 的准确率正确猜出是六个 AI 中的哪一个处理了照片。由于总共有六个选项，随机猜测的准确率只有 16%。因此，51% 是一个显著的提升。

4. “盲测”为何失败

研究人员还尝试在不看原始照片的情况下识别 AI（即“盲测”），而这也是目前大多数 AI 检测器的工作方式。

结果： 盲测检测器在“细心的编辑者”面前惨败。因为这些 AI 让照片保持得非常接近原图，所以盲测检测器无法将它们与原始图像或彼此区分开来。它们基本上是在瞎猜。
教训： “原始照片”才是关键。如果没有原始照片，你就无法知道是谁进行了精细的编辑。有了它，你就能做到。

5. “隐形墨水”发生了什么？

论文还测量了有多少“隐形墨水”在经过 AI 旅程后得以存留：

Gemini： 保留了约 98% 的墨水。
Flux Kontext： 保留了约 80% 的墨水（尽管在人类眼中图像看起来几乎一模一样）。
gpt-image-1： 完全抹去了墨水，并用自己的噪声取而代之。

底线总结

这篇论文表明，我们不应仅仅将这些隐形墨水工具视为“防御手段”（试图阻止 AI 窃取艺术品）。相反，它们更适合作为取证工具。

如果你拥有原始照片和疑似被 AI 编辑过的照片，你可以使用这种方法来证明究竟是哪个 AI 动过这张图片。然而，这只有在你拥有用于对比的原始照片时才有效。如果你没有原始照片，且该 AI 是“细心的编辑者”，那么目前的技术手段无法告诉你谁做了修改。

技术摘要：视觉编码器在图像到图像生成模型中的行为指纹

问题陈述

随着商业化图像到图像（img2img）生成式人工智能系统的激增，迫切需要了解这些黑盒系统如何与像素域对抗扰动（例如 Glaze、Mist、PhotoGuard）进行交互。现有的归因文献主要关注盲设置下的文本到图像（T2I）输出，即不存在参考图像的情况。然而，img2img 归因呈现出一种截然不同的方法论挑战：通过构建方式，一个干净的参考图像是可用的。本文解决了三个核心问题：

商业 img2img 系统如何与亚感知差异（sub-JND）对抗扰动进行交互？
在存在干净参考图像的情况下，能否根据输出行为对特定 AI 系统进行归因？
这些系统留下了哪些行为特征签名？这些特征是由架构还是由训练范式驱动的？

方法论

本研究采用了一个**基于参考锚定（reference-anchored）**的框架，分析了六个生产级 img2img API：gpt-image-1、Gemini 2.5 Flash Image、Flux Kontext、SDXL img2img、SD3 img2img 和 Qwen Image Edit。

数据语料库

规模： 3,588 次有效 API 调用（在 99.7% 成功率后得出），源自 200 张图像的语料库。
领域： COCO val2017 照片、CelebA-HQ-256 肖像以及 Flux 生成的图像。
重复性： 每个（图像, AI）单元进行三次重复。
扰动： 一个自定义的内容自适应流水线应用了亚 JND 对抗扰动（ $L_\infty \le 0.10$ , JND 预算为 2.0），使用 120 步 PGD 算法针对一组冻结的视觉编码器。

特征空间

对于每个输出图像 $O$ 和干净的参考图像 $R$ （缩放至 518×518），作者使用冻结的 DINOv2 ViT-B/14 编码器计算一个二维行为特征向量：

patch_mean： $O$ 与 $R$ 在 37×37 网格上的最后层 token 嵌入之间的平均每块（per-patch）余弦距离。它捕捉语义层面的修改。
ssim_clean： $O$ 与 $R$ 之间的亮度结构相似度（SSIM），捕捉像素级的视觉保真度保持情况。

分类与分析

波段分类： 根据经验分布，将输出分为“紧密”（low patch_mean, $\le 0.25$ ）或“漂移”（high patch_mean, $> 0.25$ ）波段。
归因： 一个留一法（LOO）最近质心分类器在二维特征平面上运行，不含学习参数，通过计算每个 AI 的平均质心欧几里得距离来对留出的点进行分类。
统计严谨性： 通过在图像层面进行 2,000 次迭代的非参数聚类自助法（bootstrapping）来推导置信区间，以解释图像内的相关性。

关键结果

1. 两波段训练范式分类法

这六个系统在二维平面上划分为两个截然不同的、与图像无关的行为波段：

紧密波段（Tight Band）： Flux Kontext、Qwen Image Edit 和 Gemini。这些模型紧密保留输入结构。
漂移波段（Drift Band）： SDXL、SD3 和 gpt-image-1。这些模型表现出显著的相对于输入的语义漂移。

关键发现： 判别变量是训练范式，而非架构家族。

在编辑数据（成对的干净到编辑的监督数据）上训练的模型，无论其是基于扩散（Flux）还是多模态自回归（Qwen, Gemini），都聚集在紧密波段。
在采样时从 T2I 基础架构适配而来（从部分加噪的输入开始去噪）的模型，无论其是扩散模型（SDXL/SD3）还是自回归模型（gpt-image-1），都聚集在漂移波段。

方差分解： AI 身份解释了 69.5% 的行为方差，而图像领域仅解释了 0.2%。

2. 归因准确率

六向 LOO 准确率： 基于参考锚定的框架在六个 AI 中实现了 51.4% [49.3, 53.4] 的准确率，显著优于 16.7% 的随机基准。
试点准确率： 在一个专注的 3-AI 试点实验中，单图像归因（平均三次重复）达到了 82.2% [73.3, 90.0]。
盲检测基准对比： 在相同的语料库上测试时，盲检测方法（AEROBLADE 和一种 PRISM 风格的 DINOv2 嵌入器）的准确率分别为 0.222 和 0.373。盲检测方法在“紧密”波段（输出接近忠实副本）内表现为随机水平，而基于参考的方法则取得了成功。

3. 差异化扰动生存率

研究量化了对抗信号在 img2img 流水线中存活了多少：

Gemini： 约 98% 的扰动信号得以存活（几乎完好无损）。
Flux Kontext： 约 80% 的信号存活，尽管其 SSIM 高达 0.99 的视觉保真度。扩散过程充当了一个选择性过滤器，衰减了高频扰动内容，同时保留了人类可感知的细节。
gpt-image-1： 扰动被模型自身的生成方差有效地覆盖。

重要性与主张

本文将像素域扰动流水线从纯粹的防御工具重新定义为用于基于参考锚定的 AI 处理归因的取证原语。

训练范式优于架构： 本文的主要贡献在于证明了行为指纹是由模型是为编辑而训练（紧密波段）还是在采样时从 T2I 适配（漂移波段）决定的，而不是由底层的架构家族（扩散 vs. 自回归）决定的。
参考图像的必要性： 研究通过实证验证了干净的参考图像是归因中“承重”的信号。盲检测方法无法区分保持输入的模型（紧密波段），而基于参考的方法通过测量与已知原始图像的偏差从而取得了成功。
系统化测量： 这项工作提供了对已部署商业 img2img 系统中“扩散净化效应”的首次系统化测量，表明生存率随训练范式而系统性变化。

作者总结道，虽然该方案需要保留原始图像（限制了其在盲检测场景下的适用性），但它提供了一个部署就绪的阈值，以及一个经过验证的行为特征空间，用于归因那些生成的近乎忠实的复制品——在这一领域，盲检测目前处于失效状态。