💻 computer science

DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

本文提出了 DiffusionPrint，一种基于对比学习的框架，通过挖掘扩散模型生成区域的内在指纹特征，有效克服了现有取证方法因潜在解码器重构而失效的难题，显著提升了扩散式图像修复的局部定位精度与泛化能力。

原作者： Paschalis Giakoumoglou, Symeon Papadopoulos

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Paschalis Giakoumoglou, Symeon Papadopoulos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何识破"AI 换图”新把戏的论文。为了让你轻松理解，我们可以把这篇论文的核心内容想象成一场**“侦探与伪装大师”的较量**。

1. 背景：新的“完美犯罪”

以前，如果有人想伪造一张照片（比如把照片里的路人 P 掉，换成一只猫），他们通常只修改照片的局部。这时候，照片的其他部分（比如背景的天空、桌子）还保留着原始相机拍摄时留下的微小“指纹”（比如传感器的噪点）。老派的鉴伪侦探（现有的技术）就是靠检查这些“指纹”是否断裂来发现破绽的。

但是，现在的 AI（如 Stable Diffusion, Flux 等）玩了一手**“全图重绘”**的绝活：

旧模式：只换掉坏掉的零件，其他零件保持原样。
新模式（扩散模型）：AI 把整张照片扔进一个“黑盒子”（潜空间），然后重新生成了整张照片，哪怕是你没让它改的地方，它也会重新“画”一遍。

后果：整张照片的“指纹”都被擦除并重新覆盖了。老派的侦探看着一张“完美无瑕”但全是 AI 生成的照片，完全找不到破绽，就像看着一个被彻底洗过澡、换了新衣服、连指纹都磨平的人，根本认不出来。

2. 主角登场：DiffusionPrint（扩散指纹）

为了解决这个问题，作者提出了一个叫 DiffusionPrint 的新侦探。它的核心思想不是去抓“指纹断裂”，而是去抓**“同门师兄弟的相似性”**。

核心比喻：双胞胎与克隆人

想象一下，AI 模型就像一个**“克隆工厂”**。

真实照片：就像自然生长的人类，每个人都有自己的独特指纹。
AI 生成的照片：就像工厂里用同一套模具批量生产出来的“克隆人”。虽然它们看起来千变万化，但因为是同一个模具（同一个 AI 模型）出来的，它们身上都带着一种隐形的“工厂印记”（Generative Fingerprint）。

DiffusionPrint 的绝招：
它不关心照片里画的是猫还是狗，它只关心**“这张图是不是同一个工厂生产出来的”**。

3. 它是如何训练的？（聪明的“找茬”游戏）

作者设计了一种非常聪明的训练方法，叫**“对比学习”。我们可以把它想象成教一个侦探玩“找不同”**的游戏，但规则很特别：

场景 A（针对真实照片）：
- 给侦探看一张真实照片，然后让 AI 把它“重新渲染”一遍（虽然内容没变，但像素被 AI 重画了）。
- 任务：告诉侦探，“这两张图虽然看起来一样，但第二张是被 AI 重画过的。你要学会忽略这种‘重画’带来的细微差别，认出它们本质上还是同一个人（真实内容）。”
- 目的：让侦探学会无视AI 重绘带来的干扰。
场景 B（针对 AI 生成的照片）：
- 给侦探看一张AI 生成的图，然后让同一个 AI 模型在图上再“修补”一部分。
- 任务：告诉侦探，“这两张图都是同一个工厂（同一个 AI 模型）生产的。你要抓住它们身上那种共同的、隐形的工厂印记。”
- 目的：让侦探学会锁定AI 模型的独特签名。

通过这种“正负样本”的反复训练，DiffusionPrint 练就了一双火眼金睛：它能区分出“被 AI 重画过的真实内容”和"AI 生成的伪造内容”，哪怕它们看起来非常相似。

4. 它的厉害之处

无视“面具”：以前的侦探看到 AI 重绘的照片就晕了，因为噪点没了。DiffusionPrint 不管噪点，它直接抓“工厂印记”。
举一反三：它在训练时只见过几种 AI 模型（比如 Stable Diffusion），但测试时，面对从未见过的Flux等新型 AI 模型，它依然能认出：“嘿，这家伙也是用类似的模具造出来的！”
即插即用：它不需要推翻现有的鉴伪系统，而是像一个**“超级插件”**，直接插进去就能让老系统的能力瞬间提升。

5. 实际效果：大获全胜

论文在测试中发现，把 DiffusionPrint 装进现有的鉴伪系统后：

在识别随机涂抹（非特定物体）的伪造图时，准确率提升了惊人的 28%。
它不仅能发现“哪里被 P 了”，还能更精准地画出伪造区域，不像旧方法那样容易误报（把真东西当成假的）。

总结

DiffusionPrint 就像是一个专门抓“克隆人”的侦探。
当 AI 试图通过“全图重绘”来抹去所有痕迹时，这个侦探不再寻找断裂的指纹，而是通过识别**“同一家工厂生产出来的共同气质”**，成功识破了 AI 的伪装。

这项技术意味着，无论 AI 如何进化，只要它还是用“生成式”的方法造图，我们就有了新的武器来守护真相。

DiffusionPrint 论文技术总结

1. 研究背景与问题定义 (Problem)

随着生成式 AI（如 Stable Diffusion, FLUX, Adobe Firefly）的兴起，基于文本引导的图像修复（Inpainting）技术使得非专业人士也能轻松创建逼真的伪造图像。这对现有的**图像伪造定位（Image Forgery Localization, IFL）**技术构成了严峻挑战。

传统挑战：传统的拼接（Splicing）伪造仅替换局部像素，保留了原始图像的传感器噪声等低级痕迹，现有的 IFL 方法通常依赖检测这些噪声的不连续性。
新挑战（完全再生式修复）：现代基于潜在扩散模型（Latent Diffusion Models）的修复是**完全再生式（Fully-regenerative）**的。
- 生成和混合过程完全在压缩的潜在空间（Latent Space）中进行。
- 最终输出是通过变分自编码器（VAE）解码整个潜在表示得到的。
- 后果：即使是在修复掩码（Mask）之外的“真实”区域，其像素也被全局重构。这破坏了原有的传感器噪声模式，导致依赖噪声统计的传统 IFL 方法失效。现有的方法往往将这种全局频谱偏移（Spectral Shift）误判为伪造信号，或者无法区分真实区域和生成区域。

核心问题：如何在一个所有像素都被潜在重构、且真实区域与生成区域共享相同全局频谱偏移的场景下，提取出鲁棒的、能够区分“真实”与“生成”的取证信号？

2. 方法论 (Methodology)

作者提出了 DiffusionPrint，这是一种基于**图像块级对比学习（Patch-level Contrastive Learning）**的框架，旨在学习一种对潜在重构伪影具有不变性，但对生成指纹敏感的取证特征。

2.1 核心设计思想

DiffusionPrint 利用了一个关键观察：由同一个生成模型生成的修复区域共享一致的生成指纹（Generative Fingerprint）。框架通过不对称的正样本对构建策略来学习这种指纹。

2.2 正样本对构建 (Positive Pair Construction)

为了训练编码器，作者设计了两种互补的正样本对策略（如图 1 所示）：

生成对（Generated Pairs, 掩码内）：
- 来源：由生成模型 $g_i$ 生成的全图。
- 操作：使用 $g_i$ 的修复变体对该图进行修复。
- 配对：将修复后的图像块（ $p_{inp}$ ）与修复前同一位置的原始生成图像块（ $p_{orig}$ ）配对。
- 目的：由于两者源自同一生成过程，它们共享底层的生成指纹。这种配对迫使编码器学习并提取这种共享的指纹，同时忽略具体的内容差异。
真实对（Authentic Pairs, 掩码外）：
- 来源：真实自然图像。
- 操作：使用 $K$ 个不同的生成模型分别对真实图像进行修复。
- 配对：提取掩码外的真实图像块（ $p_{real}$ ），将其与经过 $K$ 个不同模型 VAE 重构后的对应图像块配对。
- 目的：这些图像块都经历了潜在重构（Latent Reconstruction），但内容本质是真实的。这种配对迫使编码器学会抑制由 VAE 解码引起的全局频谱偏移和重构伪影，从而对真实区域保持“不变性”。

2.3 训练架构与策略

骨干网络：采用 DnCNN（去噪卷积神经网络）作为骨干，输出保留空间维度的密集特征图。
MoCo 风格训练：
- 使用动量编码器（Momentum Encoder）更新负样本和正样本的嵌入。
- 跨类别硬负样本挖掘（Cross-category Hard Negative Mining）：维护一个队列，对于每个锚点（Anchor），仅从相反类别（真实 vs. 生成）中挖掘最相似的 Top-k 负样本。这迫使模型关注最具挑战性的边界情况（即看起来像真实的生成块，或看起来像生成的真实块）。
生成器感知分类头（Generator-aware Classification Head）：
- 在对比损失之外，联合优化一个分类头，用于区分真实图像和特定生成模型（如 SD 2.1, SDXL, Flux）生成的图像。
- 这有助于骨干网络学习更具判别力的生成指纹。
损失函数：InfoNCE 损失（对比学习）+ 交叉熵损失（分类），加权求和。

2.4 推理阶段

在推理时，分类头被丢弃，DiffusionPrint 作为一个纯特征提取器，输出高密度的取证特征图（Forensic Feature Map），作为辅助模态输入到下游的融合定位框架中（如 TruFor, MMFusion）。

3. 关键贡献 (Key Contributions)

DiffusionPrint 框架：提出了一种针对完全再生式扩散修复的补丁级对比学习框架。通过不对称的正样本对构建，成功学习了对潜在重构伪影不变、但对生成指纹敏感的取证信号。
创新的训练策略：引入了 MoCo 风格的训练流程，结合跨类别硬负样本挖掘和生成器感知分类头，有效解决了生成模型指纹的对比学习问题。
广泛的性能提升：在 TGIF 基准测试中，将 DiffusionPrint 集成到三种融合式 IFL 框架（TruFor, MMFusion, Lite Baseline）中，显著提升了定位性能。
- 在未见过的掩码类型（Random Mask）上，性能提升高达 +28%。
- 证明了模型具有极强的泛化能力，仅在 SD 2.1 和 SDXL 上训练，即可有效检测未见过的 Flux 架构。

4. 实验结果 (Results)

数据集：使用 Dragon 数据集进行预训练（包含 COCO 真实图像及 SD 2.1, SDXL, Flux 生成的图像）。
线性探测评估：在独立测试集上，DiffusionPrint 的线性探测准确率达到 88.17%（使用生成器感知分类头），显著优于标准 MoCo 基线（75.21%）。
融合定位性能（TGIF 基准）：
- 在 TruFor 框架下，DiffusionPrint 相比 Noiseprint++ 在 Flux dev 随机掩码场景下提升了 28% (从 46% 提升至 74%)。
- 在 MMFusion 框架下，同样表现出显著优势，特别是在未见过的 Flux 变体上。
- 泛化性：即使预训练时未见过 Flux 模型（仅用 SD 2.1 和 SDXL），DiffusionPrint 在 Flux 测试集上仍保持竞争力，证明其学习的是通用的生成指纹而非特定模型的捷径。
定性分析：可视化结果显示，DiffusionPrint 生成的定位图更清晰，假阳性（在真实区域误报）更少，而传统的 Noiseprint++ 在全局重构场景下往往产生噪声或误报。

5. 意义与结论 (Significance)

解决新威胁：DiffusionPrint 是首个专门针对**完全再生式（Fully-regenerative）**扩散修复取证问题的解决方案。它不再依赖被破坏的传感器噪声，而是利用生成模型留下的“指纹”。
通用性与模块化：作为一种即插即用的取证信号提取器，它可以无缝集成到现有的多模态融合框架中，无需重新设计整个定位架构。
未来方向：该工作为构建统一的 IFL 流水线奠定了基础，未来有望结合生成指纹和相机噪声模态，实现对传统拼接和现代生成式伪造的鲁棒检测。

总结：DiffusionPrint 通过巧妙的对比学习策略，成功从被潜在重构“污染”的图像中提取出了鲁棒的生成指纹，显著提升了当前最先进的图像伪造定位模型在面对最新生成式 AI 工具时的检测能力。