Towards Generalizable AI-Generated Image Detection via Image-Adaptive Prompt Learning

该论文提出了一种名为图像自适应提示学习（IAPL）的新范式，通过为每个测试图像动态调整编码器提示并融合条件信息与测试时自适应令牌，有效解决了现有方法难以泛化到未见生成器伪造图像的问题，并在多个数据集上取得了最先进的检测性能。

要点

这篇论文介绍了一种名为**IAPL（图像自适应提示学习）**的新方法，用来解决一个棘手的问题：如何识别出那些由我们从未见过的 AI 生成的假图片？

为了让你更容易理解，我们可以把这件事想象成**“寻找伪装者”**的游戏。

1. 现在的困境：死记硬背的“老侦探”

想象一下，你雇佣了一位经验丰富的侦探（现有的 AI 检测模型）来抓假人。

• 训练阶段：这位侦探在训练时，见过很多由“张三”（比如早期的 GAN 模型）和“李四”（比如早期的扩散模型）制造的假人。他通过死记硬背，记住了张三和李四脸上特有的“痣”或“皱纹”（这些就是 AI 生成的痕迹）。
• 推理阶段（出任务时）：当遇到一个新来的假人，是由从未见过的“王五”制造的。
  • 传统方法的问题：这位侦探依然拿着之前记好的“张三和李四的特征表”去比对。因为“王五”的造假手法完全不同，侦探就懵了，要么把真货当成假货，要么把假货当成真货。
  • 比喻：就像你只学会了识别“穿红衣服”的坏人，结果坏人今天穿了“蓝衣服”，你就认不出来了。

2. 我们的新方案：会“见机行事”的“超级侦探”

这篇论文提出的 IAPL 方法，给侦探换了一种全新的工作模式。它不再死记硬背，而是学会了**“见招拆招”**。

核心概念一：动态提示（Image-Adaptive Prompt）

• 旧模式：侦探进房间前，手里拿着一张固定不变的“通缉令”（固定提示词），不管进哪个房间，都拿着同一张纸。
• 新模式：侦探进房间前，会根据眼前这个具体的人，现场生成一张专属的“通缉令”。
  • 如果来的是个高个子，通缉令就重点看脚；如果是矮个子，就重点看头。
  • 比喻：这就像侦探手里有一个智能变色龙眼镜。面对不同的假人，眼镜会自动调整滤镜，专门放大那个假人身上最可疑的地方，而不是用同一副眼镜看所有人。

核心概念二：两个“情报员”（Conditional Information Learner）

为了生成这张“专属通缉令”，侦探派出了两个情报员去现场搜集线索：

1. 特务专家（Forgery-Specific Condition）：专门找那些只有假人才有的“破绽”，比如皮肤纹理不自然、光影奇怪等。
2. 通用观察员（General Condition）：观察图片的整体风格，看看有没有违和感。

• 比喻：这两个情报员就像显微镜和广角镜的结合。他们把找到的线索（情报）打包，告诉侦探：“嘿，这个人虽然长得像真的，但他皮肤纹理像塑料（特务情报），而且整体光线不对劲（通用情报）。”

核心概念三：现场微调（Test-Time Token Tuning）

这是最厉害的一步。

• 旧模式：侦探在训练时学好了知识，上战场就不能变了。
• 新模式：侦探在面对每一个具体的假人时，会花几秒钟进行**“现场热身”**。
  • 他会把这张假人图片切成很多小块（比如正脸、侧脸、局部），分别看一遍。
  • 如果看正脸觉得“像假的”，看侧脸觉得“像真的”，他就会调整自己的判断逻辑，直到所有角度都得出一致的结论。
  • 比喻：就像你怀疑一个人是骗子，你不会只听他的一面之词。你会让他换个角度说话，或者换个场景再问一遍。如果他在不同角度下都露出马脚，那你就能确信他是骗子。这个过程叫“测试时自适应”。

3. 最终决策：谁最像真的？

经过上述的“现场热身”和“情报分析”，侦探可能会产生好几个不同的判断结果（比如 6 个视角的结论）。

• 最佳选择（Optimal Input Selection）：侦探不会盲目相信所有结论，而是选出那个**“信心最足”**的视角作为最终判决。
• 比喻：就像陪审团投票，如果 6 个人里有 5 个人都强烈认为“这是假的”，且这 5 个人的理由最充分，那就定案了。

4. 效果怎么样？

论文在两个著名的“假图大考”（UniversalFakeDetect 和 GenImage 数据集）上进行了测试。

• 结果：这位“超级侦探”的表现碾压了之前的所有方法。
• 数据：在识别从未见过的新型假图时，准确率达到了 95.6% 和 96.7% 以上。
• 意义：这意味着，无论未来的 AI 造假技术怎么进化（换新的“王五”、“赵六”），我们的方法都能迅速适应，不再被“新套路”骗过。

总结

这篇论文的核心思想就是：不要试图用一套固定的规则去套住所有变化的 AI 造假技术。

相反，我们要给 AI 检测器装上**“动态眼镜”（根据图片调整提示）和“现场思考能力”**（在测试时微调参数）。这样，无论假图怎么变，它都能迅速找到破绽，像一位经验丰富的老侦探一样，一眼看穿伪装。

技术摘要

1. 研究背景与问题 (Problem)

随着生成式 AI（如 GAN 和扩散模型）的飞速发展，生成高质量合成图像变得极其容易，但也带来了严重的安全风险（如虚假信息、隐私侵犯）。因此，检测 AI 生成图像（AIGC Detection）变得至关重要。

当前面临的主要挑战：

• 泛化能力不足： 现有的最先进（SOTA）方法通常通过对预训练的基础模型（如 CLIP）进行部分参数微调（Fine-tuning）来适应检测任务。然而，这些微调后的模型往往只能捕捉训练数据中的有限模式。
• 未见生成器失效： 当面对训练集中未出现过的新型生成器（Unseen Generators）生成的伪造图像时，固定参数的模型表现大幅下降。这是因为不同生成模型产生的纹理、语义和伪影（Artifacts）差异巨大，固定的模型参数难以捕捉所有实例特定的判别特征。
• 静态提示的局限： 现有的提示学习（Prompt Learning）方法通常在训练后固定提示词（Prompts），无法根据测试图像的具体特征进行动态调整，导致对域偏移（Domain Shift）的适应性较差。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 图像自适应提示学习（Image-Adaptive Prompt Learning, IAPL） 框架。该框架基于预训练的 CLIP ViT 模型，通过引入三种可训练组件，实现了在保持骨干网络通用性的同时，针对每张测试图像进行动态适应。

2.1 整体架构

IAPL 将可训练参数分为三类：

1. 固定学习参数（训练后冻结）： 包括基于 MLP 的适配器（MLP-based Adapters）和可学习 Token（Learnable Tokens）。它们提供稳定的特征提取基础。
2. 动态自适应参数（推理时调整）： 即 图像自适应提示（Image-Adaptive Prompts）。这是本文的核心，它根据每张测试图像的特征动态生成，包含“测试时自适应 Token"和“条件信息”。

2.2 关键组件详解

A. 固定学习参数 (Fixed Learned Parameters)

• MLP-based Adapter： 在编码器块的固定间隔（如第 1, 7, 13... 层）插入轻量级的 MLP 适配器（包含下采样、ReLU、上采样），用于微调骨干网络以适配检测任务，同时保留预训练知识。
• Learnable Tokens： 在部分编码器块（第 2 到 $N_t$ 层）中引入可学习的 Token。通过一个可学习的缩放因子（Learnable Scaling Factor），将上一块的输出提示与当前层的可学习 Token 融合，实现细粒度的特征控制。

B. 图像自适应提示学习 (Image-Adaptive Prompt Learning)
这是推理阶段的核心，旨在根据输入图像动态调整提示：

1. 测试时 Token 微调 (Test-Time Token Tuning)：
   • 在推理阶段，针对单张测试图像生成多个视图（全局视图 + 随机裁剪的局部视图）。
   • 通过**置信度选择（Confidence Selection）**筛选出预测置信度最高的 $m$ 个视图。
   • 固定模型其他参数，仅微调 测试时自适应 Token，通过最小化这些视图间的平均熵损失（Averaged Entropy Loss），迫使模型在不同视图下做出一致的预测，从而适应当前的图像特征并缓解域偏移。
2. 条件信息学习器 (Conditional Information Learner)：
   • 为了捕捉细微的伪造线索，该模块从图像中纹理最丰富的区域（通过 DCT 分数筛选）提取条件信息。
   • 利用高通滤波器和双 CNN 特征提取器，分别提取 伪造特定条件（Forgery-Specific Condition） 和 通用条件（General Condition）。
   • 这些条件信息通过可学习缩放因子与测试时自适应 Token 融合，形成最终的图像自适应提示，注入到编码器的第一层。

C. 最优输入选择 (Optimal Input Selection)

• 在推理阶段，由于不同生成器的图像分辨率和长宽比不同，传统的固定裁剪可能丢失关键伪影。
• 该方法在推理时生成多种输入（不同裁剪/视图），经过 Token 微调后，选择预测置信度最高的结果作为最终决策。

3. 主要贡献 (Key Contributions)

1. 提出图像自适应提示学习策略 (IAPL)： 打破了传统微调后提示词固定的模式，提出了一种在推理阶段根据测试图像特征动态调整提示的范式，显著提升了模型对未见生成器的泛化能力。
2. 设计高效的适应方案： 结合了轻量级的 MLP 适配器、可学习 Token 以及动态提示机制。既保留了骨干网络的通用特征提取能力，又实现了对实例特定伪造线索的灵活适应。
3. 引入测试时自适应与条件信息融合： 通过熵最小化优化测试时 Token，并利用高通滤波提取纹理丰富的条件信息，有效捕捉了传统方法容易忽略的低层伪影和细微特征。
4. SOTA 性能表现： 在广泛使用的 UniversalFakeDetect 和 GenImage 数据集上取得了最先进的性能，证明了该方法在不同生成器（GAN 和扩散模型）上的强泛化性。

4. 实验结果 (Results)

作者在两个主流数据集上进行了广泛实验：

• UniversalFakeDetect 数据集：

  • 训练集仅使用 ProGAN，测试集包含 19 种不同的生成模型（包括 GAN 和扩散模型）。
  • 结果： 平均准确率 (mAcc) 达到 95.61%，平均精度 (mAP) 达到 99.32%。
  • 对比： 相比之前的 SOTA 方法 C2P-CLIP，mAcc 提升了 1.82%；相比基线 UniFD，mAcc 提升了 14.23%。在 19 个子测试集中，有 9 个排名第一或第二。

• GenImage 数据集：

  • 专注于扩散模型生成的图像检测。训练集为 SD v1.4，测试集包含 Midjourney, SD v1.5, ADM 等多种模型。
  • 结果： 整体准确率 (mAcc) 达到 96.7%。
  • 对比： 相比 SOTA 方法 C2P-CLIP 提升了 0.9%，相比基线 UniFD 提升了 17.2%。在 8 个子测试集中有 7 个排名第一或第二。

• 消融实验：

  • 验证了 MLP 适配器、可学习 Token、图像自适应提示、最优输入选择等所有组件的有效性。
  • 证明了“平均熵损失”在测试时微调中优于“点熵损失”。
  • Grad-CAM 可视化显示，IAPL 使模型能更精准地聚焦于伪造相关的区域，而非无关背景。

5. 意义与总结 (Significance)

这篇论文针对 AI 生成图像检测中泛化性差这一核心痛点，提出了一种动态适应的新思路。

• 理论创新： 将提示学习从“训练时固定”推进到“推理时动态调整”，利用测试时自适应（Test-Time Adaptation）思想解决域偏移问题。
• 实用价值： 该方法不需要重新训练整个大模型，仅通过轻量级的参数调整和动态提示生成，即可显著提升对未知生成器的检测能力。这对于应对快速迭代的生成式 AI 技术具有重要的实际应用价值，有助于构建更鲁棒的数字内容安全防线。
• 未来影响： 这种“动态提示 + 条件信息”的范式可能不仅限于图像检测，还可推广到其他需要处理分布外（OOD）数据的视觉任务中。

简而言之，IAPL 通过让模型“见机行事”（根据每张图动态调整提示），成功解决了传统模型“刻舟求剑”（依赖固定参数）导致的泛化瓶颈。