💻 computer science

Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization

本文介绍了渐进式对抗提示微调（PAPT），这是一种利用预训练文本生成图像扩散模型来自动学习抽象对抗提示的新型框架，旨在生成多样化的域外训练数据，从而显著增强单域泛化性能。

原作者： Zhipeng Xu, De Cheng, Xinyang Jiang, Nannan Wang, Dongsheng Li, Xinbo Gao

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhipeng Xu, De Cheng, Xinyang Jiang, Nannan Wang, Dongsheng Li, Xinbo Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一只狗去识别“马”。在一个完美的世界里，你会给这只狗看各种照片：阳光下的草地、雪中的森林、雨中的城市以及沙漠。这样，狗就会明白，无论背景如何，马始终是马。

但在现实世界中，你只有一张照片：一张在阳光草地上的马的照片。这就是**单域泛化（Single Domain Generalization, SDG）**所面临的挑战。你该如何仅凭一张照片，就教会这只狗去识别它从未见过的场景中的马呢？

本文提出了一种巧妙的解决方案，即利用一个“神奇图片生成器”（一种能将文本转化为图像的 AI）为这只狗创造新的训练照片。以下是他们的做法，用简单的语言解释如下：

1. “手动提示词”的问题

通常情况下，要让图片生成器创造出一张森林里的马，你必须输入：“一张在森林里的马的照片。” 要创造一张沙漠里的马，你得输入：“一张在沙漠里的马的照片。”

作者认为这样做太难了，原因有二：

工作量太大： 你无法为马可能出现的每一种可能场景都手动编写提示词。
有些东西很难描述： 一个“梦幻、抽象、1980年代霓虹风格”下的马长什么样？很难用文字来精准描述。

2. 解决方案：“隐形墨水”（可学习的提示词）

作者并没有使用像“森林”或“沙漠”这样的具体词汇，而是教会了 AI 使用隐形墨水（抽象提示词）。

可以将这些提示词想象成调音台上两个特殊的旋钮：

旋钮 A（身份旋钮）： 这个旋钮锁定了“本质”。它确保无论发生什么变化，那只动物始终是马，而不是牛或汽车。
旋钮 B（风格旋钮）： 这个旋钮掌握着“氛围”或“风格”。它不使用文字，而是使用数学模式来创造如“素描感”、“绘画感”或“未来感”等风格，即使我们无法用语言来描述这些风格。

3. “对抗性”游戏（创意大厨）

他们方法的核心是一个被称为**渐进式对抗提示词微调（Progressive Adversarial Prompt Tuning）**的游戏。

想象一位大厨（AI）正试图为一道“马肉料理”发明新食谱。

目标： 大厨想要做出一道既带有“马”的味道（身份旋钮），看起来又与之前做过的任何菜肴完全不同的菜肴（风格旋钮）。
记忆库： 大厨保留了一份他已经创造过的所有风格的清单（例如：“水彩画”、“油画”）。
挑战： 每当大厨尝试制作一道新菜时，一位“品鉴师”（对抗部分）就会检查清单。如果新菜看起来太像“水彩画”风格，品鉴师就会拒绝它。
结果： 大厨被迫发明一种全新的风格，这种风格必须与清单上的所有风格截然不同，同时还要确保这道菜清晰地呈现出“马肉料理”的特征。

他们一遍又一遍地进行这个过程。每当大厨发明一种新风格，他就会将其加入清单，并迫使大厨在下一次发明出更具差异性的东西。这创造了极其多样化的训练图像。

4. 为什么这种方法更好

他们在著名的图像数据集（如 PACS 和 VLCS）上测试了该方法。

旧方法： 传统方法试图拉伸现有的那张照片，或者将其与其他照片混合。这就像试图拉伸一根橡皮筋；拉到最后要么断裂，要么变得奇形怪状。
新方法： 他们的这种方法利用“神奇图片生成器”创造了数百张全新的、具有多样性的照片，展示了处于现实世界中尚不存在的风格下的马。

结果： 在这些 AI 生成的照片上进行训练的模型，在识别处于全新场景（如卡通风格或素描风格下的马）中的马时，表现得比以往所有方法都要出色。事实上，他们以显著的优势超越了目前的“最优”方法。

总结类比

如果你只有一张朋友的照片，想在人群中认出他：

旧方法： 你盯着那张照片眯起眼睛，试图猜测他在穿不同衣服时会是什么样子。
本文的方法： 你请一位神奇的艺术家，画出你的朋友穿着一百种不同的服装、发型和艺术风格（有些古怪，有些正常）。然后你把这些画作展示给你的大脑。现在，当你在现实世界中看到你的朋友时，你能瞬间认出他，因为你的大脑已经见过他在“每一种”可能风格下的样子。

本文声称，这是首次使用这种特定的“神奇艺术家”技术来解决“单张照片”问题，其核心在于通过学习抽象的“旋钮”而非编写文本描述来解决问题。

技术摘要：用于单域泛化的对抗性领域提示词微调与生成

1. 问题定义

本文研究了单域泛化 (Single Domain Generalization, SDG)，这是一个具有挑战性的学习范式。在该范式下，模型必须在单个有标签源域 ( $\mathcal{D}_S$ ) 上进行训练，并能在多个未见的目标域 ( $\mathcal{D}_T$ ) 上表现出鲁棒性。与利用多个源域的标准领域泛化 (DG) 或利用目标数据进行领域自适应 (DA) 不同，SDG 在严格的约束下运行，即在训练期间目标域是不可用的，且目标域通常表现出显著的分布偏移（例如，风格、背景或视角的改变）。

现有的 SDG 方法通常依赖于数据增强或自适应归一化。然而，这些方法难以构建足够多样化的领域以覆盖任意的风格差异，特别是当领域特征过于抽象而难以用人工描述时。虽然文本生成图像 (T2I) 基座模型提供了强大的生成能力，但为每种可能的领域风格手动设计文本提示词是不切实际的，也无法捕捉抽象的风格细微差别。

2. 方法论：渐进式对抗提示词微调 (PAPT)

作者提出了 渐进式对抗提示词微调 (Progressive Adversarial Prompt Tuning, PAPT) 框架，该框架利用预训练的潜在扩散模型 (LDMs) 来自动生成多样化的分布外 (OOD) 训练数据。该方法并非依赖静态的文本描述，而是学习两组抽象的可学习提示词：

2.1. 核心组件

类别提示词微调 (Category Prompt Tuning, CPT)：
- 目标： 捕获领域不变的类别信息。
- 机制： 对于每个类别 $k$ ，将一个可学习的提示向量 $\mathbf{E}^c_k$ 插入到固定的文本模板（例如，“一张 [类别] 的照片”）中。通过使用源域数据对该提示进行优化，以确保生成的图像无论在何种领域风格下都能保留正确的语义类别特征。
对抗性领域提示词微调 (Adversarial Domain Prompt Tuning, AD)：
- 目标： 建模包括那些难以用语言描述的抽象领域特定风格。
- 机制： 在领域特定记忆库 ( $\mathcal{P}$ ) 中维护一组可学习的领域提示向量 $\mathbf{E}^d_i$ 。
- 对抗目标： 为了生成新的领域提示 $\mathbf{E}^d_o$ ，模型最小化生成图像的潜在表示与 $\mathcal{P}$ 中所有现有提示之间的相似度。这是通过对比损失 ( $\mathcal{L}_{domain}$ ) 实现的，该损失将新的风格推离先前学习到的风格。
- 一致性目标： 同时，类别一致性损失 ( $\mathcal{L}_{class}$ ) 确保生成的图像在语义上仍与类别提示保持一致。
- 优化： 总损失为 $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$ 。为了使反向传播可行，作者采用了去噪过程的一步近似法。
渐进式训练方案 (Progressive Training Scheme, PTS)：
- 目标： 确保生成领域具有持续的多样性。
- 机制： 记忆库 $\mathcal{P}$ 被迭代更新。在经过一定数量的迭代后，新学习到的领域提示 $\mathbf{E}^d_o$ 会被添加到 $\mathcal{P}$ 中。这迫使随后的训练生成与不断扩大的已学习风格集不同的风格，从而有效地扩大了生成训练数据的分布范围。

2.2. 工作流程

初始化： 使用少量的文本领域嵌入手动播种 $\mathcal{P}$ 。
训练：
- 在源数据上优化类别提示 $\mathbf{E}^c_k$ 。
- 通过针对 $\mathcal{P}$ 的对抗性微调，迭代地学习新的领域提示 $\mathbf{E}^d_o$ 。
- 通过将成功的提示加入 $\mathcal{P}$ 来更新 $\mathcal{P}$ 。
生成： 使用学习到的提示词，利用 T2I 模型生成一组多样化的图像 ( $\mathcal{D}_G$ )。
最终模型： 在原始源域和生成的领域图像的并集上训练下游分类器。

3. 主要贡献

本文声称了以下贡献：

首次将 T2I 应用于 SDG： 这是第一个专门利用预训练文本生成图像基座模型进行单域泛化的工作，超越了手动提示工程，转向学习抽象提示词。
抽象提示词学习： 该方法用可学习的向量取代了僵化的文本领域，这些向量可以表示难以用文字描述的抽象风格（例如，特定的艺术风格或背景偏移）。
渐进式对抗框架： 提出的 PAPT 框架通过对抗学习机制和渐进式记忆库更新策略，平衡了生成多样化领域风格与保持类别语义之间的权衡。
达到最先进性能 (SOTA)： 该方法在多个基准测试中实现了优于现有 SDG 方法的性能。

4. 实验结果

该方法在五个标准 DG 基准数据集上进行了评估：PACS, VLCS, Office-Home, DomainNet, 和 TerraIncognita。

单域泛化 (SDG)：
- 在 PACS 上，PAPT 实现了 72.72% 的平均准确率，超过了之前的最优方法 (Prompt-Driven) 1.60%。
- 在 VLCS 上，它达到了 73.37%，相比基线提升了 9.55%，证明了其在领域标签不携带语义信息的背景和视角偏移下的鲁棒性。
- 在 Office-Home 上，它达到了 62.03%，优于最先进的方法 3.73%。
- 该方法在源域为“困难”风格（如 Sketch 或 Clipart）时表现出特别显著的增益，在特定设置下的提升高达 21.62%。
多源领域泛化：
- 当扩展到多源设置时，PAPT 在所有数据集上的平均表现优于最先进的 SMOS 1.34%。
- 值得注意的是，在具有大规模风格差异的挑战性数据集 DomainNet 上，PAPT 超越 SMOS 4.88%。
消融实验：
- 对抗性领域微调 (AD)： 在 PACS 上带来了 3.88% 的增益，在 VLCS 上带来了 3.42% 的增益，证明了对于抽象风格，可学习的提示词优于手动文本描述。
- 渐进式训练方案 (PTS)： 进一步提升了性能，在 PACS 上提升 2.50%，在 VLCS 上提升 0.83%，证实了迭代扩展风格多样性可以减少分布差异。
- 参数敏感性： 该方法在记忆库初始化和超参数 $\lambda$ （设为 10）方面表现出稳定性。

5. 意义与主张

本文将自身工作定位为解决当前数据增强技术局限性的方案，这些技术往往无法覆盖源域与目标域之间巨大的分布差距。通过利用 可学习抽象提示词 驱动的 T2I 模型生成能力，作者声称能够：

克服手动文本无法描述抽象领域特征的问题。
在不需要访问目标数据或多个源域的情况下，自动生成足够多样化的训练图像。
通过对抗学习显式地最小化生成域与目标域之间的分布差异，实现可证明的泛化性能。

作者总结道，他们的框架有效地缓解了领域偏移问题，特别是在涉及复杂背景和视角变化的场景中，为现有的 SDG 方法提供了一个鲁棒的替代方案。