💻 computer science

CoDoL: Conditional Domain Prompt Learning for Out-of-Distribution Generalization

本文提出了 CoDoL，一种新颖的条件领域提示学习（Conditional Domain Prompt Learning）方法，该方法利用轻量级的领域元网络来生成输入条件标记，从而改进基于 CLIP 的模型的视觉-语言嵌入对齐并增强其分布外泛化能力。

原作者： Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个超级聪明的机器人图书管理员，名叫 CLIP。这个机器人读过数百万本书，也看过数百万张图片。它的工作是观察一张新图片，并通过将其与记忆中的一个句子进行匹配来猜出它是什么。

例如，如果你给机器人看一张狗的照片，它会寻找句子“一张狗的照片”来匹配。如果匹配度很高，它就会说：“那是一只狗！”

问题：机器人会被新环境搞糊涂
机器人非常擅长识别它以前见过的东西。但在现实世界中，事物是变化的。一只狗可能会被画成卡通形象、用铅笔素描，或者用油画表现。这些是不同的“领域”（domain）（比如不同的艺术风格或光照条件）。

当机器人看到一只卡通狗时，它试图去匹配句子“一张狗的照片”。但卡通并不是照片！机器人会感到困惑，因为描述与图片并不完全契合。这被称为分布外（Out-of-Distribution, OOD）泛化。机器人在“训练室”里表现出色，但当它走进混乱、多变的现实世界时，它就失败了。

之前的尝试通过教机器人稍微修改它们的句子（比如加上“一张……的照片”）来解决这个问题，但这些句子仍然有些模糊，并没有完全解释为什么图片看起来是那个样子。

解决方案：CoDoL（上下文引导者）
作者提出了一个名为 CoDoL（条件领域提示学习，Conditional Domain Prompt Learning）的新方法。把 CoDoL 想象成给了机器人一本聪明且具有适应性的指南手册。

CoDoL 不仅仅是说“一张狗的照片”，它教会机器人说：“一张狗的照片 [处于卡通风格中]。”

以下是它的工作原理，分为几个简单的部分：

领域提示（“在哪里”和“如何做”）：
机器人被告知世界拥有不同的“领域”（比如照片、卡通、素描）。CoDoL 在句子中添加了一个特殊的“领域标记（domain token）”。这就像是在句子中添加了一个标签，写着：“记住，这只狗是以卡通风格呈现的。”这有助于机器人理解图片和文字属于同一个整体，即使它们看起来并不一样。
领域元网络（“即时翻译器”）：
有时，一只卡通狗看起来与一张狗的照片非常不同，但有时特定的卡通狗又与特定的照片有一点点相似。为了处理这种情况，作者构建了一个微型、轻量级的辅助网络，称为 DMN（领域元网络，Domain Meta Network）。
- 类比： 想象机器人正在看一张特定的图片。DMN 就像是一个快速的翻译器，它看着图片并低声耳语：“嘿，对于这张特定的图片，根据这些独特的细节稍微调整一下句子。”
- 它为每一张图像创建一个定制的“指令”，然后将其与通用的“卡通风格”指令结合起来。

为什么这有效（对齐的魔力）
CoDoL 的主要目标是对齐（Alignment）。想象机器人有两个独立的抽屉：一个放图片，一个放文字。

旧方法： 卡通狗的图片和“一张狗的照片”这些词在不同的抽屉里，它们无法很好地契合在一起。
CoDoL 方法： 通过添加“领域”和“特定实例”的指令，CoDoL 将图片和文字在机器人的脑海中拉近了距离。它们完美地扣合在了一起。

结果
研究人员在四个不同的“世界”（数据集）上测试了机器人，在这些世界中，机器人必须识别不同风格下的物体（如照片 vs 素描）。

结果： CoDoL 击败了所有之前的方法。它更擅长识别出“一张狗的素描”和“一张狗的素描”这两个词属于同一类，即使机器人以前从未见过那张特定的素描。
效率： 最棒的部分是，机器人不需要从头开始重新训练。作者只需要教机器人一些新的“词汇”（提示词）并添加一个微小的辅助工具（DMN）。这就像是给一位大厨一张新的食谱卡片，而不是重新教他如何烹饪。

总结
CoDoL 是一种聪明的技巧，它帮助 AI 理解图片和描述是一致的，即使图片看起来与 AI 最初训练时的样子不同。它通过在 AI 使用的句子中添加额外的上下文（“领域”）和定制化调整（“DMN”）来实现这一点，使得视觉所见与文字所读之间的联系变得更加强大且可靠。

技术摘要：CoDoL – 用于分布外泛化的条件领域提示学习

1. 问题陈述

深度学习模型通常依赖于独立同分布（IID）假设，但在现实世界应用中，测试数据分布与训练数据不同（即分布外或 OOD 泛化）的情况经常发生。虽然视觉-语言模型（VLMs），特别是对比语言-图像预训练（CLIP），已经展示了强大的零样本能力，但现有的基于提示（prompt-based）的 CLIP 方法在 OOD 设置下面临两个关键限制：

文本描述不准确： 固定或人工设计的提示可能无法准确描述视觉内容，导致准确性和鲁棒性下降。
视觉-语言嵌入对齐受限： 图像与文本嵌入之间的对齐是影响泛化性能的关键因素。标准的提示微调方法（如 CoOp）往往无法在分布偏移下实现充分的模态对齐。

现有方法难以利用易于获取的领域信息（例如位置、时间、实验条件）来改善这种对齐，而这对于将知识从多个训练领域迁移到未见的测试领域至关重要。

2. 方法论：CoDoL

作者提出了条件领域提示学习（CoDoL），这是一种参数高效的方法，利用领域信息来增强 CLIP 图像编码器与文本编码器的对齐。该框架由三个主要部分组成：

A. 条件领域提示构建

与仅学习类别特定上下文向量的标准提示微调不同，CoDoL 构建了一个同时包含类别和领域信息的提示。提示模板定义为：
$t = \text{[类别 Token]} + \text{[领域 Token]} + \text{[类别名称]} + \text{[领域名称]}$

类别 Token (Class Tokens)： 在类别间共享或类别特有的可学习向量。
领域 Token (Domain Tokens)： 设计用于捕捉领域不变特征的可学习向量，从而使模型能够泛化到未见的测试领域。
示例： 对于“卡通”领域中的“狗”，提示变为："[V]_1...[V]_Mc, [V]_1...[V]_Mk, dog, cartoon"。

B. 领域元网络 (DMN)

为了在捕捉领域特定信息的同时捕捉**实例特定（instance-specific）的信息，作者引入了一个名为领域元网络（DMN）**的轻量级神经网络。

功能： DMN 接收来自冻结的图像编码器的图像特征向量 ( $z_v$ )，并生成一个输入条件偏移量（input-conditional offset）。
机制： 该偏移量以逐元素相加的方式添加到可学习的领域特定上下文向量中。
$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$
结果： 生成的 Token 既携带静态领域知识，又携带动态的实例特定细节，从而创建一个同时以类别 $y$ 和特定图像实例 $x$ 为条件的提示 $t_{y,j}(x)$ 。

C. 训练与推理

训练： 模型最小化类别与领域联合后验的交叉熵损失。领域标签在训练期间用于监督特定的领域提示，但在推理阶段被视为隐变量。
推理： 在测试时，不需要领域标签。模型通过对所有 $K$ 个训练领域进行边缘化处理来预测类别标签：
$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$

3. 核心贡献

新颖的提示框架： 提出了 CoDoL，它将易于获取的领域信息整合到提示结构中，以改善视觉-语言嵌入对齐，从而提升 OOD 泛化能力。
轻量级实例调节： 引入了领域元网络（DMN），这是一种轻量级架构，能够生成输入条件 Token，使模型能够在不进行大规模参数更新的情况下，同时捕捉实例特定信息和领域特定信息。
实证验证： 通过广泛的实验证明，CoDoL 改善了 CLIP 的嵌入空间对齐，这是观察到 OOD 增益的一个重要因素。

4. 实验结果

作者在四个标准 OOD 基准测试集（PACS, VLCS, OfficeHome, 和 DigitDG）上评估了 CoDoL，并使用了 ResNet50 和 ViT-B/16 两种骨干网络。

多训练领域： CoDoL 在所有基准测试中均取得了最先进（SOTA）的性能。例如，在采用 ViT-B/16 骨干网络的 PACS 上，CoDoL 达到了 98.77% 的平均准确率，超过了之前的 SOTA（StyLIP）和零样本基线。
单训练领域： 在更具挑战性的仅使用一个领域进行训练的设置下，CoDoL 始终比其他提示技术（如 CoOp, CoCoOp）高出约 3-4%，建立了单领域训练场景下的新 SOTA 结果。
消融研究：
- DMN 的有效性： 去除 DMN 会导致约 3% 的性能下降，证实了实例特定调节的价值。
- 上下文长度： 研究发现，在多领域设置中，领域 Token ( $M_k$ ) 的最佳上下文长度大于类别 Token ( $M_c$ )，这表明较长的领域上下文有利于学习领域知识。
- 对齐指标： 定量分析显示，与基线相比，CoDoL 实现了更小的模态间隙 ( $\delta_{mod}$ ) 和更高的跨模态检索召回率 (R@1)，证实了改进的视觉-语言对齐。
数据效率： 即使只有 20% 的训练样本包含领域信息，该方法依然保持有效。

5. 重要性与主张

本文声称 CoDoL 解决了基于提示的 CLIP 方法中存在的文本描述不准确和嵌入对齐受限的核心挑战。通过显式建模领域信息和实例特定偏移，该方法提高了视觉-语言模型在现实世界分布偏移下的鲁棒性。

作者将视觉-语言嵌入对齐的提升视为观察到的 OOD 泛化增益的主要驱动因素。他们强调，该方法是参数高效的，仅需训练提示 Token 和轻量级 DMN，同时保持预训练编码器冻结。这项工作表明，利用领域信息是增强 AI 系统在数据分布非平稳的高风险应用中可靠性的可行且有效的策略。