🤖 AI

DOME: Learning Transferable Domain Variables from Sparse Supervision for Test-Time Adaptation

该论文提出了 DOME，一种利用视觉-语言预训练来通过稀疏领域库显式建模样本特定领域变量的测试时自适应方法，使得即使是简单的熵最小化策略也能在多种受损和偏移的数据集上实现最先进的性能。

原作者： Xiaoran Xu, Yifan Xu, Yupeng Wu, Xiaoshan Yang, Changsheng Xu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoran Xu, Yifan Xu, Yupeng Wu, Xiaoshan Yang, Changsheng Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、训练有素的大厨（一个 AI 模型），他在一个阳光明媚的特定厨房里学会了烹饪完美的菜肴。但现在，你把这位大厨送到了一个完全不同的厨房：也许那里昏暗、炉灶坏了，或者食材都冻住了。这就是当 AI 面临“领域偏移”（domain shifts）时发生的情况——比如现实世界的变化，如恶劣的天气、艺术风格或摄像机故障，而这些都是模型在训练时未曾见过的。

通常，当大厨在这样一个新厨房里感到困惑时，他们会试图通过品尝食物来盲目地猜测问题所在并进行调整。这也是目前大多数 AI 适应工作的方式：它试图猜测整个厨房的“平均”问题，并试图一次性修复所有问题。问题在于：这就像是试图用同一种单一工具去同时修理一个坏掉的炉灶和一个丢失的隔热手套。这种方式非常脆弱，且经常失败。

迎来 DOME（领域编码器）。

论文作者提出了一种帮助这位大厨的新方法。与其盲目猜测，不如给大厨一个特殊的、零样本（zero-shot）“领域翻译器”（DOME），它可以瞬间观察一道菜并说：“啊，这盘菜是在一个雾蒙蒙的厨房里做的，”或者“这个是在一个卡通风格的厨房里做的。”

以下是 DOME 的工作原理，通过简单的概念进行拆解：

1. “零样本”翻译器

大多数 AI 需要被专门教导什么是“雾蒙蒙”或“卡通”。DOME 则不同。它是利用海量的图像和文本库（就像一本带有图片的巨型食谱）训练出来的。因为它理解文字与图像之间的联系，所以它能立刻理解一张新奇、怪异图像的“氛围”或“领域”，即使它从未见过那种特定类型的图像。这就像一位读过世界上每一本食谱的大厨，只需瞥一眼就能立刻识别出菜肴的出处。

2. “稀疏库”（过滤器）

这是最棘手的部分：图像是杂乱的。一张卡通风格的鸟类图片既包含了“鸟”（物体）的信息，也包含了“卡通”（风格）的信息。AI 需要忽略那只鸟，而专注于“卡通”这种风格。

为了实现这一点，DOME 使用了一个稀疏动量库（Sparse Momentum Bank）。想象一个“风格卡片”库：

问题： 如果你只看整张图像，那么“鸟”的信息就会与“卡通”的信息混合在一起。
解决方案： DOME 使用一个特殊的过滤器（称为“稀疏性”）作为筛子。它会丢弃具体的“鸟”的细节，只保留“卡通”的信号。它会随着时间的推移缓慢更新它的风格卡片库（动量），从而确保它只保留最一致、最可靠的风格信号，并忽略噪声。

3. 从“稀疏”到“稠密”

一旦 DOME 从库中分离出纯净的“卡通”信号，它不仅仅是给你一个简单的标签。它会创建一个丰富、详细的地图（“稠密表示”），精确描述这张图在多大程度上具有“卡通感”。它将一个简单的概念转化为一组复杂的指令，供主 AI 使用。

4. 结果：解决复杂问题的简单方案

论文中最令人惊讶的发现是，一旦你给了主 AI 这个“领域翻译器”，你就不再需要那些花哨、复杂的算法来修复模型了。

旧方法： 构建一个超级复杂的机器人，试图猜测厨房的状况，从错误中学习，并不断进行自我重训。
DOME 方法： 只需要递给大厨一张地图，上面写着：“你现在是在一个雾蒙蒙的厨房里。”然后，让大厨使用一个非常简单、基础的规则：“如果食物的味道看起来不太确定，就稍微调整一下调料。”

论文的观点：
通过使用 DOME 来明确告知 AI 它处于什么样的“厨房”中，即使是非常基础、简单的调整方法（称为熵最小化），也能击败目前最复杂、最华丽的 AI 方法。

总结

论文认为，让 AI 具备鲁棒性的秘诀不在于构建更复杂的“修复”算法。相反，关键在于明确理解环境。

之前： AI 试图盲目地猜测环境。
有了 DOME： AI 能够为它看到的每一张图像获得一个清晰、详细的环境描述。

这使得 AI 能够立即且准确地适应诸如模糊照片、艺术素描或雪景等情况，并以更简单的底层过程实现顶尖的性能。作者在标准的 AI 基准测试（如带有各种损坏和风格的 ImageNet）上进行了测试，发现他们的方法始终优于现有的最先进技术（state-of-the-art）竞争对手。

底线

论文指出，让 AI 变得强大的秘密并不是构建更复杂的“修复”算法。相反，它是关于明确理解环境。

以前： AI 尝试盲目地猜测环境。
有了 DOME： AI 被赋予了对所见每张图像环境的清晰、详细的描述。

这使得 AI 能够即时且精准地适应模糊照片、艺术素描或雪景，并以更简单的底层过程实现顶尖的表现。

技术摘要：DOME —— 从稀疏监督中学习可迁移的领域变量以进行测试时自适应

1. 问题陈述

测试时自适应（Test-Time Adaptation, TTA）旨在利用仅有的无标签流式数据，使预训练模型与变化的测试领域对齐。现有的 TTA 方法主要依赖于一种**“隐式搜索”范式**，即它们试图推断出一个单一的、全局的统计分布来代表整个目标领域。作者认为，这种方法在现实场景中存在根本性的缺陷，因为：

多维性： 现实世界的领域偏移是多维度的且具有样本特异性的（例如，一张图像可以同时属于“艺术化”领域和“动物”领域）。
信息丢失： 将所有目标数据强制压缩进一个统一的表示中，会消除样本特有的领域线索。
不稳定性： 多维样本现实与学习单一全局分布的目标之间的冲突，会导致优化过程不稳定并陷入局部最优。
脆弱性： 当前的方法通常需要复杂的启发式方法或复杂的自适应算法来缓解这些问题，但它们在多样化的偏移面前仍然显得脆弱。

本文提出了一个核心问题：我们能否显式地建模每个样本的领域，而不是依赖隐式搜索？

2. 方法论：DOME 与稀疏到稠密（S2D）框架

作者提出了 DOME（领域编码器），这是一个零样本领域编码器，能够为下游样本显式生成领域表示。DOME 通过 稀疏到稠密（Sparse-to-Dense, S2D） 学习框架进行训练，该框架由两个协同组件组成：

A. 稀疏标签领域解耦（SDD）

由于缺乏稠密的领域标注，SDD 利用稀疏监督来学习将领域特定因子从类别语义中分离出来。

动量稀疏库（Momentum Sparse Bank）： 一个领域库存储了通过动量策略（ $m=0.9$ ）更新的稀疏领域相关特征。这强化了共享的领域信息，同时抑制了实例特有的噪声。
解耦机制：
1. 从 CLIP 视觉编码器提取中间 token，并移除其位置编码，以抑制类别相关的线索。
2. 一个轻量级的**字典解码器（Dictionary Decoder）**将图像表示映射到一个高维、过完备的空间。
3. 稀疏正则化： $\ell_1$ 损失鼓励模型仅激活一小部分可解释的特征（规范领域属性）。
4. JumpReLU： 一个可学习的阈值用于抑制残余的微弱激活，从而产生纯净、稀疏的领域信号（ $z_{dom}$ ）。

B. 稠密领域表示学习（DDRL）

该组件将稀疏标注外推到连续的稠密领域空间，以实现零样本泛化。

视觉-语言预训练： DOME 从冻结的 CLIP 图像和文本编码器初始化。在训练期间，部分掩码的领域文本引导领域变量的提取，从而减少多维空间中的歧义。
重参数化： 模型预测通道维度的均值（ $\hat{\mu}$ ）和标准差（ $\hat{\sigma}$ ）来表示领域统计特性。
训练目标： 稠密特征（ $\hat{z}$ $\overset{z}{^}$ ）通过以下方式被训练以与纯净的稀疏信号（ $z_{dom}$ $z_{d o m}$ ）对齐：
- MSE 损失： 将稠密投影回归向稀疏原型。
- 辅助损失： 使投影与原始领域统计特性对齐。
- InfoNCE 损失： 促进领域内凝聚力和领域间分离度。

C. 测试时自适应（TTA）集成

在推理阶段，DOME 以冻结模块的形式运行：

领域注入： DOME 处理测试图像（及其弱增强版本）以生成领域统计特性。
适配器调制（Adapter Modulation）： 一个轻量级的 MLP 适配器将这些统计特性转换为仿射参数（ $g, b$ ）。
特征调制： 这些参数在 LayerNorm 之后通过 $x = x \cdot (1 + g) + b$ 对冻结的 ViT 主干网络的特征进行调制。
优化： 仅使用标准的熵最小化目标（条件熵和边缘熵）在单次前向-后向传播中更新适配器和归一化层。不需要复杂的自监督学习或伪标签技术。

3. 核心贡献

显式领域注入： DOME 是 TTA 文献中第一个通用的领域特定特征提取器，它将范式从隐式领域搜索转变为显式领域注入。
稀疏到稠密学习框架： 一种新颖的训练策略，利用动量更新的稀疏库进行解耦监督，并通过视觉-语言预训练来外推稠密、连续的领域表示，以实现零样本泛化。
简洁性与高性能： 作者证明，鲁棒的自适应源于显式的、结构化的领域表示，而非复杂的算法。即使是结合 DOME 的简单熵最小化策略也能达到最先进的性能。

4. 实验结果

该方法在 ImageNet-C、ImageNet-R 和 ImageNet-Sketch 上使用多种主干网络（ViT-B, ViT-L, DINOv2）进行了评估。

ImageNet-C： DOME + 熵最小化实现了 66.7% 的平均准确率，超越了 DeYO (66.4%) 和 FOA (66.3%) 等复杂基准方法。它在运动模糊（Motion Blur）、缩放模糊（Zoom Blur）和弹性变换（Elastic Transform）方面表现尤为出色。
ImageNet-R： 实现了 68.7% 的 Top-1 准确率，达到了表现最好的复杂方法（DeYO）的水平，并有效地处理了风格偏移。
ImageNet-Sketch： 以 53.9% 的成绩创下了新的 SOTA，显著超过了 DeYO (50.3%)，展示了在缺乏纹理线索时的鲁棒性。
泛化能力： 在针对未见艺术领域的离线 TTA 设置中，DOME 始终优于使用原始 CLIP 统计特性的基准方法（DomStat），在 ViT-B/16 上将准确率从 52.81% 提升至 68.34%。
效率： DOME 实现 SOTA 性能时，其可训练参数量比全模型自适应方法（如 CoTTA）少 4 倍，同时保持了实时延迟。

5. 重要性与主张

论文声称，驱动鲁棒 TTA 的主要因素不是自适应算法的复杂度（例如自监督学习、原型对齐），而是领域表示的质量。

范式转变： 通过显式建模领域变量，推理过程变得与数据相关且可根据每个样本的多维领域进行定制，而不是针对一个可能不准确的全局分布进行优化。
解耦： S2D 框架成功地将领域线索从语义信息中解耦，使模型在自适应过程中能够专注于语义信息，同时受到显式领域线索的引导。
零样本能力： 利用视觉-语言预训练，DOME 能够在无需在下游 TTA 阶段提供特定领域标签的情况下，泛化到未见的领域。

作者总结道，显式的、结构化的领域表示是解决当前 TTA 方法脆弱性的关键，它使得简单的策略也能在多样化且连续的领域偏移中实现最先进的性能。