🤖 machine learning

USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning

本文提出了 USE，一个统一的自集成框架，通过自适应地强调原始测试图像以生成可靠的伪标签，从而改进了测试时提示微调（Test-Time Prompt Tuning），在确保优化阶段与推理阶段之间保持一致性的同时，还可作为一种轻量级的无需优化的适配方法。

原作者： Siru Jiang, Jian Liang, Ran He, Tieniu Tan

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siru Jiang, Jian Liang, Ran He, Tieniu Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（AI 模型），他读过数百万本书，也看过数百万张图片。这位管理员非常擅长识别照片中的物体，比如“猫”、“狗”或“飞机”。然而，当照片看起来与他在学校学到的东西有些不同时——比如光线很奇怪、照片很模糊，或者是一张素描而不是真实的图片——这位管理员有时会感到困惑。这被称为“分布偏移”（distribution shift）。

这篇论文介绍了一种新方法，旨在帮助这位图书管理员在看到这些棘手的照片时，能够立即找到正确答案，而无需回到学校重新学习。

以下是他们解决方案的故事，分为几个简单的部分：

1. 旧方法：“群众投票”

此前，一种流行的名为 TPT（测试时提示微调，Test-Time Prompt Tuning）的方法是这样工作的：

图书管理员拿起原始照片，并制作出 63 个略有不同的副本（有的模糊，有的明亮，有的旋转了）。这些被称为“增强版本”（augmentations）。
他们要求图书管理员对所有 64 个版本（原始版本 + 63 个副本）进行猜测。
他们丢弃那些看起来非常不确定的猜测（高熵/高混乱度）。
他们取所有自信猜测的平均值，并利用这个结果来“教导”图书管理员一个新的提示（文本提示），以帮助他们更好地进行猜测。
缺陷： 当进行最终决策时，旧方法忽略了所有的副本，只重新观察原始照片。这就像是一个人通过朋友的学习过程努力备考，但在参加期末考试时却是在没有任何帮助的情况下独自应战。

2. 新想法：“统一自集成”（USE）

作者们意识到旧方法是不一致的。他们提出了一个名为 USE（统一自集成，Unified Self-Ensembling）的新框架，通过让“学习阶段”和“考试阶段”保持一致来解决这个问题。

核心秘诀：“自集成”（SE）

他们想法的核心是一种称为 自集成（Self-Ensembling, SE） 的策略。可以把它想象成一种“聪明的队长”方法：

团队： 你拥有原始照片（弱增强版本）和编辑后的副本（强增强版本）。
问题： 有时原始照片最清晰；有时编辑后的副本（如高对比度版本）更清晰。
解决方案： SE 策略不再只是平等地平均分配权重，也不仅仅是忽略原始图像，而是扮演了一个“聪明的队长”的角色。它会观察图书管理员对原始照片与副本的理解程度差异。
- 如果图书管理员对原始照片感到非常困惑，但对副本很清晰，那么队长就会更信任副本。
- 如果图书管理员对原始照片很清晰，但对副本感到困惑，那么队长就会更信任原始照片。
结果： 他们创建了一个“伪标签”（最佳猜测答案），它是原始照片与副本的加权混合体，根据谁在当前时刻表现得更好来进行动态调整。

3. USE 是如何运作的（两个阶段）

USE 的精妙之处在于，它在两个步骤中都使用了相同的“聪明的队长”逻辑：

学习阶段（优化）： 图书管理员使用“聪明的队长”来生成一个可靠的最佳猜测答案。然后，他们利用这个猜测来更新他们的内部提示（prompts），从而从图像中学习。
考试阶段（推理）： 当需要给出最终答案时，图书管理员并不仅仅是看原始照片。他们再次使用相同的“聪明的队长”逻辑，将原始照片与编辑后的副本进行混合。

为什么这很重要？ 这确保了图书管理员在学习和测试时使用的是完全相同的规则。这种一致性使得最终答案更加可靠。

4. “跳过”技巧（节省能量）

作者还添加了一个聪明的捷径。如果图书管理员观察原始照片和编辑后的副本，发现它们完全一致，系统就会说：“太棒了！我们不需要进行额外的学习或复杂的数学计算。”它会跳过繁重的计算工作，直接给出答案。

类比： 如果你问一群专家一个问题，而他们立即异口同声地说“是的”，你就不需要为了讨论这个问题而召开长时间的会议。你只需要写下“是”然后继续下一步。
益处： 这显著减少了处理图像所需的时间，同时保持了高准确度，使其在现实场景中更具实用性。

5. 他们发现了什么？

作者在许多不同类型的图像数据集上测试了该方法（从标准照片到素描、艺术风格，以及像特定犬种或花卉品种这类细粒度的细节）。

更高的准确率： 他们的这种方法（USE）及其策略（SE）始终优于以往的方法。
通用性： “聪明的队长”（SE）非常强大，它可以被插入到其他现有方法中，即使不经过完整的训练过程，也能让这些方法表现得更好。
高效性： 通过使用“跳过”技巧，他们显著降低了处理图像的时间，使其在实际应用中变得可行。

总结

简而言之，这篇论文的观点是：“不要只在学习时借助群众的力量，然后在考试时独自应战。要利用群众的力量来辅助学习，也要利用群众的力量来应对考试。而且，如果群众能立即达成共识，就不要浪费时间去过度思考。”

这种方法帮助 AI 模型更好地处理棘手的现实世界照片，而无需从头开始重新训练。

技术摘要：USE —— 一种用于测试时提示词微调的统一自集成框架

1. 问题陈述

视觉-语言模型（VLMs），如 CLIP，在零样本设置中展示了强大的泛化能力，但在下游任务中仍易受到分布偏移的影响。虽然测试时自适应（TTA）通过利用无标签测试样本提供了解决方案，但现有方法通常在优化阶段和推理阶段之间存在不一致性。

具体而言，开创性的测试时提示词微调（TPT）方法通过最小化平均增强视图预测的边缘熵来优化文本提示词。然而，TPT 及其变体在最终推理时通常依赖“弱”增强（原始图像），而优化阶段则利用“强”增强的平均值。这种差异导致了用于优化的伪标签与最终预测策略之间的失配。此外，尽管有证据表明原始图像在零样本分类中可能比某些增强视图更可靠，但现有方法往往低估或排除了原始测试图像在构建伪标签时的作用。

2. 方法论

本文提出了 USE（统一自集成） 框架，通过一致的自集成策略将优化阶段和推理阶段统一起来。

2.1 将 TPT 重新审视为自训练

作者首先重新解释了 TPT 的目标。通过引入辅助分布 $q$ （平均预测的停止梯度版本），边缘熵最小化目标被分解为一个反向交叉熵（RCE）项和一个 KL 散度项。由于当 $q$ 固定时 KL 项被优化，该目标实际上简化为最小化 RCE。这揭示了 TPT 隐含地从自生成的伪标签中学习，其中伪标签是通过聚合选定的低熵增强视图的预测而构建的。

2.2 自集成（SE）策略

为了提高这些伪标签的质量，作者引入了 自集成（SE） 策略。实证分析表明，虽然强增强很有用，但弱增强（原始测试图像）通常具有独特的价值，不应被丢弃。

SE 策略动态地聚合来自弱增强（ $p_w$ ）和强增强（ $p_s$ ）的预测。它采用基于熵的权重系数 $\beta$ 来自适应地调整测试图像的贡献：

排序： 计算弱增强相对于强增强集合的相对自熵秩 $\delta$ 。
加权： 使用线性函数将 $\delta$ 缩放为权重 $\beta$ （约束在 0.3 到 0.7 之间）。如果弱增强具有比大多数强增强更低的熵（更高的置信度），则它获得更高的权重。
伪标签构建： 最终的伪标签 $q(x)$ 计算如下：
$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$

2.3 统一框架 (USE)

USE 确保了 TTA 两个阶段之间的一致性：

优化阶段： 使用 RCE 损失优化文本提示词，其中目标伪标签 $q(x)$ 是通过 SE 策略生成的。
推理阶段： 与 TPT 不同，USE 应用相同的 SE 策略来生成最终预测 $\hat{p}(x)$ 。这统一了伪标签估计的目标与最终推理的目标。

此外，作者引入了**跳过技术（skip technique）**以降低计算成本。如果弱增强的预测与选定的强增强相同，则跳过优化步骤，因为该预测被认为是可靠的。

值得注意的是，SE 策略可以作为一种无需优化的 TTA 方法独立运行，不需要反向传播。

3. 核心贡献

对 TPT 的重新诠释： 本文揭示了 TPT 隐含地从自生成的伪标签中学习，将边缘熵目标构架为针对停止梯度目标的反向交叉熵损失。
自集成 (SE)： 一种简单有效的策略，通过自适应地加权弱增强和强增强来生成更可靠的伪标签。它可以作为一种独立的、无需优化的 TTA 方法。
统一框架 (USE)： 一个通过在两个阶段都应用 SE 策略来对齐优化目标与推理目标的 TTA 框架，确保了一致性。
即插即用能力： SE 被证明是一个轻量级模块，可以集成到现有的 TTA 方法中，在不增加显著计算开销的情况下持续提升性能。

4. 实验结果

作者使用 ViT-B/16 和 ResNet-50 骨干网络，在 ImageNet、其分布外（OOD）变体（ImageNet-A, V2, R, Sketch）以及十个细粒度数据集（如 DTD, Flowers102, EuroSAT）上对 USE 和 SE 进行了评估。

性能表现：
- 无需优化： SE 在无优化方法中取得了最佳或次佳的结果，优于 CLIP、MTA 和 ZERO。在 ResNet-50 骨干网络上，SE 在 OOD 数据集上的平均准确率达到 47.80%，超过了许多基于优化的方法。
- 基于优化： USE 一致地优于 TPT、C-TPT、R-TPT 和 STS 等基准方法。在 ViT-B/16 的细粒度数据集上，USE 将平均准确率从 64.84% (TPT) 提升至 65.35%。
- 鲁棒性： 当使用 CoOp（一种更强的提示词初始化）进行初始化时，SE 和 USE 均保持了顶尖性能，展示了对不同预训练配置的鲁棒性。
集成效果： 将 SE 作为插件模块集成到现有方法（TPT, C-TPT, R-TPT, STS）中，一致地带来了准确率提升。例如，将 SE 添加到 C-TPT 后，其 IN&O 准确率从 61.09% 提升至 64.27%。
效率：
- SE 非常高效，每个样本仅需 0.059 秒和 1.06 GB 内存，与 CLIP 的 64 次前向传播相当，但准确率更高。
- 利用跳过技术的 USE 将平均测试时间减少到每张图像 0.144 秒。超过 60% 的测试样本被跳过，且未出现准确率下降。

5. 重要性与主张

本文声称 USE 的主要意义在于其优化目标与推理目标的统一。通过确保用于自适应的伪标签是使用与最终推理相同的策略构建的，USE 消除了 TTA 方法中常见的性能差距。

作者强调：

一致性是关键： 性能提升很大程度上归功于 SE 策略在两个阶段提供的连贯性。
简单且有效： SE 是一种简单的、基于熵的加权机制，不需要复杂的训练目标或额外的参数，却能带来实质性的性能改进。
多功能性： 该框架具有多功能性，既可以作为独立的无需优化的方法，也可以作为基于优化方法的持续增强手段。

论文总结道，虽然由于生成多个增强视图，该方法引入了一些计算开销（这是情节式 TTA 的共同特征），但使用跳过技术以及获得的高准确率增益，使其成为提高 VLM 对分布偏移鲁棒性的实用且有效的方法。