🤖 AI

BP-TTA: Balanced and Prototype-Guided Test-Time Adaptation in Dynamic Scenarios

本文提出了 BP-TTA，一种结合了批次平衡采样与原型引导自适应的新型测试时自适应方法，旨在有效解决动态流式场景中类别不平衡与持续领域偏移并存的挑战。

原作者： Shaoyang Huang, Yashi Zhu, Yichen Yu, Lei Zhang, Zhang Yi, Tao He

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Shaoyang Huang, Yashi Zhu, Yichen Yu, Lei Zhang, Zhang Yi, Tao He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人厨师，它在一个拥有完美光照和新鲜食材的特定厨房里学会了烹饪完美的菜肴（源领域）。然后，你把这位厨师派往一系列不同的餐厅工作。有些餐厅阴暗多雨，有些阳光明媚，而且食材也在不断变化。这就是现实世界，其条件永远不是静止不变的。

问题在于，这位厨师是在“完美”的菜单上接受的训练。当他们到达一家新餐厅时，可能会感到困惑。更糟糕的是，想象一下，如果餐厅的第一小时只供应披萨，而下一小时只供应寿司。如果厨师只根据他们现在看到的东西进行学习，他们可能会开始认为“披是在世间存在的唯一食物”，从而忘记如何制作寿司。这就是所谓的类别不平衡（Class Imbalance）。

此外，餐厅的灯光可能会在一天之中从晴朗慢慢变为雾天。如果厨师试图过快地适应雾天，他们可能会犯错，因为雾天只是一个暂时的干扰，而不是一个新的规则。这就是所谓的连续领域偏移（Continuous Domain Shift）。

这篇论文介绍了一种名为 BP-TTA（平衡且由原型引导的测试时自适应）的新方法，旨在帮助这位厨师（AI 模型）在无需回到原始训练厨房的情况下，进行实时的即时学习。它通过两个主要技巧解决了这个问题：

1. “平衡的购物篮”（批次平衡采样/Batch-Balanced Sampling）

问题： 在现实世界的连续数据流中，你可能会在同一分钟内看到 100 张汽车的照片，却只看到 1 张行人照片。如果厨师试图从中学习，他们只会学习关于汽车的知识，而忘记了行人。

解决方案： 论文提出了一个“记忆库”（就像一个储藏室）。

当厨师看到大量的“披萨”（多数类）时，系统会说：“好吧，我们已经有足够的披萨样本了。让我们保存最好的那些，忽略其余的。”
当厨师几乎看不到“寿司”（少数类）时，系统会从记忆库中取出当天早些时候的高质量、值得信赖的寿司样本，并将其混合到当前的课程中。
结果： 厨师始终从一个包含所有食物类型公平混合的“平衡购物篮”中学习，防止他们忘记稀有项目。

2. “心理地图”（原型引导自适应/Prototype-Guided Adaptation）

问题： 随着光照的变化（领域偏移），厨师可能会感到困惑。雾天里的汽车看起来与阳光下的汽车不同。如果厨师仅仅依赖于猜测，他们可能会标错标签，从而教错了自己。

解决方案： 系统为每个类别维护了一张“心理地图”（称为原型/Prototypes）。

你可以将“原型”理解为关于“汽车”长什么样的平均、完美的概念。
当厨师看到新的汽车时，系统会缓慢且谨慎地更新这张心理地图，但仅当厨师非常有把握确定那是汽车时才会更新。
系统随后会检查：“这个新的模糊汽车看起来符合我们关于‘汽车’的心理地图吗？”如果是，太棒了！如果不是，系统会轻轻地引导厨师调整他们的视觉，以匹配这张地图。
结果： 这保持了厨师对“汽车”或“行人”理解的稳定性，即使在天气或光照变化时，也不会让他们迷失方向。

它们如何协同工作

论文声称，通过结合这两个技巧，机器人厨师比以往的方法能更好地应对混乱且变化的世界。

BBS 确保厨师不会对当前看到的最高频事物产生偏见。
CPGA 确保厨师不会被变化的环境（如雾或雨）所迷惑，并保持对事物清晰、稳定的定义。

实验结果

作者在三个不同的“厨房”（数据集：CIFAR10-C, CIFAR100-C, 和 ImageNet-C）上测试了该方法，这些图像被加入了噪声、模糊或天气效应，且各类物体的出现顺序是不平衡且流式的。

他们发现，BP-TTA 始终比其他顶尖方法犯错更少。它不仅在变化的条件下生存了下来，而且表现出色，即使在数据混乱、类别不平衡以及环境不断变化的情况下，依然保持了极高的准确率。

简而言之： 这篇论文为 AI 提供了一种在工作的同时学习而不遗忘原有训练的方法，通过平衡观察到的内容并保持对事物本质的稳定认知，使其即便在周围世界不断变化时也能应对自如。

技术摘要：BP-TTA：动态场景下平衡且由原型引导的测试时自适应

1. 问题定义

本文针对现有测试时自适应（Test-Time Adaptation, TTA）方法在实际动态场景部署中的局限性进行了研究。虽然传统的 TTA 假设测试数据与单个目标域是独立同分布（i.i.d.）的，但实际应用涉及的是**实际测试时自适应（Practical Test-Time Adaptation, PTTA）**设置，其特征是两个同时存在的挑战：

持续性的领域偏移（Continual Domain Shifts）： 由于环境条件（如光照、天气、传感器噪声）的变化，测试分布随时间不断演变。
流式数据中的类别不平衡（Class Imbalance in Streaming Data）： 由于现实世界流数据中的时间相关性（例如，高速公路上的车辆可能会先看到大量的汽车，然后进入一个充满行人的住宅区），短时间窗口内往往表现出严重的类别不平衡。

现有方法在这些设置下往往表现不佳，原因如下：

类别不平衡： 梯度更新会被多数类主导，导致模型过拟合短期模式并忽略少数类。
持续偏移： 依赖伪标签或熵最小化在分布漂移时会变得不稳定，从而导致监督信号存在噪声并引发灾难性遗忘。

2. 方法论：BP-TTA

作者提出了 BP-TTA（平衡且由原型引导的测试时自适应），该框架在一个均值教师（Mean Teacher）架构（包含学生网络和教师网络）中集成了批次平衡采样（Batch-Balanced Sampling, BBS）和类别原型引导自适应（Category Prototype-Guided Adaptation, CPGA）。

A. 批次平衡采样 (BBS)

为了缓解流式数据中的类别不平衡问题，BBS 动态地重建平衡的训练批次。

记忆库（Memory Bank）： 维护一个感知类别的记忆库 $\mathcal{M}$ ，存储具有以下属性的样本：伪标签 ( $\hat{y}_i$ )、年龄 ( $a_i$ )、置信度 ( $\gamma_i$ ) 和不确定性 ( $u_i$ )。
选择机制： 使用选择分数 $H_i = \exp(a_i/K) + u_i$ 来管理记忆库，优先处理近期且具有不确定性的样本，同时移除冗余样本。
批次重建： 对于每个输入的批次，该方法执行以下操作：
- 下采样多数类，通过选择前 $N$ 个置信度最高的样本来实现。
- 补充少数类，通过从记忆库中检索高置信度样本来实现。
- 复制样本（必要时），以确保每类样本数量固定为 $N_{per-class}$ 。
差异化： 与以往仅依赖记忆库样本的工作（如 RoTTA）不同，BBS 直接作用于输入的批次，确保平衡后的批次既能反映当前的目标分布，又能纠正不平衡现象。

B. 类别原型引导自适应 (CPGA)

为了在持续的领域偏移下稳定自适应过程，CPGA 利用类别原型来引导特征学习。

原型初始化与更新： 类别原型 $\{p_c\}$ 从源模型的分类器权重中初始化。它们通过指数移动平均（EMA）机制进行更新，且仅使用高置信度样本 ( $\gamma_i \geq \tau$ )：
$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{若 } \hat{y}_i = c \text{ 且 } \gamma_i \geq \tau$
原型损失： 引入一种监督损失，旨在最小化样本特征与其对应类别原型之间的距离，从而促进类内聚类和类间分离：
$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$
其中 $S$ 是高置信度样本的集合。

C. 整体优化

总损失函数结合了标准的对比损失（在增强条件下学生网络与教师网络之间）和原型损失：
$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$
学生模型通过梯度下降进行更新，而教师模型通过 EMA 进行更新。

3. 核心贡献

新颖框架： 提出了 BP-TTA，这是第一个通过结合批次平衡采样与原型引导自适应，共同解决 PTTA 设置中类别不平衡和持续领域偏移的方法。
批次平衡采样 (BBS)： 引入了一种机制，利用类别感知记忆库从不平衡流中动态重建平衡批次，确保为所有类别提供可靠的伪标签。
类别原型引导自适应 (CPGA)： 开发了一种在推理期间维护演进中类别原型的方法，利用原型相似性作为约束，以提高伪标签的可靠性和特征空间的稳定性。
全面评估： 在三个数据集（CIFAR10-C, CIFAR100-C, ImageNet-C）和 DomainNet-126 数据集的 PTTA 条件下，证明了其性能优于最先进的 TTA 方法（包括 TENT, CoTTA, EATA, SAR 和 RoTTA）。

4. 实验结果

论文报告了验证 BP-TTA 有效性的广泛实验：

性能： BP-TTA 始终优于所有基准方法。在 CIFAR10-C、CIFAR100-C 和 ImageNet-C 上，其平均准确率分别比第二优的方法提高了 3.08%、1.84% 和 1.59%。
消融研究：
- 组件有效性： 单独使用 BBS 可以显著降低误差率（相比于源模型）。单独使用 CPGA 在严重不平衡的情况下表现挣扎，因为原型更新存在噪声。两者的结合（BBS+CPGA）取得了最佳结果。
- 超参数： 该方法对置信度阈值 $\tau$ 和平滑因子 $\alpha$ 的变化具有鲁棒性。发现原型损失的权重因子 $\lambda=10$ 为最优。
- 批次大小： 中等规模的批次在稳定性与响应速度之间达到了最佳平衡。
鲁棒性：
- 领域偏移频率： 随着领域变化频率的增加，BP-TTA 的性能下降速度比 RoTTA 更慢。
- 不平衡严重程度： 即使在 Dirichlet 浓度参数 $\delta$ 减小时（表示更高程度的不平衡），该方法仍能保持稳定的性能。
- 序列顺序： 与显示出在不同领域偏移序列下具有高方差的 DA-TTA 不同，BP-TTA 无论偏移顺序如何都能保持一致的性能。
- 模型架构： 该方法在各种骨干网络（ResNet, WideResNet, ResNeXt）上均有效，且没有明显的性能下降。
可视化： t-SNE 可视化证实，与基准原型方法（如 T3A）相比，CPGA 能产生更紧凑的类内簇和更好的类间分离。

5. 重要性与主张

论文声称 BP-TTA 为实际测试时自适应提供了一个稳健的解决方案，这一设置比以往的静态或纯粹的持续自适应范式更真实地反映了现实世界的部署挑战。

应对现实约束： 通过显式处理类别不平衡与领域偏移之间的相互作用，该方法防止了当模型暴露在具有时间相关性的流数据中时经常出现的“灾难性失败”。
稳定性： 原型引导的集成稳定了学习过程，防止模型过拟合于主导类别，或在分布漂移期间被噪声伪标签误导。
达到先进水平： 作者断言，其方法在动态测试时流设置中实现了最先进的性能，为提高模型在非平稳环境中的鲁棒性提供了一个灵活且实用的解决方案。

本研究得到了教育部基础学科与交叉学科突破计划以及四川省自然科学基金的支持。