💻 computer science

Continual Test-Time Adaptation in Computer Vision: Methods, Benchmarks, and Future Directions

本文对计算机视觉中的持续测试时自适应（CTTA）进行了全面的综述，提供了形式化的问题定义、现有方法的层级分类法、系统的基准测试，以及旨在解决分布偏移和灾难性遗忘等失效模式的未来研究方向路线图。

原作者： Sarthak Kumar Maharana, Shambhavi Mishra, Yunbei Zhang, Shuaicheng Niu, Taki Hasan Rafi, Jihun Hamm, Marco Pedersoli, Jose Dolz, Yunhui Guo

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sarthak Kumar Maharana, Shambhavi Mishra, Yunbei Zhang, Shuaicheng Niu, Taki Hasan Rafi, Jihun Hamm, Marco Pedersoli, Jose Dolz, Yunhui Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你花了数年时间训练一个超级聪明的机器人，让它识别晴天下的猫、狗和汽车。你测试了它一百万次，它是完美的。但随后，你把它送到了现实世界中。突然间，天降大雪，接着是暴雨，然后是黑夜，机器人正穿行在雾气弥漫的森林中。机器人的大脑仍然在期待着晴天。如果你不帮助它，它会感到困惑，开始犯错，并最终因为为了适应雪天而过度努力，导致它彻底忘记了如何识别汽车。

这就是**持续测试时自适应（Continual Test-Time Adaptation, CTTA）**试图解决的问题。这就像是给那个机器人一个神奇的、即时的“大脑刷新”按钮，让它能在驾驶的同时学习应对新的天气，而无需回到晴天训练学校，也不需要向人类求助。

核心挑战：“遗忘”与“错误”陷阱

论文解释说，仅仅让机器人在运行中进行学习是危险的。如果机器人试图从一张模糊的雪景图中学习，它可能会猜错。如果它相信了自己的错误猜测，情况就会变得越来越糟。这被称为误差累积（error accumulation）。更糟的是，如果它不断改变大脑以适应雪天，它可能会完全忘记在晴天时识别汽车的知识。这被称为灾难性遗忘（catastrophic forgetting）。

作者调查了几十种新方法（研究论文数量从2022年的仅19篇爆发式增长到2026年的200多篇），以研究如何修复机器人的大脑。他们发现了三种主要的方法：

“信心教练”（基于优化）： 想象机器人正在参加一场考试。它不是在改变整个大脑，而只是尝试让自己的答案变得更有信心。如果它不确定，它就会微调大脑，让自己感觉更笃定。有些方法像是一个严厉的教练，告诉机器人：“不要只是瞎猜；要确保你的猜测是可靠的！”另一些方法则使用“幽灵老师”（教师-学生框架），由一个稳定、较旧版本的机器人来引导正在进行自适应的新版本机器人，以免其陷入疯狂。
“轻量级调节器”（参数高效型）： 修改整个机器人的大脑既沉重又缓慢。一些方法建议只微调控制机器人感知光线和颜色的微小旋钮（归一化层），或者在它的脑中添加微小的、可拆卸的贴纸（适配器/adapters）。这样，机器人在学习新天气的同时，不会覆盖掉旧的记忆。
“记忆守护者”（基于架构）： 一些方法使用了“时光机”技巧。它们保留了机器人原始晴天大脑的备份。每隔一段时间，它们会将机器人当前大脑的一部分换回原始备份。这能阻止机器人忘记它以前掌握的一切。

论文中明确表示“不行”的内容

作者非常明确地指出哪些做法是无效的或对现实生活来说风险太高的：

不允许“重放”（Replay）： 在常规学习中，机器人可以查看旧照片来回忆事物。但在这种现实场景中，由于隐私或存储限制，机器人被严格禁止再次查看旧的“晴天”照片。它必须仅通过当前看到的、混乱的新数据来进行学习。
不允许“循序渐进”的学习： 机器人不能为了做对而反复观察同一张雨天图像十次。它看一眼图像，做出猜测，更新大脑，然后继续前进。如果你让它多次观察同一图像，它往往会产生过拟合，从而忽略了大局。
并非适用于所有 Transformer 的“通用方案”： 论文指出，最流行的“修复方法”（即微调亮度/颜色旋钮）在旧款机器人大脑（CNN）上表现出色，但在新型、高级的机器人大脑（Transformer）上却完全失效，因为后者使用的是一种对这些技巧反应完全不同的类型旋钮。

结果：什么方法真正有效？

作者在标准的“损坏”测试（例如向机器人展示被雪、雾或像素噪声覆盖的汽车图像）中测试了这些方法。

胜出者： 使用**教师-学生（Teacher-Student）**设置（即由一个稳定的老师引导一个学习中的学生）的方法表现通常最好，能将错误率保持在较低水平（在困难测试中约为12-14%）。
高效胜出者： 如果你需要机器人在小型设备（如手机或车载电脑）上运行，使用**适配器（adapters）或视觉提示（visual prompts，即对输入图像进行的微小改动）**的方法效果出奇地好，在速度和准确性之间取得了极佳的平衡。
现实检验： 论文警告说，虽然这些方法在受控测试（如具有可预测雪景的游戏关卡）中表现良好，但现实世界更加混乱。在野外，天气可能会突然变化，或者机器人可能在同一秒钟内同时看到雨和雪。在实验室里表现最好的方法，在面对变化过快或不可预测的情况时可能会表现挣扎。

未来：下一步是什么？

论文指出，下一个重大步骤不仅是让机器人更聪明地识别汽车，而是让它具备适应一切事物的能力。

大模型： 如何在不让计算机“熔断”的情况下，去适配拥有数千亿个部分的机器人大脑（如我们今天看到的巨型AI模型）？论文建议使用微小的、高效的“补丁”（适配器），而不是重新训练整个模型。
黑盒模型： 如果机器人是一个你无法触碰的秘密机构呢？你只能发送一张图片并得到一个猜测。论文指出，适配这些“黑盒”机器人目前仍是一个巨大的、尚未解决的谜题。
超越视觉： 到目前为止，大多数机器人只有眼睛。论文建议我们需要教机器人利用耳朵（听觉）和其他感官来进行自适应，因为现实生活是多种感官交织在一起的。

简而言之，这篇论文为构建能够不仅在晴天生存，还能在暴风雪、雷暴和雾夜中驾驶且不丢失自我定义的机器人提供了路线图。这是一个正在快速发展的领域，但作者提醒我们，我们仍在摸索如何在保持数字大脑稳定的同时，让它们进行即时学习。

技术总结：计算机视觉中的持续测试时自适应 (Continual Test-Time Adaptation)

1. 问题定义与动机

本文探讨了持续测试时自适应 (Continual Test-Time Adaptation, CTTA)，这是一种旨在处理模型部署期间非平稳分布偏移（non-stationary distribution shifts）的范式。虽然标准的深度学习假设数据是独立同分布（i.i.d.）的，但现实世界的系统（如自动驾驶汽车、医学成像）面临着持续且不断演变的分布偏移（例如天气变化、传感器漂移），且无法获取源训练数据或地面真值标签（ground-truth labels）。

CTTA 与相关领域在关键方面有所不同：

与测试时自适应 (TTA) 的区别： 标准 TTA 适应单一的目标域。CTTA 则处理一系列不断演变的目标域序列，且任务边界是未知的。
与持续学习 (CL) 的区别： 标准 CL 假设可以访问每个任务的有标签数据，并通常允许经验回放（experience replay）。CTTA 则严格运行在在线、无源（source-free）且无标签的设置下，其中数据以小批量（mini-batches）形式到达，源数据因隐私或带宽原因无法获取，且模型无法重新访问过去的样本。

识别出的核心挑战包括：

灾难性遗忘 (Catastrophic Forgetting)： 由于持续的参数更新，导致预训练的源知识以及对先前目标分布的性能发生丢失。
误差累积 (Error Accumulation)： 由噪声伪标签或不稳定的梯度引起的随时间推移的误差复合效应，最终导致模型崩溃。

2. 方法论与分类学

作者提出了一个层次化的分类法，将现有的 CTTA 方法分为三大类：

A. 基于优化的方法 (Optimization-Based Methods)

这些方法侧重于设计自监督训练目标 ( $L$ )，在没有标签的情况下引导自适应过程。

熵最小化 (Entropy Minimization)： 通过最小化香农熵来鼓励置信度高的预测（例如 TENT, EATA, SAR）。近期的研究通过强制要求损失景观（loss landscape）中的平坦区域或使用对称交叉熵，来解决该方法的不稳定性问题。
伪标签 (Pseudo-Labeling)： 从高置信度预测中生成代理标签。这些方法通过动态阈值（DSS, PLF）或对比学习（AdaContrast）来优化标签，以减轻噪声影响。
参数恢复 (Parameter Restoration)： 通过定期将模型参数恢复到源状态，显式地缓解遗忘。策略包括随机恢复（CoTTA）、由费舍尔信息矩阵 (FIM) 引导的恢复（PETAL）或类别平衡回放（RoTTA）。
拓扑一致性 (Topological Consistency)： 在特征空间中强制执行几何稳定性，以防止类别簇崩溃（TCA）。

B. 参数高效型方法 (Parameter-Efficient Methods)

这些方法旨在通过仅更新一部分参数来降低计算和内存开销。

归一化层自适应 (Normalization Layer Adaptation)： 更新 BatchNorm 统计量（运行均值/方差）和仿射参数 ( $\gamma, \beta$ )。虽然这对 CNN 有效，但这些方法在基于 LayerNorm 的架构（如 Vision Transformers）中表现不佳。替代方案包括实例级统计量（NOTE）和内存高效的归一化（MECTA）。
自适应参数更新 (Adaptive Parameter Updates)： 根据来自 FIM 或预测不确定性的重要性得分，选择性地微调特定层（LAW, PALM）。某些方法甚至完全消除了反向传播，采用仅前向的自适应（FOA）。

C. 基于架构的方法 (Architecture-Based Methods)

这些方法通过修改模型结构来促进稳定的自适应。

教师-学生框架 (Teacher-Student Frameworks)： 教师模型（通过学生模型的指数移动平均 EMA 进行更新）提供稳定的伪标签，以引导学生模型（CoTTA, RMT）。这增加了稳定性，但也使内存占用翻倍。
适配器 (Adapters)： 将轻量级模块（如 Conv 块、低秩适配器）插入到冻结的源块中。仅训练适配器，从而保留源知识（EcoTTA, ViDA, Buffer）。
视觉提示 (Visual Prompting)： 在不更新主干网络的情况下，将可学习的 token 注入输入空间或中间层（VDP, DPCore）。
掩码建模 (Masked Modeling)： 使用掩码图像建模（如 Continual-MAE）从不确定的补丁中重建特征（如 HOG），从而提供鲁棒的监督信号。

3. 实验结果与基准测试

论文在标准基准测试中评估了各种方法：

数据集： CIFAR-10-C/100-C, ImageNet-C（图像分类），以及 Cityscapes $\to$ ACDC（语义分割）。
协议： 主要是持续结构化变化 (CSC) 设置，其中领域按固定顺序出现。论文还讨论了更现实的设置，如渐变转换 (Gradual Transitions)、野外测试条件 (Wild Test Conditions, 混合批次) 以及持续动态变化 (CDC)。

主要发现：

性能： 教师-学生框架（如 RMT, CoTTA）和参数恢复方法（如 RoTTA）在 CNN 主干网络上通常能获得最佳准确率。
架构依赖性： 归一化方法（TENT, BN Adapt）由于缺乏 BatchNorm，在 Transformer 主干网络（如 SegFormer）上表现不佳。基于适配器和提示的方法在这些架构上具有更好的泛化性。
稳定性： 没有防止遗忘机制的方法（如纯熵最小化）在长序列（多轮实验）中会遭受严重的性能下降。
效率： 参数高效型方法（EcoTTA, FOA）在显著降低内存和计算成本的同时，提供了具有竞争力的准确率，使其适用于边缘侧部署。
语义分割： 与分类相比，在极端偏移（如夜间条件）下，分割任务的自适应难度明显更高。

4. 核心贡献

正式的问题定义： 对 CTTA 进行了严谨的定义，将其与 TTA 和 CL 区分开来，并分析了在线、无源自适应的特定挑战。
层次化分类学： 将方法分类为基于优化、参数高效和基于架构的三大类，提供了全面的综述。
系统性基准测试： 对标准数据集的实验结果进行了比较性回顾，强调了准确性、稳定性和计算成本之间的权衡。
未来路线图： 确定了新兴的研究方向，包括基础模型（foundation models）的自适应、黑盒系统、多模态数据以及对更现实基准测试的需求。

5. 重要性与范围

本文定位为首个专门针对持续测试时自适应 (CTTA) 的综合综述。虽然之前的综述涵盖了通用的 TTA 或在线学习，但这项工作解决了持续学习与测试时自适应这一独特的交集，这对于在动态、现实世界环境中部署鲁棒模型至关重要。

作者强调，CTTA 对于那些必须从流式数据中学习而无需从头开始重新训练的模型（如自动驾驶和医学成像）而言是必不可少的。本综述旨在指导研究人员开发能够平衡塑性 (plasticity)（适应新偏移）与稳定性 (stability)（保留源知识）的方法，特别是在边缘部署所面临的隐私、内存和延迟等严格约束下。

论文最后指出，尽管自 2022 年 CoTTA 提出以来已取得了显著进展，但在理论基础、向数十亿参数规模的基础模型的可扩展性，以及针对对抗性或病理性偏移的鲁棒性方面仍存在挑战。