技术摘要：TestMate

问题陈述

深度神经网络（DNN）在部署到具有数据分布偏移（例如，恶劣天气、不同的传感器模态）的环境中时，往往会出现性能退化。虽然领域自适应（Domain Adaptation, DA）可以解决这一问题，但**测试时领域自适应（Test-Time Domain Adaptation, TTDA）**面临着独特的挑战：模型必须在无法访问源数据或标签的情况下，对流式的、无标签的目标数据进行实时自适应。

目前的语义分割 TTDA 方法面临着关键的局限性：

• 熵最小化与伪标签法： 这些基于梯度的方法通常需要昂贵的反向传播，存在灾难性遗忘的风险，并会产生噪声较大的分割边界。它们往往倾向于关注占主导地位的低熵区域，而忽略了较小或频率较低的对象。
• 记忆库方法（Memory-Bank Methods）： 虽然无需反向传播，但这些方法需要大量的样本来构建可靠的记忆库，导致自适应速度缓慢。它们难以应对连续的领域偏移，并且往往无法从第一个样本开始就提供最优性能。
• 视觉基础模型（VFM）的约束： 现有将视觉基础模型用于 DA 的方法通常依赖于沉重的模型（如 SAM、CLIP），这在计算上对于实时 TTDA 是不切实际的，或者需要源数据，这违反了 TTDA 的约束条件。

方法论：TestMate

作者提出了 TestMate，一种全新的、实时的、无需反向传播的 TTDA 框架，旨在部署后立即优化语义分割输出。

核心机制

TestMate 利用**轻量级视觉基础模型（VFM）**的泛化能力来引导主语义分割 DNN 的自适应。

1. VFM 集成： 使用一个零样本实例分割模型，具体为 FastSAM（基于 YOLOv8-seg），作为轻量级 VFM。它能实时生成多个不同尺度的对象及其部分的粗略、无标签掩码提议（mask proposals）。
2. 启发式融合： 该方法通过一个无参数的、启发式驱动的过程，将 VFM 生成的掩码与主 DNN 的初始 Logits 进行融合。此过程无需对主模型进行任何梯度更新。
3. 细化策略：
   • 有序细化（Ordered Refinement）： 掩码按大小升序排列。首先处理较小的掩码（通常是单个对象）以细化特定区域。较大的掩码（可能包含多个对象）随后处理，并排除先前已细化的较小区域，以防止覆盖。
   • 软细化（Soft Refinement）： 该方法并非采用硬标签分配，而是使用加权混合策略。它根据主导区域的大小比例，将原始 Logits 与掩码区域内占主导地位的类别 Logits 进行插值。这在模糊区域保留了不确定性，同时增强了置信度高的预测。
   • 基于熵的过滤（Entropy-Based Filtering）： 细化仅选择性地应用于不确定像素。只有当非主导区域的熵超过该掩码内主导区域的平均熵时，才会对其进行细化。这确保了非主导区域中置信度高的预测得以保留。

算法流程

对于每个输入的目标图像 $X_t$：

1. 主 DNN 生成初始 Logits $\hat{Y}_t$。
2. VFM 生成一组二值掩码 $\{M_i\}$。
3. 掩码按大小排序（从小到大）。
4. 对于每个掩码，通过在 DNN 的 Logits 内进行多数投票来确定主导类别。
5. 将掩码划分为主导区域 ($R_i$) 和非主导区域 ($N_i$)。
6. 对 $R_i$ 中的像素和高熵像素中的 $N_i$ 像素应用软细化，从而更新 Logits。
7. 缓存已细化的像素，以防止在后续掩码迭代中重复处理。

核心贡献

1. 轻量级 VFM 引导： 首次应用轻量级、零样本 VFM 来引导并细化语义分割的 TTDA，避免了大型基础模型的计算开销。
2. 无参数、无需反向传播的设计： TestMate 作为一个即插即用的细化模块运行，不需要梯度更新、记忆库或源数据，实现了从第一帧开始的即时自适应。
3. 增强的边界与小目标保持能力： 基于大小排序的竞争性融合方案有效地保留了精细的对象细节和边界，特别是对于标准 TTDA 方法经常抑制的小目标。
4. 通用性： 该方法既可以作为独立的 TTDA 解决方案，也可以无缝集成到现有的基于梯度（如 CoTTA）和无梯度（如 DIGA）的 TTDA 流水线中，以提升其性能。

实验结果

作者在两个基准数据集上评估了 TestMate：GTA-V 到 Cityscapes（模拟到真实）和 FMB 到 MVSeg（真实到真实）。

• SFDA（无源领域自适应）： 当与 DS-ST 框架集成时，TestMate 达到了新的 SOTA 结果，显著提升了中等和小型类别的性能，并加速了收敛。
• TTDA： TestMate 的表现优于未经过自适应处理的源模型近 3% mIoU，并超过了基于梯度的算法（TENT、EATA、CoTTA）2% 以上。它在小型、定义明确的类别（如行人、骑手）上表现优于无梯度基准 DIGA，尽管 DIGA 在大型抽象类别（如道路）上表现略好。
• Online-TTDA： 在连续分布偏移场景下，TestMate 展示了鲁棒性。当与 DIGA 结合时，它实现了最高的平均 mIoU，比两种方法单独使用时都高出 1.1%。
• 效率： TestMate 增加的计算开销极小（在配备 DIGA 时，在 RTX 4090 上每样本约 5ms），保持了实时可行性。
• 稳定性： 与 TENT 等可能出现性能下降或波动的迭代方法不同，TestMate 在多次细化迭代中保持稳定，大部分收益发生在第一次迭代中。

意义与主张

论文声称 TestMate 解决了当前 TTDA 方法中的“关键局限性”，特别是自适应速度、计算成本和分割质量之间的权衡。通过利用轻量级 VFM，TestMate 提供了一种实现即时、高保真自适应的机制，且天生避免了灾难性遗忘。

作者强调，TestMate 对于需要从第一个样本开始就能获得稳健性能的应用（例如在恶劣条件下进行自动驾驶）尤为重要，因为在这些场景下，等待记忆库收敛是不可行的。该方法证明了由基础模型引导的基于实例、无梯度的自适应，可以在 SFDA、TTDA 和 online-TTDA 设置下实现 SOTA 结果，且无需复杂的训练过程或访问源数据。