技术摘要：AnyThermal 与 TartanRGBT

1. 问题陈述

热成像图像在应对光照条件和天气变化方面具有鲁棒性，这对于搜索救援、自动驾驶和监控等领域的韧性自主系统至关重要。然而，与 RGB 数据不同，热数据面临大规模、多样化数据集严重匮乏的问题。现有的热特征提取器通常依赖于针对特定任务的小规模数据进行训练，或适配预训练的 RGB 主干网络。这些方法导致模型局限于特定的环境和任务。此外，虽然从视觉基础模型（如 DINOv2）向热领域进行知识蒸馏已有研究，但以往的工作受限于缺乏多样化的训练数据，往往依赖于单一环境的数据集，这限制了所得热编码器的泛化能力。

2. 方法论

A. AnyThermal：任务无关的热编码器

其核心贡献是 AnyThermal，一个旨在捕获鲁棒、任务无关特征的热主干网络。

• 架构： AnyThermal 基于 DINOv2 Vision Transformer (ViT-B/14)。
• 训练策略（知识蒸馏）： 作者采用了教师-学生蒸馏框架。
  • 教师模型： 一个使用预训练权重初始化的冻结 DINOv2 网络，处理 RGB 图像。
  • 学生模型： 一个可训练的 DINOv2 网络（AnyThermal），使用相同的权重初始化，处理热图像（由灰度图转换为 3 通道）。
  • 损失函数： 对最后一层的 CLS token 特征应用对比损失。这使对应的 RGB-热对的全局语义保持一致，而无需依赖颜色等底层线索。这种方法放宽了对精确图像对齐或同步的要求，使其适用于无法实现完美配准的数据集。
• 训练数据： 蒸馏过程利用了涵盖四个不同环境的五个数据集：城市（ViVID++、STheReO、Freiburg）、航空（Boson 夜间场景）、室内和越野。

B. TartanRGBT 平台与数据集

为了解决现有 RGB-热（RGB-T）数据多样性不足的问题，作者开发了：

• TartanRGBT 平台： 一个开源的、硬件同步的数据采集载荷。它集成了一个 ZEDx 立体 RGB 相机和两个 FLIR Boson 640+ 立体热相机，所有设备通过采集卡的一个触发脉冲进行时间同步。该系统运行在 NVIDIA Jetson AGX Orin 上，并封装在一个带有主动冷却功能的定制 3D 打印外壳中。
• TartanRGBT 数据集： 一个多样化且平衡的数据集，包含 16,943 对同步的 RGB-T 对，采集自四种环境：住宅/校园（城市）、室内、越野以及步道/公园。
• 数据处理： 该数据集包括立体 RGB、立体热成像和 IMU 数据。在训练时，作者利用 FoundationStereo 从 RGB 估计密集深度，然后通过该深度将热像素进行反投影和对齐，从而生成配准的 RGB-T 对。

C. 下游任务适配

AnyThermal 被作为特征提取器与特定任务头结合进行评估：

• 跨模态地点识别 (VPR)： 使用带有三元组边际损失（triplet margin loss）的 SALAD 头。
• 热分割： 使用带有 Dice 损失的两层非线性 MLP 头。
• 单目热深度估计： 适配 MiDaS 框架，将 EfficientNet 主干替换为 AnyThermal，并利用多尺度补丁特征（multiscale patch features）。

3. 核心贡献

1. AnyThermal： 一个任务无关的热特征提取器，在无需对主干进行特定任务预训练的情况下，在多种环境和任务中实现了最先进的性能。
2. TartanRGBT 平台： 首个用于同时采集同步立体 RGB 和立体热图像的开源数据采集平台。
3. TartanRGBT 数据集： 一个涵盖室内、航空、越野和城市环境的多样化、平衡的数据集，旨在弥补热研究中的数据多样性差距。

4. 结果

作者在零样本（zero-shot）和特定任务基准测试上对 AnyThermal 进行了评估，展示了其相对于现有基准模型的显著提升：

• 跨模态地点识别： 在多样化的零样本数据集（CART、MS2、OdomBeyondVision）上，配备 VPR 头的 AnyThermal 优于所有基准模型，包括冻结的 DINOv2、ImageBind 和 SGM。值得注意的是，在某些环境中，其 Recall@1 比基准模型提升了高达 36%。结果表明，冻结的 RGB 提取器对于热查询并非最优，且在多样化数据上进行蒸馏至关重要。
• 热分割： 在 MF-Net 数据集上，AnyThermal 实现了 53.47% 的 SOTA mIoU，超越了之前的最优模型（MCNET 为 51.95%），同时在 NVIDIA ORIN AGX 上的运行速度快了 3.6 倍（6.79 FPS 对比 1.88 FPS）。
• 单目深度估计： 在 MS2 数据集上，与 EfficientNet-lite3 和冻结的 DINOv2 主干相比，AnyThermal 取得了最低的误差指标（AbsRel: 0.0883）。
• 数据多样性 vs. 规模： 关于预训练数据规模的消融研究显示，仅仅增加相似领域的数据（例如更多的城市数据）收益递减。相比之下，加入多样化的 TartanRGBT 数据集能持续提升所有任务和环境下的性能，这证实了对于构建鲁棒的热特征提取器而言，数据多样性比规模更为关键。

5. 重要性与主张

本文主张 AnyThermal 成功弥合了 RGB 基础模型的丰富性与热数据稀缺性之间的鸿沟。通过在多样化环境下的知识蒸馏，作者证明了单个热主干网络可以有效地泛化到地点识别、分割和深度估计等任务，而无需对主干进行特定任务的训练。

TartanRGBT 平台和数据集的引入被视为降低研究界采集高质量、同步 RGB-T 数据门槛的基础性举措。作者断言，其工作为热感知建立了新标准，推动研究从狭窄的、特定环境的模型转向通用且鲁棒的表示。他们总结道，虽然扩大数据规模确实存在性能增益，但实现泛化的主要驱动力是训练环境的多样性，这一原则通过在包含 TartanRGBT 在内的多样化数据集上训练的模型所表现出的卓越性能得到了验证。