Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

技术摘要：用于极高分辨率北极遥感任务的聚类引导领域特定预训练基础模型

问题陈述
尽管地球观测（EO）数据正以前所未有的规模可用，但大量的档案仍未得到充分利用。地球信息学中的一个核心挑战在于如何将大规模、异构的遥感数据集转化为可用于科学研究的产品。虽然自监督学习和基础模型（例如掩码自编码器或 MAE）在计算机视觉领域的进展显著，但将其直接应用于遥感领域并非易事。遥感图像与日常图像有着本质区别；“地理对象”（geo-objects）是尺度、空间上下文和时间过程的涌现属性，而非离散的视觉实例。此外，现有的遥感基础模型（RSFMs），如 Prithvi-EO-2.0，主要针对中低分辨率或混合分辨率数据集进行训练。这引发了一个问题：是否存在一个单一的通用模型能够充分表征多样化的地球系统过程，还是说为了捕捉特定环境的模式（特别是在气候变化驱动下的快速变化的北极地区，需要对极高空间分辨率 [VHSR] 的细微多年冻土特征，如冰楔多边形、退缩热融滑塌进行分析）进行领域适配是必要的。

方法论
本研究提出了一种通过结合多样性感知区域级图像策展与基于 MAE 的视觉 Transformer (ViT) 编码器自监督预训练，来开发专注于北极地区的 RSFM 的创新框架。该方法由五个关键部分组成：

1. 数据策展与采样：

   • 来源： 作者利用了 267 TB 的 Vantor VHSR 多光谱卫星图像（分辨率约为 0.5 米），涵盖了约 500 万平方公里的北极多年冻土苔原生态区。
   • 策略： 为了避免过度采样视觉重复或信息量低的区域，采用了两阶段聚类工作流。
     • 第一阶段（场景级）： 使用光谱描述符（每波段均值/标准差）和获取元数据对约 32,000 个候选场景进行特征化。使用亲和传播聚类（Affinity-propagation clustering）来选择具有代表性的场景样本，且无需预先指定聚类数量。
     • 第二阶段（切片级）： 将选定的场景划分为不重叠的 1024x1024 像素切片。这些切片通过光谱统计和基于 Gabor 的纹理特征进一步特征化。第二个亲和传播聚类步骤在每个场景内选择了代表性的切片样本。
   • 结果： 这一过程策展了约 300 万个具有代表性的训练补丁，在确保场景多样性的同时减少了冗余。

2. 预训练架构：

   • 模型： 使用经过领域适配的 MAE 目标函数对 ViT-Large 编码器进行预训练。
   • 损失函数： 重建目标结合了协方差感知的马哈拉诺比斯（Mahalanobis）项和光谱角制图器（SAM）项，以捕捉多变量光谱偏差和光谱形状一致性，相比标准的像素级损失，能更好地反映遥感的光谱行为。
   • 训练： 模型在 16 个计算节点（共 64 个 GPU）上训练了 800 个 epoch。通过在下游验证任务上评估检查点来选择最终权重，而非仅仅依赖重建损失。

3. 下游评估：

   • 预训练的编码器被集成到 ViTDetLoc 框架中（一种增强了位置嵌入的基于 Transformer 的检测与分割架构）。
   • 数据集： 模型在四个手工标注的北极特征制图数据集上进行了微调和评估：
     • 人造基础设施（建筑物、道路、储罐）。
     • 冰楔多边形 (IWP)。
     • 退缩热融滑塌 (RTS)。
     • 苔原毛细管网络 (TCNs)。
   • 基准测试： 将性能与 ImageNet 初始化的 ViT-Large 基准以及通用地球基础模型 Prithvi-EO-2.0 进行了对比。

核心贡献

• 领域特定策展： 本文引入了一种可扩展的、多样性感知的采样策略，该策略根据实际图像特征（光谱、纹理、元数据）而非粗略的地表覆盖标签来选择训练数据，解决了 VHSR 北极图像中固有的细微尺度变异性问题。
• 北极特定基础模型： 开发了一个专门在策展后的北极 VHSR 图像上进行预训练的 RSFM，证明了领域适配的自监督预训练比通用模型能产生更具迁移性的表示，适用于精细尺度的北极制图。
• 稀疏特征验证： 研究验证了该模型在具有挑战性、稀疏且视觉特征微妙的北极特征（如毛细管网络和热融滑塌）上的表现。

结果

• 策展分析： 虽然随机采样产生的子集在描述符空间中具有较低的 Wasserstein 距离（表明其更接近全量档案的边缘分布），但基于聚类的策略在描述符空间中产生了更大的离散度。这证实了策展策略成功地优先考虑了多样性并减少了冗余，使模型接触到了更广泛的视觉和获取条件。
• 下游性能：
  • 北极 MAE 预训练模型在所有四个任务中均一致优于 ImageNet 初始化的基准模型，前景平均 F1 分数提升了约 5–8 个百分点。
  • 北极 MAE 的具体前景平均 F1 分数分别为：0.87（基础设施）、0.72（IWP）、0.93（RTS）和 0.87（TCNs）。
  • 至关重要的是，所提模型在所有下游对比中均优于 Prithvi-EO-2.0，实现了至少 15% 的提升。作者将其归因于分辨率失配（Prithvi 使用 30 米数据，而 Vantor 为 0.5 米）以及领域偏移，表明从通用模型进行的跨分辨率迁移对于专门的、细微尺度的北极任务是不够的。

意义与主张
本文声称，在保持架构和 MAE 目标不变的情况下，优化区域尺度的预训练数据分布，可以产生一个可复用的、领域特定的编码器，用于多种 VHSR 遥感应用。作者认为，对于涉及细微纹理、局部形态和特定地表条件（如北极多年冻土动态）的任务，在策展图像上进行领域特定的自监督预训练，比依赖通用的地球观测基础模型能提供更具迁移性的表示。这项工作展示了一条将大规模、无标签的北极图像档案转化为支持下游检测与分割任务的基础模型的可扩展路径，即使在标注数据有限的情况下也是如此。