SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

本文介绍了 SSL4EO-S12 v1.1 数据集，这是一个经过更新的多模态、多季节地球观测数据集，通过修复地理对齐误差、优化数据结构并新增高程等模态，为全球 1 万个最大城市及其周边地区提供了近百万个图像块的高效加载方案，旨在支持大规模自监督基础模型的预训练。

要点

这篇论文介绍了一个名为 SSL4EO-S12 v1.1 的新数据集。为了让你更容易理解，我们可以把地球想象成一个巨大的、不断变化的“超级游乐场”，而科学家们想要训练一种超级 AI 机器人（也就是论文里说的“基础模型”），让它能看懂这个游乐场里发生的一切。

以下是用通俗语言和比喻对这篇论文的解读：

1. 为什么要更新这个数据集？（旧版本的“小毛病”）

之前的版本（v1）已经很棒了，就像一本很好的地球相册，里面记录了全球 1 万个最大城市及其周边的四季景色。但是，它有两个主要问题：

• 对不齐的拼图：想象一下，你有一张卫星拍的地面照片（光学照片）和一张雷达拍的照片（能穿透云雾）。在旧版本里，这两张照片稍微有点错位，就像把两张透明胶片叠在一起时，边缘没对齐。这会让 AI 学糊涂。
• 数据太乱：旧版本的数据结构有点像把一堆杂乱的文件塞在一个大箱子里，AI 想要找某一张照片时，得翻半天，效率很低。

v1.1 版本做了什么？
作者们像精明的图书管理员一样，重新整理了这个“地球相册”：

• 完美对齐：他们把雷达照片和光学照片重新裁剪、旋转，确保它们像拼图一样严丝合缝地对在一起。
• 整理归档：他们把数据打包成了一种叫 Zarr 的高效格式（就像把文件压缩成整齐的压缩包），并分门别类地放好。现在，AI 读取数据就像从流水线上拿取零件一样快，不再需要翻箱倒柜。

2. 这个新相册里有什么？（多模态与多季节）

这个数据集不仅仅是“照片”，它是一个多感官的地球日记：

• 四季轮回：每个地点都有春夏秋冬四张图。这让 AI 能学会“时间”的概念，比如知道树在春天发芽，冬天落叶，而不是只认得夏天的树。
• 多重视角（多模态）：
  • 光学眼（Sentinel-2）：就像人眼看到的彩色照片，有红绿蓝，还有近红外（能看到植物健康程度）。
  • 雷达眼（Sentinel-1）：就像在黑夜或大雾天也能看清物体的“夜视仪”，不管天气多坏都能拍到。
  • 新加入的“超能力”：
    • 海拔图（DEM）：告诉 AI 哪里是高山，哪里是平原。
    • 植被指数（NDVI）：像给植物贴了个“健康标签”，一眼看出哪里草长得茂盛。
    • 土地分类图（LULC）：像一张“地图说明书”，直接告诉 AI 这块地是农田、森林还是城市。

3. 数据是怎么处理的？（去噪与美化）

原始卫星数据里有很多“杂质”：

• 云层遮挡：就像拍照时有人举着伞挡住了镜头。旧版本可能直接用了有云的图，现在作者们用了更聪明的算法（SEnSeI v2）来精准识别云层，把被云遮住的部分标记清楚，或者只保留清晰的部分。
• 颜色失真：有时候照片里的雪或云太亮，导致其他东西看不清（过曝）。作者们像修图师一样，调整了颜色的对比度，让照片既不过亮也不过暗，看起来更自然、更清晰。
• 填补空缺：如果照片里有几个坏点（数据缺失），他们会用旁边的像素像“填色游戏”一样把它补好。

4. 这个数据集有多大？

• 规模：它包含了 24.6 万个地点，每个地点有 4 个时间点的图像，总共接近 100 万张 图像切片。
• 覆盖范围：主要覆盖全球 1 万个最大城市及其周边，既有繁华都市，也有乡村和海洋，甚至包括冰雪覆盖的地区。

5. 它有什么用？（给 AI 的大脑“充电”）

这个数据集的主要目的是预训练（Pretraining）。

• 比喻：想象你要教一个刚出生的婴儿认识世界。你不能直接让他去考“识别洪水”或“数清汽车”的考试。你得先让他看大量的书、图片，让他自己发现“树是绿的”、“水会流动”、“山是高的”这些规律。
• 作用：SSL4EO-S12 v1.1 就是这本超级百科全书。AI 先通过“自学”（自监督学习）阅读这本百科全书，学会了地球的各种规律。之后，当科学家需要它去解决具体问题（比如预测洪水、监测森林火灾、规划城市）时，它只需要稍微“复习”一下就能做得非常棒。

6. 实验结果怎么样？

论文最后展示了一个比赛（PANGAEA 基准测试）。结果显示，使用了这个新数据集（特别是结合了多种数据模态）训练出来的 AI 模型（叫 TerraMind），在识别各种地理事物（如洪水、农田、火灾等）的任务上，表现比以前的模型都要好。这证明了“多模态”（同时看多种数据）和“多季节”（看时间变化）确实能让 AI 变得更聪明。

总结

SSL4EO-S12 v1.1 就像是给地球科学界的 AI 们提供了一套高清、对齐、多感官、带时间轴的“地球百科全书”。它修好了旧版的 bug，增加了新的“超能力”数据，并且让数据读取变得飞快。它的目标是让未来的 AI 能更准确地理解我们的星球，从而帮助我们更好地应对气候变化、自然灾害和城市规划等挑战。

这个数据集是免费开放的，任何研究人员都可以去下载和使用，就像大家共享一个巨大的公共图书馆一样。

技术摘要

这是一份关于 SSL4EO-S12 v1.1 数据集的技术总结，该论文介绍了一个专为预训练大规模地球观测（EO）基础模型而设计的多模态、多季节数据集。

1. 研究背景与问题 (Problem)

尽管早期的 SSL4EO-S12 数据集在遥感基础模型（Foundation Models, FM）的开发中取得了成功，但原版本存在两个主要局限性，阻碍了其在更先进模型训练中的应用：

• 空间配准不准确：Sentinel-1 (S-1, 雷达) 和 Sentinel-2 (S-2, 光学) 的图像块之间存在空间错位，导致多模态对齐困难。
• 缺乏分析就绪数据 (ARD)：原始数据格式和预处理不够完善，难以直接用于大规模基础模型的预训练，且存在无效值（NaN）处理不当的问题。
• 模态单一：缺乏地形、植被指数和土地利用等辅助模态，限制了多模态自监督学习的能力。

2. 方法论 (Methodology)

为了解决上述问题，作者对数据进行了全面的重新处理和增强：

• 数据获取与重投影：
  • 数据源来自 Google Earth Engine。
  • 保留原生 UTM 投影：不再统一投影到 EPSG:4326（避免极地变形），而是保留原生 UTM 区域以确保空间精度。
  • 严格的空间对齐：下载更大的感兴趣区域（ROI）以缓冲重投影误差，将 S-1 GRD 数据重投影以匹配 S-2 L2A 坐标。对于跨越多个 UTM 区域的时间戳，选择主要坐标参考系（CRS）并统一重投影。
• 数据清洗与预处理 (ARD 格式)：
  • 时间选择：每个地点选取 2019-2021 年间四个不同季节的图像，云量覆盖低于 10%。
  • 缺失值处理：剔除任何时间步或通道缺失值超过 1% 的样本；剩余 NaN 值使用最近邻插值填充。
  • 云掩膜优化：由于 S-2 自带的云掩膜存在误差，使用 SEnSeI v2 模型生成更准确的云掩膜。
  • RGB 可视化优化：针对 S-2 L2A 数据，采用分位数映射（2% 和 98% 分位数）并动态调整对比度，避免亮区（云、雪）饱和或暗区过暗，生成更平衡的 8 位 RGB 图像。
• 多模态融合：
  • 引入了与 TerraMesh 数据集对齐的新模态：NDVI（植被指数）、Copernicus DEM（数字高程模型，30m 分辨率重采样至 10m）和 LULC（土地利用/土地覆盖，ESRI 数据）。
  • 所有模态均重采样至 10m 分辨率并严格配准。
• 数据存储与分发：
  • 采用 Zarr 格式（ZipStore, Zarr v2）存储，每个文件包含 4 个时间步。
  • 打包为 WebDataset (tar shards) 格式，支持高效流式加载，减少文件数量，便于在 HPC 集群和 HuggingFace 上分发。
  • 数据按时间步分块，支持按需加载。

3. 关键贡献 (Key Contributions)

1. 修正的空间对齐：提供了 S-1 和 S-2 严格空间配准的卫星图像块，解决了原版本的核心缺陷。
2. 分析就绪数据 (ARD)：提供了经过严格过滤、插值填充和标准化处理的 ARD 格式数据，可直接用于预训练。
3. 多模态扩展：新增了高程（DEM）、植被（NDVI）和土地利用（LULC）模态，支持多模态预训练。
4. 大规模数据集：
   • 覆盖全球 10,000 个最大城市及其周边地理区域。
   • 包含 246,144 个独特地点，共计 984,576 个图像样本（每个地点 4 个时间步）。
   • 包含 246k 个时间序列，近 100 万张图像块。
5. 开源与易用性：在 CC-BY-4.0 许可下开源，提供 WebDataset 和 xarray/Dask 支持，方便研究人员直接使用。

4. 实验结果 (Results)

论文在 PANGAEA 基准测试上评估了基于 SSL4EO-S12 v1.1 预训练的模型表现：

• 模型对比：展示了 TerraMind（基于 v1.1 多模态数据训练的模型）与仅使用 S-2 数据训练的模型（MAE, DINO, MoCo）以及使用 S-1/S-2 双模态但旧版数据的 CROMA 的对比。
• 性能提升：TerraMind 在绝大多数下游任务（如 PANGAEA 基准中的 CTM-SS, SpaceNet7, AI4Farms 等）中取得了最佳或接近最佳的性能。
• 多模态优势：实验证明，引入 LULC、DEM 和 NDVI 等语义和地形模态，显著提升了模型在自监督预训练中的表征学习能力，使其在变化检测、分割等任务上表现更佳。

5. 意义与影响 (Significance)

• 推动基础模型发展：SSL4EO-S12 v1.1 为地球观测领域的基础模型提供了一个高质量、多模态、多季节的预训练基准，解决了数据对齐和格式不统一的痛点。
• 促进多模态学习：通过引入地形和语义模态，使得模型能够学习更丰富的地理空间表征，支持更复杂的下游任务（如洪水检测、城市规划、变化检测）。
• 社区资源：作为 SSL4EO 系列的一部分，该数据集降低了研究门槛，促进了开源社区在自监督学习、多模态融合和时空推理方面的创新。
• 技术标准化：其采用的 Zarr 和 WebDataset 存储方案为大规模遥感数据的处理和分发提供了新的最佳实践标准。

总结：SSL4EO-S12 v1.1 不仅修复了前代版本的技术缺陷，还通过引入多模态数据和优化存储格式，成为了当前遥感基础模型预训练的重要基础设施，极大地推动了地球观测 AI 技术的发展。