Advancing Earth Observation Through Machine Learning: A TorchGeo Tutorial

本文介绍了 TorchGeo 这一基于 PyTorch 的地球观测机器学习库，并通过代码示例和基于 Sentinel-2 影像的水体分割端到端案例，展示了如何利用该库处理地理空间数据、训练语义分割模型并将预测结果保存为 GeoTIFF 格式。

要点

这篇论文其实是在介绍一个**“给地球观察数据（卫星图）做机器学习”的超级工具箱**，名字叫 TorchGeo。

想象一下，普通的计算机视觉（比如识别猫和狗）就像是在看照片集：图片是固定的，背景是白色的，猫就在中间，你只需要把图片扔进模型里训练就行。

但是，卫星遥感数据（Earth Observation） 完全不同。它不像照片集，而更像是一个巨大的、不断变化的、带有地理坐标的拼图世界。

这篇论文的核心就是教大家如何使用 TorchGeo 这个工具箱，把处理卫星图的复杂过程变得像搭积木一样简单。

以下是用生活中的比喻来拆解这篇论文的内容：

1. 为什么要搞这个工具箱？（痛点）

普通的 AI 处理图片是“所见即所得”，但卫星图处理起来很麻烦：

• 图片太大：一张卫星图可能覆盖整个城市，甚至整个国家，内存根本装不下。
• 坐标混乱：图片是“地图”，有经纬度；标签（比如哪里是水）可能是另一种地图格式，甚至坐标系都不一样。
• 数据对齐难：你要把“图片”和“标签”拼在一起，就像要把两张不同比例尺、不同角度的地图严丝合缝地叠在一起，稍微偏一点，AI 就学错了。

TorchGeo 的作用：它就像是一个智能的“地理数据翻译官”和“切片大师”。它能把这些乱七八糟的卫星数据，自动整理成 AI 能读懂的标准格式，而且不用你手动去切图、对齐坐标。

2. 工具箱里有什么？（核心功能）

论文里展示了三个像“魔法”一样的功能：

• 组合积木（数据集的并集与交集）：

  • 比喻：想象你有几块不同的拼图（比如一张是卫星照片，一张是土地类型图，一张是降雨图）。普通方法需要你手动把它们拼好。
  • TorchGeo：它允许你用 &（交集）或 |（并集）符号。比如 卫星图 & 土地图，它会自动只保留两者都有的区域，并且自动把坐标对齐。你不需要真的把巨大的文件拼起来，它只在需要看的时候才“按需拼合”。

• 按地址取货（时空索引）：

  • 比喻：就像你在外卖 APP 上输入“北京市朝阳区某街道”，系统直接给你那个位置的数据，而不是把整个北京的数据都下载下来。
  • TorchGeo：你可以直接告诉它：“我要坐标 X 到 Y，Y 到 Z 这一块的小方块”。它会自动从巨大的卫星图中切出这一小块，并保证图片的分辨率和标签的分辨率完美匹配。

• 智能快递员（地理采样器）：

  • 比喻：训练 AI 需要很多小图片（叫“切片”）。
    • 训练时：就像随机抽奖，从地图的各个角落随机抓一小块给 AI 看，让它见识各种地形。
    • 测试/预测时：就像铺地砖，把整张地图切成整齐的小方块，一块一块地覆盖过去，确保没有遗漏。
  • TorchGeo：它内置了这两种“快递员”，直接配合 PyTorch（最流行的 AI 框架）使用，让训练过程变得非常顺畅。

3. 实战演练：给里约热内卢“画”出水域

论文的后半部分展示了一个具体的案例：用卫星图自动识别哪里是水。

• 任务：给巴西里约热内卢的卫星图，把“水”涂成蓝色，把“陆地”涂成其他颜色。
• 挑战：
  • 卫星图有 10 多个颜色通道（不仅仅是红绿蓝），AI 模型通常只认 3 个通道。
  • 需要把“水”的特征（比如用特定的光谱指数）加进去，让 AI 看得更准。
• 解决方案：
  • 他们调整了 AI 模型的“眼睛”（第一层卷积），让它能同时看 10 多种颜色。
  • 他们教 AI 不仅看颜色，还看“水的特殊指纹”（光谱指数）。
• 结果：
  • AI 训练成功了，准确率很高。
  • 最酷的一步：他们把训练好的模型，直接应用到了里约热内卢的一张真实卫星图上。模型像扫描仪一样，把整张图扫了一遍，最后生成了一个GeoTIFF 文件。
  • 比喻：这就像你给 AI 看了一万张水的照片，然后你把它扔到里约热内卢上空，它不仅能认出哪是水，还能画出一张精确到像素的地图，你可以直接拿这张图去分析河流、海岸线，甚至发现以前没注意到的死水潭。

总结

这篇论文其实是在说：
以前，想用 AI 处理卫星图，你得是个地理专家 + 程序员，花大量时间处理坐标、切图、对齐数据。
现在，有了 TorchGeo，你只需要像个普通用户一样，告诉它“我要哪里的图”、“我要识别什么”，它就能帮你搞定所有繁琐的“脏活累活”，让你专注于训练模型和解决实际问题。

这就好比以前你要做一道复杂的菜，得自己种菜、洗菜、切菜、调火候；现在有了 TorchGeo，它直接给你端上来洗好、切好、甚至调好味的食材，你只需要下锅炒一下（训练模型）就能出锅了。

技术摘要

这是一份关于 ICLR 2026 机器学习遥感研讨会（ML4RS）论文《通过机器学习推进地球观测：TorchGeo 教程》的详细技术总结。

论文技术总结：TorchGeo 教程与地球表面水体分割案例

1. 问题背景 (Problem)

传统的计算机视觉（CV）工作流与地球观测（EO）机器学习管道存在根本性差异，直接套用标准 CV 方法处理卫星数据面临诸多挑战：

• 数据形态差异：卫星影像通常是大尺寸、地理配准的场景（多波段），而标签可能是不同坐标系（CRS）或不同空间分辨率的光栅掩膜或矢量几何。
• 处理流程复杂：训练和评估需要非标准的操作，如将图层重投影和重采样至统一网格、从超出内存的大场景中按需进行地理对齐的切片采样、构建空间分离的训练/验证/测试集以减少标签泄露，以及将预测结果导出为地理配准产品。
• 现有工具不足：即使使用标准模型架构（如语义分割网络），仍需大量领域特定的工程工作来对齐输入和目标，并确保实验协议在空间上的有效性和可复现性。

2. 方法论 (Methodology)

本文介绍了一个基于 TorchGeo（一个基于 PyTorch 的领域库）的端到端教程，旨在通过代码示例展示如何解决上述问题。方法论分为两个核心部分：

A. TorchGeo 核心抽象 (Core Abstractions)

• 可组合数据集 (Composable Datasets)：利用集合操作符（& 交集，| 并集）将部分重叠的图层（如多传感器影像和标签光栅）组合成虚拟马赛克。这种组合是**惰性（Lazy）**的，仅在读取时按需进行窗口读取和对齐，无需预先处理整个场景。
• 时空索引 (Spatiotemporal Indexing)：支持通过投影坐标和时间戳直接切片大型光栅，获取对齐的图像块（Chip），无需手动预处理。
• 地理采样器 (Geographic Samplers)：
  • RandomGeoSampler：用于训练，随机采样地理区域，避免存储密集型的“预切片”阶段，直接按需读取像素。
  • GridGeoSampler：用于评估和推理，按网格采样。
  • 这些采样器与标准的 PyTorch DataLoader 无缝集成。

B. 案例研究：地球表面水体分割 (Case Study: Earth Surface Water)
基于 Sentinel-2 影像和 Earth Surface Water 数据集，构建了一个完整的水体分割工作流：

1. 数据构建与 CRS 对齐：分别创建影像和掩膜的 RasterDataset 对象，应用反射率缩放变换，并使用交集操作符配对。指定全局坐标系（World Mercator, EPSG:3395）以确保全球分布的图块在采样和加载时保持一致对齐。
2. 多光谱预处理：
   • 计算训练影像的均值和标准差。
   • 在归一化前，将光谱指数（两种 NDWI 变体和 NDVI）作为额外通道附加到输入中。
   • 关键技巧：对归一化统计量进行填充（Padding），使得原始传感器波段被归一化，而附加的物理指数保持不变。
3. 模型适配：
   • 使用 DeepLabV3 (ResNet-50 骨干) 作为分割模型。
   • 架构修改：重新初始化骨干网络的第一层卷积层，以接受多光谱通道数（例如 6 个光谱波段 + 3 个计算指数 = 9 个输入通道），同时保留输出特征维度。由于预训练权重针对 RGB 自然图像，本案例从头训练（Scratch）。
4. 训练与评估：使用 AdamW 优化器训练 10 个 epoch，每个 epoch 130 个样本。使用 IoU/Jaccard 指标进行评估。
5. 推理与输出：在巴西里约热内卢的 Sentinel-2 场景上进行网格化推理（使用重叠补丁），并将预测结果保存为与输入像素对齐的 GeoTIFF 文件。

3. 关键贡献 (Key Contributions)

• 领域特定库的普及：展示了 TorchGeo 如何通过提供数据集、采样器、变换和预训练模型接口，显著降低将地理空间数据引入机器学习管道的门槛。
• 惰性处理与按需采样：通过 RandomGeoSampler 和惰性数据集组合，解决了大尺寸卫星影像无法完全加载到内存的问题，消除了繁琐的预切片步骤。
• 端到端工作流示范：提供了一个可执行的 Python 笔记本，完整演示了从多光谱数据加载、CRS 对齐、光谱指数构建、模型架构适配到最终生成地理配准预测产品的全过程。
• 解决常见痛点：明确解决了 EO 任务中常见的失败点，包括多光谱通道处理、全球分布图块的坐标系对齐以及采样器的配置。

4. 实验结果 (Results)

• 模型性能：在验证集上，从头训练的模型取得了 0.977 的整体准确率 (Overall Accuracy) 和 0.824 的交并比 (IoU)。
• 实际应用验证：模型成功应用于巴西里约热内卢的 Sentinel-2 场景，生成了像素级对齐的 GeoTIFF 预测图（如图 1 所示），证明了模型在真实世界场景中的泛化能力和边界检测能力（如海岸线和河流）。

5. 意义与影响 (Significance)

• 弥合差距：该教程有效地弥合了通用计算机视觉与遥感地球观测之间的鸿沟，强调了“不仅仅是更大的图像”这一概念，突出了空间感知采样和地理配准的重要性。
• 可复现性与标准化：通过标准化的 PyTorch 接口和惰性加载机制，使得遥感机器学习实验更加可复现、空间上更有意义，并易于扩展到大规模数据。
• 赋能下游应用：通过生成 GeoTIFF 格式的预测结果，直接支持了制图和下游地理空间分析，使得研究人员和从业者能够轻松探索模型在特定地理区域（如城市洪水监测）的极限和表现。

总结：这篇论文不仅是一个教程，更是一个宣言，展示了如何利用现代深度学习工具（TorchGeo）高效、规范地处理复杂的地球观测数据，为未来的遥感 AI 研究提供了标准化的实践范式。