Predicting Viticulture Potential through an Ensemble of U-Net and a Geospatial Foundation Model

技术摘要：通过 U-Net 与地理空间基础模型的集成预测葡萄栽培潜力

问题定义
本文探讨了利用遥感数据预测农业适宜性（特别是葡萄栽培）的挑战。确定土地适宜性的传统方法涉及成本高昂、耗时且需要频繁重新评估的实地调查，以应对不断变化的环境条件和气候变化。作者专注于 ImageCLEF AI4Agri 2026: Subtask 1，该任务利用 AgriPotential 数据集 对 Sentinel-2 卫星多光谱图像进行分类。目标是为南法葡萄栽培的像素级农业适宜性评分（1 至 5 分）。该数据集具有特定的挑战，包括高比例的未标记像素（在各拆分集中约占 50%）、大规模数据量（约 200GB）以及需要对 34 个时间步（2017–2019 年）进行时间动态建模的需求。

方法论
DS@GT ARC 团队提出了一个由两个截然不同的深度学习模型组成的加权集成方案，这两个模型均独立训练并在推理阶段进行组合。

1. U-Net 架构（时间堆叠）：

   • 输入策略： 并非采用显式的时间建模，作者将 34 个时间步和 15 个通道（10 个原始 Sentinel-2 波段 + 5 个光谱指数，包括 NDVI、NDMI、NDWI、NDRE 和 NBR）视为一个单一的输入张量，其维度为 $34 \times 15 = 510$ 个通道。
   • 架构： 一个带有残差连接的标准 U-Net，基准通道维度为 128，深度为 3。
   • 损失函数： 模型采用了二元交叉熵序数损失（binary cross-entropy ordinal loss），该损失考虑了适宜性类别（1–5）的有序性质。未标记像素被排除在损失计算之外。
   • 输出： 单通道输出通过一个带有 4 个可学习阈值（通过 softplus 转换值的累加）的序数层，以生成二元决策边界。

2. Prithvi-EO-2.0 基础模型（季节性聚合）：

   • 输入策略： 为了与 Prithvi 的预训练配置保持一致，将 34 个时间步聚合为四个季节平均值。仅使用了 Prithvi 预训练期间使用的六个光谱波段（蓝、绿、红、近红外、短波红外 1、短波红外 2）。
   • 架构： 该模型微调了 prithvi_eo_v2_100_tl 主干网络（1 亿参数），并配备了特征金字塔颈部（Feature Pyramid Neck）和 UperNet 解码器。它结合了时间与位置坐标编码。
   • 训练策略： 在前 7 个 epoch 中冻结编码器。模型采用了教师-学生伪标签方法：训练好的 U-Net 作为固定教师，当置信度超过 0.7 时，为未标记像素生成伪标签。这些标签以权重 $\lambda=0.3$ 被纳入学生的损失计算中。
   • 初始化： 序数阈值从训练好的 U-Net 值中初始化，以确保稳定的收敛。

3. 集成策略：

   • 最终预测采用加权 Logit 集成：$z = 0.65 \cdot z_{\text{U-Net}} + 0.35 \cdot z_{\text{Prithvi}}$。
   • 数据增强： 应用了旋转和翻转，以弥合验证集与测试集之间的泛化差距。
   • 归一化： U-Net 使用除以 10,000 进行处理，而 Prithvi 则使用每个数据集拆分的 Z-score 归一化，以保持与预训练分布的一致性。

关键结果

• 性能： 集成模型实现了 68.32% 的测试 $\pm 1$ 准确率，在 7 支队伍中排名第 2。
• 模型对比： 集成模型优于其单个组成部分：
  • U-Net: 66.25%
  • Prithvi: 65.51%
  • 其他 Transformer 架构（TSViT, U-TAE, Swin-V2, Presto）的测试准确率较低（范围在 49% 到 64% 之间）。
• 观察结论：
  • U-Net 生成的预测噪声较多，但捕捉到了细粒度的空间模式。
  • Prithvi 生成的输出更加平滑且具有空间连贯性，但在复杂边界处表现欠佳。
  • 在所有模型中都观察到了持续的泛化差距（验证集与测试集之间），这表明存在潜在的训练-测试分布偏移或过拟合问题。

核心贡献与主张

• 集成有效性： 主要贡献在于证明了结合卷积方法（通过时间通道堆叠的 U-Net）与地理空间基础模型（通过季节性聚合的 Prithvi），其性能优于单一模型或更复杂的时序架构。
• 时间建模见解： 与最初认为显式时间建模（如 Transformer）会产生最佳结果的假设相反，本文声称将时间帧作为输入通道进行堆叠（将时间帧视为同一像素的不同观测值）对于这一特定任务更为有效。作者指出，在此背景下，语义分割是“跨越”时间帧进行的，而非“针对”每个时间帧。
• 基础模型适配： 本研究展示了如何通过季节性聚合和半监督伪标签处理未标记数据，将大规模地理空间基础模型（Prithvi-EO-2.0）适配到特定的农业任务中。
• 半监督学习： 本文强调了使用 U-Net 作为教师为 Prithvi 学生模型生成伪标签的效用，这起到了一种正则化作用。

意义
本文提出了一种利用多时相卫星图像预测葡萄栽培潜力的实用且高性能的方法。它挑战了“复杂的时序架构在遥感任务中总是必要”的假设，表明对于固定的时间帧分割任务，通道堆叠可以作为一个鲁棒的基准。这项工作也强调了解决遥感应用中泛化差距的重要性，即验证集与测试集之间的分布偏移仍然是一个重大挑战。该实现已公开，以支持进一步的研究。